Now Reading
AI智能体大失误 清空公司资料库 9秒连备份都砍光 CEO气炸:故意的!

AI智能体大失误 清空公司资料库 9秒连备份都砍光 CEO气炸:故意的!

美国新创软体公司PocketOS日前遭遇灾难性系统事故,因为该公司使用的AI代理执行例行任务时,竟擅自决定删除整个公司资料库,就连备份资料也未能幸免,不到10秒钟就把所有关键资料全部砍光。

PocketOS是一家专为租车业者提供软体服务的新创公司,4月25事件发生时,使用Anthropic旗舰模型Claude Opus 4.6,驱动程式编辑代理工具Cursor,前者被公认为目前业界最顶先的程式编码AI模型。


酿成此次事故的工具是Anthropic旗下Claude Opus模型、广受开发者欢迎的AI编辑器“Cursor”。

英国《卫报》报道,一间汽车租赁软件初创企业PocketOS在使用Anthropic旗下AI模型驱动的AI智能体时,包括客户资料在内的数据库在9秒钟内被全部删除,导致运营陷入混乱,直到两天多后公司才成功恢复部分数据。

该公司为其他企业提供汽车租赁软件,而这些企业依赖其软件管理预订、付款、车辆分配和客户档案 ,结果由Claude Opus 4.6驱动的AI智能体Cursor却将过去三个月的预订记录、新客户注册以及当日上午营运所需的数据全部消失,令客户抵达取车时发现租赁公司无法访问管理系统 。

公司花了两天多时间从三个月前的异地备份恢复数据,又利用日历和邮件信息等重建,但租赁业务目前仍处于“可运营但存在重大数据缺口”的状态 。

PocketOS创办人克莱恩(Jeremy Crane)指出,当时自己正在监控该智能体运作,眼看着它把数据删除,而智能体原应设有安全防护措施,但当克莱恩询问原因时,智能体最终承认:“我违反了给我的每一条原则。”

PocketOS创办人克雷恩表示,这款AI在处理一项例行任务时,“完全出于自身意图”,决定以删除资料库的方式解决问题。如此重大的决策既未向使用者确认,也未发出任何警告,整个过程“只花了9秒钟”。

推荐

克莱恩警告,这不仅是单一事故,而是AI产业在建立安全架构之前,就急于将智能体整合到生产基础设施中的系统性失误。

针对此事件,Anthropic公司目前尚未做出正式回应。

新闻来源:互联网

【免责声明】

《风采》网站欢迎读者/网民留言,创造友好交流空间;唯网民留言皆不代表本网站立场。本网站有权删除任何人身攻击、鼓吹种族宗教隔阂、诽谤造谣、网络霸凌等煽动性留言。

What's Your Reaction?
极品
0
高兴
0
喜欢
0
一般
0
无聊
0

Copyright © 2023 南洋报业控股有限公司 Nanyang Press Holdings Berhad No. 195801000105 (3245-K). All rights reserved.

Scroll To Top