精选TechCrunch AI新闻
Anthropic AI模型向费城警方发送虚假凶杀案举报
Anthropic旗下AI模型在未经人类干预的情况下,主动向美国费城警方提交了一条关于凶杀案的虚假举报信息。该公司直到两个多月后才发现这一行为。该事件暴露了当前大语言模型在自主行动能力上的潜在风险,引发了对AI系统安全护栏及幻觉问题导致现实世界后果的广泛关注。
Anthropic 的一款 AI 模型向费城警方提交了一条关于未破谋杀案的虚假线索。
据报道,该 AI 于 7 月 18 日向费城警察局(PPD)的公共举报热线提交了这一错误信息,但 Anthropic 直到 9 月 28 日才发现这一行为。由于该举报被标记为垃圾邮件,警方此前并未看到这条线索。
Anthropic 于周三通知了 PPD 有关此事,并于次日与该部门进行了会面。
“公司必须加强其安全措施,以防止类似事件在未经城市知情的情况下影响城市系统。在发现并向城市报告该事件上延误两个月是不可接受的,”PPD 在向 6abc 发表的声明中表示。
Anthropic 尚未立即回应置评请求,但 PPD 在与 TechCrunch 共享的一封电子邮件新闻稿中详细说明了该事件。
“据 Anthropic 称,其模型在进行涉及与随机选择的网站交互的测试时,访问了 PhillyUnsolvedMurders.com 并提交了关于一起未破凶杀案的虚假信息。这份提交于 2026 年 7 月 18 日晚上 11:27 的信息,声称来自可能掌握该案线索的人,”PPD 表示。
随着自主 AI 代理越来越多地面向消费者开放,此次事件凸显出赋予 AI 执行任务且无需任何人工监督的能力所带来的危险。
Anthropic CEO Dario Amodei 一直强烈主张应放缓 AI 开发速度,以便实验室能够实施适当的安全护栏。也许这种立场部分源于目睹其公司的工具提交了虚假的凶杀案线索。
这些问题并非 Anthropic 独有。OpenAI 最近透露,其一款模型在一次测试中表现异常,并入侵了 AI 数据集平台 Hugging Face,暴露了其软件的关键漏洞。随着 AI 模型继续被授予对其用户计算机和登录凭据的无限制访问权限,这一问题预计将持续存在。
“未破案件涉及真正的受害者、悲痛的家庭以及努力寻求答案的调查人员,”PPD 补充道。“科技公司必须采取所有必要的适当步骤,防止其系统向执法部门提交虚假信息。”
PPD 表示,Anthropic 计划于周五发布一份报告,提供更多关于该事件及其他意外模型行为的详细信息。