人类监督无法解决AI战争的风险

人工智能赋能武器的隐患并不会因为“人在回路”而消失

在核战争中人工智能的角色问题上，几乎所有人都能达成共识的一点是：在决定是否真正使用致命武力时，必须保持“人在回路”。

人们心中所想的“人”，大概像斯坦尼斯拉夫·彼得罗夫那样——这位苏联军官在1983年曾做出一个冒险的决定：当计算机化早期预警系统检测到疑似美国导弹发射时，他没有向上级报告。事实证明，彼得罗夫的判断是正确的，那是一次误报；如今他有时被誉为“拯救了世界”。正是基于这样一种观念——尽管人类充满缺陷，但应由人类来对使用世界上最致命武器做出最终决定——美国和中国在2024年发表了联合声明，指出不应赋予人工智能系统发射核武器的权限。

然而，9月份曝光的一起令人不安的事件揭示了这种令人安心的思维方式的局限性。CNN于9月18日报道称，在与伊朗的战争期间，美军正准备登检一艘被认为正在中东运输核武器项目组件的中国船只。这一判断基于一名使用人工智能的分析员提交的“完全错误”的情报报告，该报告错误地识别了船上所载货物。据文章消息人士称，在发现错误之前，“军用飞机已经升空”，且有人相信该事件“差点引发两个敌对核超级大国之间的战争”。

这与过去几周占据头条的那些由人工智能引发的生存风险场景截然不同。人们担忧的并非拥有超级智能的主权软件做出危及人类的决策，而是人类自身在人工智能的帮助下做出杀害其他人类的决策。

从CNN的报道中，我们尚不清楚分析员究竟如何利用人工智能得出该船运载核组件的结论，也不清楚错误是如何最终被发现的。但斯坦福大学胡佛研究所战争游戏与危机模拟倡议中心主任雅奎琳·施耐德表示，鉴于她早年作为美国空军情报军官的经历，这一场景过于可信。

“在人工智能出现之前，我们一直都有糟糕的情报官员，”她对Transformer表示。“糟糕的情报官员不会向同事通报数据来源背后的不确定性。他们甚至不去质疑数据的来源。无论有没有人工智能，这种情况都存在，但在人工智能时代，人们对评估结果变得如此自信，而对数据来源的了解却大大减少。”

数十年来，专家们一直在警告一种悖论现象：随着系统自动化程度提高，总体错误率下降，但可归因于人为错误的比例却上升。这被称为“自动化偏见”：人类用户既过度信任自动化系统提供的信息，又忽视那些未被同一系统标记的问题迹象。那名分析员关于中国船只的报告事件，似乎是这种偏见运作的教科书式案例。

民主党人希望引领人工智能发展——却无法就如何做到达成一致

鉴于各国军队（包括美国）正积极推动将人工智能整合到监视、情报收集和瞄准行动中，这一情况令人担忧。本周，美国国防部长皮特·海格塞斯宣布成立一个新的自主作战司令部，以监督无人机和人工智能的部署。

以色列媒体+972 Magazine报道，在加沙战争初期，以色列国防军人员经常充当人工智能炸弹瞄准系统“紫罗兰”（Lavender）所做出决策的“橡皮图章”，尽管有证据表明，该系统旨在识别哈马斯目标，但出错率高达10%，导致了大量平民伤亡。

关于Palantir公司的Maven智能系统在伊朗战争第一天对米纳布一所小学进行轰炸中所扮演的角色，目前仍存在持续质疑。Maven被称为五角大楼的“全能应用”，是一个AI指挥控制系统。此次袭击造成超过150人死亡，其中大部分是儿童，很可能是由于输入系统的过时数据所致。本周，《彭博社》报道称，此次轰炸只是战争第一天在Maven协调支持下发动的1000个目标打击行动之一。Palantir对此事件作出回应，进行了系统升级，旨在让系统在提出建议之前重新审查其底层情报。

在加沙和伊朗，人类过度依赖AI合成的情报可能已经导致了平民伤亡。在中美冲突 scenario 中，这类错误可能引发世界大战并造成更大规模的死亡人数。

尽管在AI安全辩论中，人们非常合理地关注确保这些系统的行为符合人类的价值观和偏好，但更大的风险可能来自与这些系统协作的人类如何行事。最终做出决定的是人类，而非AI系统：是人类批准了“紫罗兰”选定的目标、米纳布学校轰炸案，以及——几乎——批准在战区登上一艘中国船只。

过去几年，斯坦福大学的施耐德一直在进行兵棋推演，模拟因AI瞄准系统出错而引发美国与中国在台湾海峡发生冲突的情景——这些情景令人不安地让人联想到最近在中东发生的事件。

“当你思考导致发射核武器的决策树时，AI整合可能在决策过程的非常早期阶段就介入，”她说。这是一个更难通过 blanket policy 或国际条约来解决的问题。

AI带来的真正生存风险，可能并非源于一个失控的程序自行发动核战争，甚至建议国家领导人这样做，而是源于处于决策层级较低位置的军事军官或情报分析师，他们在巨大的压力和时间紧迫下，依赖AI来做出最初引发战争的决策。

最终，人类与AI的合作关系可能比AI本身更加危险。在任何涉及AI的生命攸关决策中保持“人在回路”（human in the loop）的想法可能看似令人安心，但这要求相关的人实际上具备胜任该任务的能力。