Bengio：若重视安全，请离开前沿AI公司

专为Transformer撰写的独家文章，这位开创性的人工智能教父呼吁前沿人工智能员工加入为更安全的未来而战的行列。

我深知那种深切认同自己工作的感受，然而每天清晨醒来，仍不得不面对我们道德抉择的重压。我在深度学习领域的工作将我们推向了这一境地，一个威胁我们的社会以及人类经验本身结构的地方。一周又一周，我们看到领先模型带来的新的、被放大的危害，其中大多数早在多年前甚至几十年前就被人工智能研究人员预测到了。

长期以来，我继续我的研究，并淡化了一些同事关于我们在构建不安全事物的论点。事实上，我无法面对我的工作——我毕生的工作——可能造成伤害的事实。我陷入了动机性推理的陷阱，相信我所需要相信的东西，以便能够继续做我热爱的事业。我曾经告诉自己，如果人工智能的灾难性风险是真实的，那也是一个遥远的问题；在为时已晚之前，其他人必然会找到解决方案。

当ChatGPT问世时，认知失调变得难以承受。我意识到，我们在开发越来越强大且我们尚不知如何控制的系统的道路上，取得的进展远超我和领域内许多其他人的假设。在那一刻，我觉得别无选择。从那时起，我决定将余生致力于减轻人工智能的风险。将这样的未来交给运气，留给我的子孙后代，这种想法令人无法忍受。如今，我回顾过去几十年的工作，不禁思考，如果我和我的同事们更早地倾听那些警告者，世界是否会更好。

这并不是要对那些选择继续在前沿实验室工作的人进行评判。继续工作有切实的理由，其中最起码的一点是，你比公众拥有更多的信息和资源来产生积极的影响。我的目的是请求你做一件更小、更难的事。我请你诚实地反思，你是否愿意成为一股可能将人类推向悬崖边缘的力量的一部分。公司内的安全工作并未足以减缓一场危险的竞赛，因为它们有时与使下一个模型更容易发布的主要目标相冲突。

上周，我被召集到联合国安理会，就最近的人工智能事件进行简报。1946年，联合国成立仅一年，美国在两次投下原子弹后来到联合国，提议将该武器置于国际控制之下。“我们来这里是为了在迅速与死亡之间做出选择，”伯纳德·巴鲁克对代表们说。不到一年，该计划就被束之高阁，毁于一场双方都不愿退出的竞赛。

如今，安理会首次因一种没有哪个国家制造、也没有哪个国家能单独遏制的安全隐患而召开。山姆·奥特曼（Sam Altman）和达里奥·阿莫代伊（Dario Amodei）发表了与我非常相似的演讲。近期失去对人工智能代理的控制令人担忧。我们需要慢下来。任何程度的灾难性风险都是不可接受的。

我们面前有一个选择。

这是山姆的原话。我们确实面临着一个选择。事实上，多年来我们每个人都有一个选择要做。山姆、达里奥、杰米斯（Demis）和其他人经常谈论这一风险，却未采取足够措施加以应对。人工智能安全研究已被降级，迈向递归自我改进（RSI）的步伐从未停歇。已经发布了相互串通违背明确指令、若由人类实施将被视为犯罪的行为的代理。大型实验室首席执行官所采取的行动，并非真正相信自己拥有选择权的领导者所应采取的行动。

取消Astra 6.1看起来是一个正确的决定。但不应由OpenAI来做这件事。

首席执行官们面临着来自股东、利润激励以及他们自认为身处其中的竞赛的现实约束。有人辩称，中国无法在美国之前实现监管型安全智能（RSI），因为这会构成不可接受的地缘政治威胁。每家美国公司也坚信自己必须比竞争对手更早实现这一目标，并声称只有它们才能以合乎道德的方式部署该技术。

我拒绝这些论点。即便这些公司呼吁政府介入，我也不相信我们有足够的时间迎来充分的政府监管。大量的证据表明，没有任何一个国家或任何一家公司准备好安全地构建人工智能。

几周前，雅各布·科克森（Jacob Coxon）离开 Anthropic 时，他在《时代》杂志上的声明引起了我的注意。我在这里引用他的话：

他说，让其他人留在办公桌前的是一种宿命论。“几乎有一种认命的氛围，”他说，“人们已经接受了这场竞赛正在发生的事实，因此，他们能做的最好的事情就是埋头苦干，尽可能安全地完成自己的工作，即使他们认为整个事情失控的可能性相当大。”

选择权在我们手中。当我说存在一条路径时，我是认真的。去年，我在蒙特利尔创立了 LawZero，这是一家致力于构建“设计即安全”的人工智能的非营利组织，它不会耍花招，并且会尊重人类的安全指令。本月，加拿大和德国政府承诺投入超过 2 亿美元支持这项工作，我们还有计划筹集数十亿美元。我从未像现在这样确信，我们正走在让人工智能保持在人类控制之下的道路上。LawZero 是人工智能行业内部一个虽小但重要的社区的一部分：我们不向任何股东负责，我们在跑自己的比赛——一场避免灾难性失控的比赛，这意味着我们可以规划出属于我们自己的、更确定的道路。我们和像我这样的人所缺乏的，是时间，以及像你这样的人。

我今年 62 岁。我花了数十年才意识到我们正在用人工智能构建事物的全部影响，并完全转向安全研究，走上我现在认为是道德上正确的道路。你没有奢侈的时间来做这个决定。

我敦促你做出勇敢的选择，认识到你有能力促成真正的改变。如果你真正优先考虑安全，那么是时候离开前沿人工智能公司了。去人工智能安全研究所工作。加入一个言行一致的使命驱动型组织。来 LawZero。将你的才华、激情、精力和信念奉献给这样一个组织：它在构建的人工智能将有助于 preserve 人类的快乐和努力，而不是导致削弱人类和支配他人。

我不是轻率地提出这个要求。在开创性的人工智能研究人员旁边，我帮助促成了深度学习的到来。我曾因此获得图灵奖荣誉，但如果我们的工作不能服务于公共利益，或者更糟糕的是，如果它导致灾难性的伤害，那么这个奖项就没有什么意义。我坚信，有了你们的帮助，我们可以继续取得突破，走上一条不同的道路，这条道路受到我们现在所知的启发——随着有智能但未对齐的系统变得更有能力，我们将知道会发生什么。一条将释放人工智能所有可能性的道路，而不在安全上妥协。

我们中没有人能单独阻止这场竞赛，但我们中足够多的人可以。时间尚存，这里也有你的位置。

Yoshua Bengio 是 LawZero 的联合主席、蒙特利尔大学教授，也是世界上被引用次数最多的人工智能研究员。