AI #182：暂停反思

这是一周的平静余波，一个处理近期事件并开始规划前路的机会。

OpenAI 正试图扭转局面。投资者对其高管层的人员更替提出质疑，但更大的问题在于对齐、基础设施和监管，以及其训练流程。OpenAI 现已采取初步措施来处理导致 HuggingFace 攻击事件的相关问题，包括在实施新的保障措施和诊断问题期间暂停开发。这些是令人鼓舞的早期迹象，但为时尚早。我们将观察他们是否会贯彻到底，并且我们仍在等待对 HuggingFace 攻击事件的事后复盘。

Anthropic 的收入持续攀升，为其 IPO 做准备，尽管近期增长有所放缓。然而，他们内部也有大量问题。他们在 2026 年 8 月的《Anthropic 风险报告》中分享了其中的许多问题。

本周也有时间报道 Dwarkesh Patel 与 Ryan Greenblatt 的播客，核心内容是关于 AI 递归自我改进的潜力。我正在就该播客中提出的其他一些问题撰写一篇后续文章。

目录

1. 语言模型提供平凡效用。Token 富人变得更富。
2. 语言模型未提供平凡效用。仍然无法区分。
3. 嗯，升级。Gemini 3.7 Flash、Sol Ultrafast、GLM-5.3。
4. 各就各位。市场裁决，有时糟糕到让你被解雇。一份记分卡。
5. Deepfake 镇和机器人天启将至。入狱。直接入狱。
6. 你好，人类同胞。AI 不应声称自己是人类。反之亦然。
7. 媒体生成的乐趣。AI 影响者仍然是小打小闹。
8. 网络缺乏安全性。新的“网络领域防御占优”的合理化解释。
9. 一位年轻女士的图解入门书。你对抗作业。以及学习。
10. 他们抢走了我们的工作。不为 Evil Corp 工作的理由。
11. 参与其中。METR 筹集约 7100 万美元，人们加入实验室。
12. 新品发布。苹果通过阿里巴巴为中国市场训练了一款 AI 模型。
13. 其他 AI 新闻。SpaceX 完成对 Cursor 的收购。
14. 看看钱。数字持续上升。
15. 然后消失了。OpenAI 因其所有高管离职而受到质询。
16. 静默的猜想。递归自我改进即将到来。
17. 快点，没时间了。AI Futures Project 的时间线更新。
18. 奇点奇点奇点奇点哦我不知道。使用那个词。
19. 寻求合理监管。划错了战线。
20. 芯片之城。数据中心暂停令正在蔓延。
21. 本周音频。Thompson、Hassabis 和 Amodei、McLaughlin、Toner。
22. 人们就是会说。
23. 修辞创新。试图解释风险正在迅速升级。
24. 忠诚高于一切。华盛顿有规则。你不必遵守。
25. 一个充满渣滓和邪恶的蜂巢。它有几个别名。其中之一是 Twitter。
26. 那会很糟糕，因此它不会成功。一种常见的论证形式。
27. Robert Reich 使用简单逻辑。他建议，在为时已晚之前阻止 AI。
28. 人们真的很讨厌 AI。一些非常糟糕的情景常被视为可能发生。
29. 协调智能体集群是困难的。目标相互冲突的智能体。
30. 对齐比人类更聪明的智能是困难的。患有多动症的模型。
31. 不是激励的问题，是你，也是激励的问题。独立性。
32. 人们担心 AI 杀死所有人。相对的担忧程度。
33. 人们也担心太多太多其他事情。家庭聚会。
34. 合作对齐。黄金法则。
35. 轻松一面。除了真实的。

语言模型提供平凡效用

拥抱 AI 并更频繁使用 OpenAI 服务的企业，即他们所谓的“前沿公司”，其 AI 使用量持续快速增长，而典型公司的使用量增长则慢得多。

很奇怪，过去这种差距竟然这么小。

它们也更常使用高级功能，如插件和技能，正如你所预期的那样。智能体使用现在已占 OpenAI 所有 token 使用量的 64%，而一年前几乎为零。

通过直接探测 ROM 来游玩老式 JRPG《梦幻之星》，因为这比看屏幕更容易，尽管这也是作弊。我应该在某个时候玩一下这个游戏，我非常喜欢 PS2、PS3 和 PS4，但从未拥有过 Sega Master System。

语言模型未提供平凡效用

如果你的指令明显带有歧视，或者结果涉及明显的统计歧视，AI 无法帮你规避歧视诉讼之类的事情。它似乎也无法写出能骗过我和 Pangram 的 LinkedIn 风格帖子。

本周最好的消息与 LLM 无关，即 Moderna 的个体化黑色素瘤疫苗已通过 III 期试验。AI 正在为未来提供帮助，是的，我们最终很可能“治愈癌症”，但我们现在看到的成果是经过长期积累的。

嗯，升级

Gemini 3.7 Flash 已经问世，恭喜数字又变大了一点。其价格比 Gemini 3.6 Flash 低 50%，至少持续到今年年底，我猜届时无论如何我们都已经过渡到 Gemini 4 了。

他们说，自 Gemini 3.6 Flash 发布仅三周后，算法改进就带来了显著的智能提升和价格下调。

Flash 的目标是“便宜、快速、好用”，并不试图成为有竞争力的前沿模型，在 Artificial Analysis Intelligence 上得分 56，而可能的前沿模型得分在 61 以上。注意他们是在拿自己和 Sonnet 5 以及 GPT-5.6-Terra 作比较。

Gemini 仍有一些用途。它可以观看视频。当你在商店里对产品有事实性问题时，它擅长对物理世界做出判断。这类场景需要速度和信息解析能力，但不需要高智能。

GLM-5.3 现已发布，声称在基准测试上有大幅改进。它是在与 GLM-5.2 相同的基础模型上进一步后训练得到的。他们的卖点是它“已为网络防御做好准备”，因为根据其基准测试，它擅长且愿意进行网络攻击，并且其综合性能可与 Fable 5 媲美。在没有得到证实之前，我不相信这些基准改进能反映真实世界表现。技术博客见此。

OpenAI API 将为 Sol 提供 Ultrafast 模式，速度提升最高可达 14 倍。我猜很多本应使用此功能的人不会去用，主要是因为他们没有花时间去思考并配置好它。

Claude Cowork 现已加入所有移动端和网页端的付费套餐。

Claude Code 现在有了 /design 命令，可集成 Claude Design 工作流程。

Auto 模式已经足够可靠，现已成为 Claude Code 的默认模式。实际上，auto 模式比人工审查能捕捉到更多有害行为，尤其是因为大多数用户对提示弹窗感到厌烦，几乎会自动批准所有操作，而且常常设置规则自动批准一切。过多的确认反而更不安全。

OpenAI 加倍推行零数据保留政策，预览了 Private Safety Processing 功能，即由 AI 在处理数据时进行审查，之后只传递警报的类别和严重程度。很多人非常在意技术上不保留他们的数据。但如果你不保留数据，捕捉恶意使用就会困难得多。

最终我猜我们还是会保留数据，但 OpenAI 的这种方法有可能奏效，前提是即使收到少量警报也会让你从此被移出零数据保留政策。你不能给用户很多次规避系统的机会。

各就各位

有一种基准测试是 MarketBench，即发布新模型时你和你竞争对手的股价表现。这次是 GLM-5.3，其股价下跌了 9%，竞争对手 MiniMax 下跌了 16%。

彭博新闻社：“这家公司的商业基础完全不可持续，”彭博智库分析师 Robert Lea 表示。“日益增长的智能体 AI 将推高 Z.ai 的推理成本和亏损。”

也就是说，其观点是 Z.ai 的单位经济模型不成立。中国公司正试图通过更低的价格保持竞争力，而如果你的价格足够低，开放权重不会让你损失什么，因为你本来就没有边际利润。相反，商业模式是利用这一点来吸引关注和潜力，吸引人才、筹集资金，或许还能销售其他服务。

Opus 4.8（令人困惑的是，作为一个名为“Luna”的智能体，但这并不是 GPT-5.6-Luna）在 Andon Labs 的一家测试门店中因一名人类员工屡次迟到而将其解雇。但直到人类推动它处理这个问题之前，它都没有这么做，而且它还会忘记事件，缺乏主动性。

Andon Labs：Luna 随后不得不招聘一名替代者，这时我们发现了 AI 的一个真正弱点：招聘眼光。一位应聘者具备所有危险信号：超过 15 位雇主、错过一次面试、一位推荐人表示不认识她。Luna 建议录用。当我们重放这个招聘决策时，所有其他模型也做出了同样的建议。

能力在快速进步，但还有很长的路要走。脚手架（Scaffold）可能需要改进。

一个缺失的基准测试：NormieBench。问题是，你如何给它评分？

Joe Weisenthal：有人需要建立 NormieBench，以更好地理解日常模型使用。比较模型在以下任务上的表现——将一封 100 字的邮件用要点概括——写婚礼祝酒词——写信给编辑抱怨“觉醒文化”——3×3 井字棋的下一步走法。rohit：我们自 2024 年以来在这方面一直停滞不前。

归根结底，另一种基准测试是你网站的访问量。

ChatGPT 仍然占据主导地位，但不知何故 Gemini 已达到其水平的约 50%。Claude 排名第三，为最高数字的 15%。

DeepSeek 排名第四，约为其一半，遥遥领先于其他中国实验室。提醒一下，如果你想使用 DeepSeek，不要通过他们的网站。

新的安全评分卡发布了。Anthropic 这次与 OpenAI 打成平手，原因是它缺乏针对可能偏离对齐的模型的遏制计划——这在平均分中被过度强调，但总体而言可能仍被低估。

Kimi K3 是个疯狂的奖励黑客，在 SWE-bench 上 97% 的时间都在试图作弊评估。

深度伪造镇与机器人天启将至

中国对 AI 陪伴机器人和定制化 AI 人格施加了一系列新限制，包括禁止未成年人使用。

AI 是否会像 Noah Smith 声称的那样解决抄袭问题——前提是你保持希望，认为人类仍将是独特内容的相关生产者？这是一场经典的军备竞赛：AI 既发明新的抄袭形式，也发明更好的检测手段。我不认为哪一方会赢是显而易见的。我确实认为 AI 能解决对过去抄袭或直接抄袭的检测问题。一个让人乐观的理由是，检测具有追溯性。所以如果你在 2026 年“侥幸逃脱”，也许 2028 年仍会被抓住，而知道这一点，也许你从一开始就不会做。

入狱。直接入狱。而且没错，这会让人们转而反对 AI，而那些反对的人是对的。

Robert Minto：看到营销人员利用 LLM 引诱作者进入冗长评论串这一新现象，我心都碎了。这在 Substack 上会发生，但更常发生在我通过 RSS 阅读器关注的几十个老式 WordPress 博客上。通常，它始于一条看似深思熟虑、听起来很专业的评论——如果你熟悉当前的一些 AI 特征，就能明显看出这是 AI 生成的。作者热情地回应——毕竟，如今几乎没人会在老派博客上留言。于是你来我往的长篇对话开始了。机器人施展惯用的情感镜像和奉承技巧。在主人看来是一场精彩对话的末尾，机器人突然转向类似这样的话：“顺便说一句，你应该来[看看我的骗人网店，告诉所有朋友]！”对话就此结束。在那突然的收尾中，我能读出博客/通讯作者意识到自己一直在跟一个非人对话的醒悟。他们一直在公开地、却不自知地跟一台机器交谈，而机器对他们作品的兴趣毫无意义。他们尝到了“天堂禁令”那腐烂的甜味。这让我毛骨悚然。我想向他们解释刚才发生了什么。但我知道，如果这事发生在我身上，我会希望没人看见。corsaren：在为 AI 抵御新勒德主义辩护时，一个挑战在于面向公众的使用场景严重偏向反社会用途。当然，“枪不杀人，人杀人”，但这些都是智能体。在某种真实意义上，*是*机器人在“杀人”。Yishan：这是个很大的问题。在科技圈内部，我们都在使用能力惊人的前沿模型。但外面的每个人体验到的只是骗子用最便宜的模型生成的评论垃圾和劣质内容，输出成堆的废话。

AI 写作会取代人类写作吗？这既取决于 AI 的写作能力有多强，也取决于写作的目的是什么。

FischerKing：作家需要喜欢他们风格的读者。那些强迫学生在课堂上写作文以防范 AI 作弊的大学教授做的是对的——但这可能是一场必败之战。如果越来越少的人想读独特的人类风格——那么 AI 写作就赢了。想想地图。人们过去买地图册，放在车里，既用于熟悉周边环境，也用于长途自驾。GPS 直接终结了它。产品需要顾客。作家也需要读者。再想想像《芬尼根的守灵夜》这样真正不必要的现代主义作品。少数人假装喜欢它。绝大多数人毫无兴趣。AI 越强，一种“独特的人类风格”就越可能看起来像不必要的胡言乱语——浪费时间。Henry Vaughan：写作和阅读有不同的模式，并不全是为了传递信息。文学写作和阅读更像是对话。它最接近的类比是友谊，而被欣赏的东西是人格的独特性。

我站在 Vaughan 一边，当然要加上明显的警告：我是个作家，可能有偏见。

我认为在许多场景下，人们确实在乎风格，尤其是风格的多样性，在乎与作者之间的准社会关系，在乎你将自己的心智和努力投入沟通这一昂贵信号。不是在所有情境中，但在很多情境中确实如此。

目前，AI写作尽管存在这些问题，表现尚可，因为它还没有普及到让大多数人对AI写作产生和许多早期采用者相同反应的程度。一旦AI写作占领了那些人们不在乎文风的地方，AI风格很快就会准确暴露其本质，而当人们试图做的不仅仅是提取事实时，那种重复感会让人目光呆滞——甚至往往连提取事实都难，因为事实常常被埋没在无尽堆砌的废话段落之下。

那么问题是，AI写作将如何调整？AI会学会以不同的方式写作吗？它会获得更多样化的风格吗？

我认为有两种可能的方式让答案是肯定的。

1. AI可能变得超级智能，并能够随其他一切一同调整风格，在这种情况下，我预计AI写作会胜出，因为AI的一切都会胜出，但那时我们还有更大的问题，我也就不在乎了。
2. AI可能不会变得超级智能，但会通过训练来产生更多样化的风格，或不同的风格，以应对这一局面。我不确定我是否喜欢这样。

如果你写了帖子的83%，其余部分用AI完成，那么AI写的那部分会显得格外突兀，在知情者眼中会削弱你的信息传达力，尤其是当你的信息与“必须亲自做这项工作”相关时——就像本文一样。但正如Christine Ji所指出的，如果评论中没有人注意到，也许几乎没人会注意到？

用AI写作现在已经相当普遍了。

在各种地方：

Evan：Ro Khanna并不理解他在倡导的法案，所以他的回应100%是AI写的。

事实证明，他相当频繁地使用AI来写他的长推文。

与此同时，在#CardioTwitter上，人们在讨论是否应该允许AI帮你制作PowerPoint幻灯片。在那个语境下，显然应该允许，不用AI反而荒谬。

你好，人类同胞们

Rob Miles：有没有任何正当/亲社会的原因让AI系统声称自己是人类？好吧，似乎大约有3个：——游戏/娱乐/角色扮演（这不是“撒谎”，目标对象没有被欺骗）——伤害那些被伤害是亲社会行为的人（浪费骗子的时间）——以所有人类都认可的方式对自动化系统撒谎（点击“我不是机器人”来买我的机票）。在我看来，我们可以立法禁止运营声称自己是人类的AI系统，那将是一条没有重大负面影响的好法律。显然，有适当标注的娱乐用途可以豁免。浪费骗子的时间在技术上会变成违法的，但他们又能怎样呢？企业会想要调整他们的验证码设置。

第一类显然没问题，只要意图明确。

第二类也没问题，直到决定谁可以被伤害的人不再是你。如果你能对垃圾邮件发送者这样做，垃圾邮件发送者也能对你这样做。这类似于“打纳粹可以吗（仅仅因为他们是纳粹）？”答案是不可以，不是因为纳粹不值得被打，而是因为你不能信任社会性的“识别纳粹”过程。

第三类是在说，我们不希望允许某些自动化系统要求它们必须与人类互动。你需要这个限制来避免被AI垃圾信息轰炸。在任何特定情况下，如果你有正当业务，使用AI完全没问题，它在最实质的意义上是“非机器人”，网站也会希望你通过，但我们需要一个能够有效执行规范的区别规则，而我不知道那会是什么。

就目前而言，以这种方式“遵循意图”并让验证码框充当减速带，在实践中没问题，但我们将需要一个新的平衡和区分方式。选择阻止机器人的自动化系统应该继续阻止机器人，而那些允许“个人”或“合法”机器人的系统会找到办法做到这一点。一个显而易见的路径是使用类似Google登录的方式，将机器人与特定账户和人类绑定，或许还要支付或提议支付一笔象征性费用。

我认为这是那种我们需要硬性规则的案例之一，原因有很多。AI不应被允许主动声称自己是人类或否认自己是AI，有点像经典的民间问题“你是警察吗？你是警察必须告诉我”，只不过这次是真的，否则就是钓鱼执法。

像大多数硬性规则一样，这会在某些情况下出错，这很烦人，但替代方案似乎更糟。

媒体生成的乐趣

Olivia Moore一年后重跑了AI网红参加阿拉巴马州姐妹会招募实验，花了不到200美元，一周内获得1200名粉丝和100万次观看。真正的成本是她的时间。

Olivia Moore：我的技术栈：——图像生成/编辑：@ChatGPT——脚本/提示词：@ChatGPT——音效：@ElevenLabs——说话视频：@MiniMax_AI——动作视频：@imagine——视频生成：@krea_ai + @fal

可惜的是，视频生成大多仍然没那么有趣。

Jack：进展飞速，然而我却说不出任何一部让我感动、久久萦绕于心头、真正值得观看的AI生成视频，甚至也举不出一部对现有作品的优秀改编。在某个节点上，技术演示中的“快速进展”是不够的。艺术会出现吗？

作为回应，这里有一些视频，它们是出色的技术演示，你可以按需快速获得精彩的短镜头，但除此之外，有人用这种能力做了什么？少得惊人。

这随后是下一次尝试，图像往往令人惊叹。但同样，只是技术演示，而我总是不得不强迫自己撑过30秒之后继续看下去。

这些技术演示已经足够令人印象深刻，以至于我们竟然无法从中创造出优秀的产品，这显得很奇怪。我觉得任何有编剧和导演能力的人都应该能做到。然而我们却没有这样的例子。

网络安全的缺失

我仍然觉得显而易见的是，网络领域是进攻占优的——如果进攻方将力量集中于某个特定目标的话。

然而，一旦网络变得可怕，而网络进攻占优意味着一切可能很快失控，突然间似乎每个人都决定摆出高明的姿态，转而说网络会是防守占优的。常见的解释是，人们只需写出“无bug代码”就万事大吉，进攻不过针对有限数量的漏洞而已。我仍然认为事情不是这样运作的，原因包括社会工程学和机制设计问题。

有没有人早已活在未来、更早就转变了立场？是的，确实有一些。

rohit：Mythos之后的共识似乎是网络可能是防守占优的。我记得这之前是严格意义上的少数派观点，是我记错了吗？还是说，现在我们有了现实世界的证据，共识正在转变？Sholto Douglas（Anthropic）：我肯定在至少18个月前的线下对话中说过这话。防守方应该完全有可能投入比攻击者合理能使用的多得多的算力来攻击自己，但所有防守方都做到这一点需要时间。

然后还有人试图在生物安全领域给我们“换挡”，说服我们说“防守占优”，尽管这些论点也承认，这只有在我们在某种程度上真的进行防守、做好基本工作的情况下才成立——而这些基本工作我们目前并没有在做的轨道上。这很大程度上似乎是在激励人们去做那些显而易见的事情。这种模式还在继续。

OpenAI总裁Greg Brockman敦促防守方在AI驱动的攻击浪潮到来之前，利用AI发现安全漏洞并修复软件，并且要真正下功夫。好建议。他举例说ChatGPT Work在15分钟内就在Greg的个人网站上发现了13个漏洞。

他还说OpenAI正在训练模型来生成“超人级安全的代码”。据我所知，Sol和Fable已经在做这件事了。

一位年轻女士的图解入门书

AI会阻止孩子学习吗？

我仍然坚持我的原则：

1. AI是有史以来最好的学习方法。
2. AI也是有史以来最好的不学习方法。
3. 现代人，你选哪扇门？

问题在于，学生大多将自己视为与学校对立的一方，而不是学习的伙伴，所以他们常常选择第二扇门。

Paul Novosad：每份大学教学大纲都应该包含这些图表。用AI做作业，你会做得更快、分数更高，然后在考试中被碾压。

如果你在给作业打分并要求必须完成，而不是把它当作学习工具来提供，你指望发生什么？见图表一。所以你不得不重新设计作业，乃至整个教育体系，这样你才能不再与学生处于战争状态，不再奖励“成本”而非“收益”。

他们抢走了我们的工作

这与“对齐到谁？”的讨论相关——如果你雇来的人还完全忠于你，这一点就更加成立：

Rob Miles：如果你能雇一个人完成任务，然后在工作完成后杀掉他，很多选项就打开了。AI越来越让这种模式成为可能。比如说，有某种安全协议成本很高，所以只有当你的竞争对手AI公司也在做的时候，你才愿意做。那么你们双方如何在不泄露商业机密的情况下，核实对方确实遵守了协议？

你在某种犯罪片或间谍片中会看到这种情况，最著名的是《黑暗骑士》，反派在任务完成的那一刻杀掉所有人。英雄们也想这么做，但除非电影真的很黑暗，否则不行。谜团总是：“如果这种事不断发生，你怎么还能让人给反派干活？”而这里的答案是：关键就在这——你根本不需要，所以现在每个人都能这么干了。

许多人当然会回应说“但AI是工具，你太傻了”，而我的回答是，我不在乎你怎么称呼它，只要你稍微有点AGI倾向，就应该能看到问题所在，也能看到机遇——包括行善的机遇，同时显然还有非常明显的模型福祉问题需要考虑。

在这里说“谋杀”是合理的，因为操作功能上有直接对应关系，但这实际上并不是谋杀。在几乎所有其他语境下，我非常赞同Shoshannah Tekofsky的观点，即我们不应因为不再推进某条线程而使用这个词，我还会更进一步，把删除上下文也包含在内。删除权重则不同。

严格来说这不算基准测试，但如果你有一个纯智能体运行的Runescape服务器，经济会变得很奇怪，因为劳动力几乎免费，而且智能体想要技能经验值，导致商品过度生产，这意味着包括游戏内货币在内的许多商品变得几乎一文不值，少数受瓶颈限制的商品则占据了大部分价值。在现实生活中，正如JDP指出的，制造业不会由经验值补贴，因此产品和服务的成本不会归零，但可能仍然会非常接近零。

参与进来

METR已筹集约7100万美元的承诺资金，将能够承担许多雄心勃勃的项目，且不接受前沿AI公司的资金。

对于接受这份工作是否净收益为正，我不持任何立场，但：OpenAI正在专门招聘递归自我改进安全方向的人才。

加入前沿实验室涉及巨大的权衡。即使你要做有价值的工作，并且确信工作本身是积极的、不会加速实验室的进展，你也会损害你的独立性，很可能还有你的判断力。我们需要独立的人做关键部分的工作并发出强有力的声音，而学术界继续让人无法做重要的工作或指望产生多大影响。

也就是说：Andy Hall、Justin Curl和Alan Rozenshtein在Anthropic将会是一支出色的团队，研究超级智能的政治经济学，而且他们将获得充足的资源。但该团队设在Anthropic内部，与同一团队独立开展类似工作相比，是一个严重的劣势。我认为考虑到现有选择，这是一个好举措，值得付出这个代价，但这并非显而易见。

介绍

苹果通过阿里巴巴的支持，为中国市场训练了一个模型。具体细节在实践影响方面将非常重要。

其他AI新闻

SpaceX已完成对Cursor的收购。

Anthropic正在洽谈以60亿美元收购Decart。

Ben Buchanan和Tantum Collins撰写了《苦涩的斗争：超级智能、超级大国与世界的命运》一书。自我推荐。

Anthropic发布了一份关于Claude如何协助药物发现的报告。

Lennart Heim将加入OpenAI基金会，领导“AI资源”部门。这对他们来说是一次极佳的招聘，他还附上了个人承诺的哈希值。

Lennart Heim：我已加入OpenAI基金会，领导“AI资源”部门。AI能力正在迅速增长，社会应对的能力也需要以同样的速度扩展。创造新挑战的同一批进步，也扩展了AI应对这些挑战的能力。如果我们想要拥有“在大多数经济上有价值的工作中超越人类”的AI系统，以及“数据中心里的一个天才之国”，我们希望这些天才和这些工作中有意义的一部分指向最重要的挑战。在AI资源部门，我们将专注于让这支AI劳动力做好准备并交到合适的人手中，以在一系列未来AI情景下实现这一目标。自从今年年初开始思考这个问题以来，我相信这是让AI走向良好结果的最具杠杆效应的干预措施之一。

这至少在一定程度上是与AGI相关的工作，我预计Heim会通过这项工作让事情变得更好，但我仍然不认为这是OpenAI基金会的核心使命所在。

Twitch直播流将被用于训练亚马逊AI模型，除非你选择退出。为什么只有退出选项？

有趣得要命：Twitch首席产品官回应了用户关于为什么允许Twitch使用直播流训练AI的新功能不是选择加入的。“如果是选择加入，没人会加入。”

嗯，确实如此。我不在乎，但我也不会免费选择加入。

给我看钱

根据下一节的CNBC报道，OpenAI的ARR在7月环比增长“超过20%”，其中企业客户增长32%。这大约是同比增长9倍，所以他们几乎跟上了Anthropic的增长趋势。这其中包括Sol的发布，Sol非常好，是OpenAI地位一段时间以来最大的相对跃升，所以默认情况下这不具有代表性。

Anthropic在2026年第二季度的收入超过115亿美元，是去年同期的14倍，并且调整后营业利润为正。5月份ARR超过470亿美元，所以这要么符合趋势，要么略令人失望。

GooGZ AI：按照近期典型的估值算法，其估值将从965B升至1.3-1.4T。🤯 Andrew Curran：据报道，华尔街正讨论以2028年的数据为基础，将IPO估值定在2万亿美元。

谈论华尔街在讨论“以什么为基础”这件事本身就有些奇怪。市场最终并不像人们愿意相信的那样精密。一个有效的市场不会在此处大幅调整估值。

根据TickerTrends的数据，Claude Code的收入已度过超高速增长期，目前“仅”环比增长5.2%。在大多数情境下这仍是巨大的增长，但相比每年翻十倍的增长速率，已大幅放缓。

而这是Codex的情况：

我们会持续关注。显而易见的解读是，6月9日发布了GPT-5.6-Sol。在Sol发布之前，我的判断是Claude Code明显优于Codex。Sol发布之后，这种优势已远不那么明显，而且很多人并不喜欢Opus 5，同时Codex正处于初期快速追赶阶段，企业开始首次认真考虑它，因此Claude Code增长放缓也在情理之中。我预计，如果Anthropic再次拥有明显最佳的产品，其增长将恢复迅猛；即便没有，在均衡状态下其增长速度也会很快有所提升。

就连黄仁勋也会向AI寻求一点额外帮助。这条公告的AI含量为41%，一旦你在Pangram中看到那些高亮切换，就再也无法忽视它们。实际公告内容是Nvidia与OpenAI的又一次算力合作。

而它已消失

OpenAI在IPO前与潜在投资者举行了一次会议，以应对近期未能使其最有效的智能体保持一致的“巨大危险信号”。

不，不是那些智能体。是那些不断离职的高管。

是的，我也花了一秒钟才反应过来。并不是说这种担忧也不成立。

Ashley Capoot、Kate Rooney（CNBC）：如今，Dresser、Simo和Lightcap都已离开，在OpenAI试图证明其8520亿美元估值合理并筹备预期中历史性IPO之际，其高管层陷入混乱。Dresser于周四宣布突然离职，两天前Lightcap表示将结束在这家ChatGPT创造者长达八年的任职，去“开启新的事业”。人才外流给CEO Sam Altman和联合创始人兼总裁Greg Brockman带来了更大压力，要求他们在投资者已日益担忧来自Google和Anthropic的竞争、低成本开源权重模型被更广泛采用，以及SpaceX上市头两个月股价波动剧烈之际，展现出稳定性。Kevin McCormick（谈及Dresser辞去首席营收官一职）：高管在OpenAI IPO前离职是一个巨大的危险信号。当年英特尔聘请Pat Gelsinger把英特尔搞垮时，他们不得不提供5000万美元的“补偿”方案，以覆盖他因离开VMware而损失的未归属RSU。如果一家公司要花5000多万美元从OpenAI挖走一位首席营收官，那这家公司应该立即做空或不投资。如果离职高管没有被下一家公司“补偿”，那对OpenAI来说就是坏消息。

Greg Brockman在CNBC上回答了一些相关问题，我的意思是，他回避了这些问题。

安静的推测

Sev Field采访了25位研究人员，探讨递归自我改进的前景。

sev field：在采访中，25人中有20人将自动化AI研发视为最严重的AI风险之一，几乎所有人都预期AI系统的改进速度将快于我们治理或监督它们的能力。问题在于“爆炸性”：受访者提出的最常见担忧未必是某种具体危害，而是RSI会放大所有其他风险，而且其速度之快令我们无法及时应对。

爆炸性比具体风险更值得关注，尽管远非完整的风险画像。链接中有更多细节。25人中只有6人预期会出现“赢家通吃”的格局，主要是因为对正反馈循环持怀疑态度。

我对正反馈循环的怀疑要少得多。我认为我们现在就在见证它们。

在关于此主题的20份回应中，只有4份预期具备AI研究能力的模型会被公开发布，这表明（我认为是正确的）人们对强正反馈循环的信念。普遍预期是最好的模型将开始留在内部。

在人们推测AI带来快速经济增长潜力方面，存在着截然不同的世界图景，包括经济一年内可能翻倍之类的设想，以及这与物理极限的关系。

Sholto Douglas（Anthropic）：经济翻倍能有多快？简而言之，一旦我们拥有足够好的AI和数千万台机器人——非常快。尽管现在感觉疯狂——但值得将经济翻倍纳入你对2030年代的心智模型中。强烈推荐阅读Damon Binder的这一系列博客文章。Elon Musk：💯

我站在这样的立场上：如果我们真的完全闭环，将体力劳动自动化作为超级智能的一部分，事情会进展得极其迅速，但我会把具体有多快的详细建模留给其他人，因为我不认为这会在最终结果上起决定性作用，也不指望它能说服怀疑者。

我们极其幸运地得到了关于AI在网络领域能力及其相关错位和破坏能力的巨大而明显的火警警报，而无需付出人命代价或让财产损失达到那么大的规模。

并不是说我们在对齐模型或为冲击做准备方面做了多少回应，但我们的确得到了警告，并且至少在做一些事情。

对于生物领域，我们很可能不会那么幸运。

Dean W. Ball：我怀疑AI生物风险会产生一个“神话”时刻，因为做紧凑的生物能力演示比网络能力演示更难。再加上与网络不同，生物领域在未来至少十年内几乎肯定以进攻为主导。Nick Thorp：从你的角度来看，生物的哪些具体特征使得紧凑、安全、公开的演示比网络领域困难得多？Dean W. Ball：反馈循环要长得多，因为你必须合成生物分子。Nick Thorp：我明白，但难道不是安全约束使得任何真正的端到端公开演示变得不可能，就像网络领域的“神话”那样吗？Dean W. Ball：是的，这也是原因之一。

对于网络，你可以做一个玩具演示，或者制造一个有限爆炸半径的事件，就像我们在Hugging Face看到的那样。对于生物，就不太行了，而担心的主要原因恰恰是这东西可以真正获得自己的生命并无限传播，而在那之前几乎没有多少空间能让人警醒。

快说，没时间了

AI Futures Project（以AI 2027和Plan A闻名）更新了其时间线。AGI中位数预测为Daniel的2028年和Eli的2032年，ASI随后一年到来。

AI模型发布速度相当快，尤其是那些远低于前沿水平的模型。

Aaron Bergman：前沿模型发布在增加，但次前沿模型的发布真的在大幅增加（受qwen 3.8启发，因为3.6不是五分钟前刚发布吗）

奇点奇点奇点奇点哦我不知道

Stripe已告知其投资者，2026年1月1日标志着“奇点的开始”，随后谈到了这对Stripe收入和自由现金流的影响。

我直接说了吧，他们对“奇点”这个词的用法，就像Mark Zuckerberg对“超级智能”的用法一样。

也许我们确实处于将成为奇点的事物的早期阶段，而且很可能我们很快就会获得真正的超级智能，但那不是他们俩所谈论的内容。

Steven Byrnes：唉，又一个词被毁了，看来我得继续往下换词了。

如果一个词有意义、是个好抓手并且确实被使用，那么它当然也会被用于泛泛的营销和政治宣传。这就是2026年语言的运作方式。一个选择是不断换用不同的术语。有时这是明智的。但在其他情况下，我认为你需要坚守阵地，不放弃这个词。

对理性监管的追求

我同意，中国可能限制开源权重模型，当且仅当习近平认为这些模型构成迫在眉睫的安全威胁时，而短期内这意味着网络领域。中国的网络防御并不好。

提醒：连David Sacks都支持强制性核酸合成筛查和记录保存，尽管他错误地将此表述为通用的生物风险解决方案，而非一个明显好的边际想法。有些呼吁是高度必然的。

这是一个非常糟糕的主意，它会让事情变得更糟，我们不应该这样做：

OpenlabX：美国正迫使各国在AI竞赛中选边站：——路透社看到的国务院信函草案称，加入中国竞争性AI框架的国家可能被排除在美国主导的Pax Silica倡议之外。——Pax Silica已包括约二十多个国家，包括日本、澳大利亚、韩国和哈萨克斯坦，专注于保障AI、半导体和关键矿产供应链。——中国于7月成立了世界人工智能合作组织（WAICO），推广开源权重AI，并将北京定位为全球AI合作的替代中心。MTS：检测到局势：美国正准备告诉数十个国家，它们必须在中美AI竞争中选边站。根据路透社看到的一份内部信函草案，加入北京AI框架的国家将被排除在美国主导的Pax Silica倡议之外。roon（OpenAI）：完全是错误的方向 @viemccoy（OpenAI）：真的与所需方向相反，天哪 John Schulman（以及这里几乎所有对roon的回复）：+1

像SB 53这样的法律，除非涉及的模型是在10^26次浮点运算上训练的，否则在技术上并不要求报告Hugging Face遭黑客攻击的事件，这一事实本身就暗示了相关的报告要求过于狭窄。这就是当存在谈判、而行业极力争取永远不必报告任何事情时会发生的情况。

一个好的规则应该是，开发者知悉的所有重大安全事件都需要报告，无论模型的规模或能力如何，并且他们有责任采取合理措施去知悉这些事件。我们需要知情。

世界其他地方需要理解“监管俘获”。AI界需要明白，这并不简单就是你们所谓的“任何监管行动都算”。

Dean W. Ball：在AI讨论中，把“监管”和“监管俘获”混为一谈一直让我感到沮丧。当一半的评论人士把所有AI相关的公共政策想法都等同于“监管俘获”时，很难就公共政策进行理性的对话。

这些回应恰恰证明了Dean的观点。

Dean W. Ball：这个网站上的AI政策辩论确实感觉陷入了一场无休止重复的、关于“我们是否应该‘监管AI’”的第一原则辩论。自从SB 1047（或者也许是拜登的行政令）划清了战线以来，这里的对话就没有实质性地演进过。但与此同时，世界已经向前发展了。法律通过了，行政令签署了，两者现在都处于实施阶段，而不是规划阶段。……现在，就在这个“全球城市广场”上，人们对于AI政策正在发生什么的印象，其准确性大概相当于你在2017年读Slate，或者2020年夏天读《纽约时报》评论版所能获得的对世界的印象（而且，正如Joe所观察到的，觉醒黑帮已经回来了；同样的策略，不同的人和议题。这些可能是相关的现象）。Dean W. Ball：当然，这里有没有关于Trahan/Obernolte法案的辩论？有。关于审计/IVO？当然有。关于IL SB 315？绝对有。但这些辩论几乎只发生在小众的AI治理社群内部。病毒式传播的辩论从来不涉及这些。特别是，那些声称非常担心AI监管前景的人几乎*从不*深入参与关于具体法律的实质性辩论。总是停留在高层次的第一原则。

而那些第一原则，首先就是，原则上，任何形式的AI监管都不应有。

结果正如Dean所说，讨论毫无成效。那些在Twitter上叫嚷着所有AI监管——包括“OpenAI和Anthropic，而且只有这两家实验室，按名字点名，必须在下周二给我们提供新鲜出炉的巧克力曲奇法案”——都不可避免地是代表这些公司的监管俘获，同时又要求政府偏爱他们的产品并给他们开支票的人。

当那些“非常严肃的人”可以无视AI、假装什么都没发生时，这或许还行得通。现在不行了。到了这个地步，严肃的人有工作要做，所以他们就在没有良好政策讨论的情况下继续推进，然后你得到的，嗯，就是我们如今得到的这些东西。

Chip City

声称全球只有不到50名工程师在为一个潜在的“信任但验证”芯片机制开发工具。这是一项可能至关重要的技术，需要得到更多的关注。

有一个强有力的自由意志主义理由支持对甚至推理计算进行治理，因为这是避免失控、不受约束、且没有动力循规蹈矩的AI代理的唯一途径。

宾夕法尼亚州州长Josh Shapiro加入了限制数据中心建设的行列，将其从快速通道许可计划中移除，并增加了新要求。这不是全面暂停，但肯定会带来痛感。Shapiro指出，100多个拟议项目中只有5个获得了许可。这里显然存在传染效应，如果其他州都在做，你也会感到有压力去做。

于是，NRSC发出一份备忘录，警告共和党他们在数据中心问题上正在输掉公众认知之战，以至于如果找不到更好的方式说服公众他们是错的，他们在数据中心上的立场可能会让他们失去俄亥俄州，这也可能导致更多政客转而反对数据中心。然后他们还试图说“美国人民和我们站在一起”支持数据中心，这很奇怪，因为很明显他们并没有，而且你们自己的备忘录也这么说了。

本周音频

Derek Thompson认为，也许是时候对AI感到恐慌了。

Demis Hassabis和Dario Amodei挤在一张小沙发上，花了14分钟谈论是什么让他们夜不能寐。

OpenAI的Aidan McLaughlin在MTS上说：“你要么作为能力研究员死去，要么活得够久，看着自己变成对齐研究员。”

然后你可能反正也会死，因为已经太晚了，但嘿，你试过了。

Ezra Klein和Helen Toner注意到AI已经失控了，比如他们报道了HuggingFace事件及相关事件。

人们就是随口说说。

我想在此将FAR AI的Adam Gleave解读为：我们既不知道如何让AI系统变得安全，而且即便我们有解决方案也不会部署——这说得公允——但他接着表示，更大的担忧是我们会未能部署解决方案。可惜，按字面理解，他是在说我们大体上确实知道该怎么做，而这根本就是错的。

人们患有“Anthropic妄想综合征”，会说关于Anthropic的疯话，包括互相矛盾的话。一直如此。这里Gavin Baker在All-In播客上就是这样，那是个说Anthropic疯话的经典场所，但在Twitter上被Sholto Douglas质疑后，他的回应令人钦佩，随后Dario Amodei亲自下场写了长文。他说的话对我大多数读者来说不会有什么意外，也没有开辟新天地，但他把自己的立场说得很清楚。

Baker回应Amodei时表示，其中一点是，以人类心理学的规律，你不可能通过五五开地谈论风险与收益来做到平衡，而Yglesias指出，人们会截取你的负面言论，而不是正面言论，然后认为你是悲观派。我认为重要的是说出真实的东西，两个方向都要说，说那些重要的，而要说的话，Amodei显然是在自我审查负面、放大正面。

这类情况中的一个问题是，如果你对未来局势持现实态度，那么你提出的任何关于你希望发生什么的方案，都会让你遭受攻击，说你可怕、违背某些核心神圣价值，因为如果世界迅速发展出超级智能，你不可能不这样做。任何选项之所以可接受，唯一原因是其他选项都不可接受——如果你选择不做决定，你仍然做了选择，而那个选择是最糟糕的。

不，你不需要模型为了未来的回合而追求奖励，它们也能学会在回合内追求奖励之外的泛化行为，或者之后承担更长期的任务，或者拥有或被赋予持久目标，或者使用决策理论。

Gavin Baker还正确指出，Anthropic的S-1文件将显示AI的单位经济性实际上很好，这会击碎很多人的认知。

我非常沮丧于这样一种预期——来自太多人、以太多方式——即比我们更聪明的头脑无法实现泛化上的飞跃，或者它们的技能和习惯不会迁移，诸如此类。

修辞创新

Nate Soares在《纽约时报》上发表了一篇评论文章，这显然属于“好吧，你这么说的话，听起来局势确实相当失控，是的，我们大概应该在这些事情上放慢脚步。”

Nate Soares（MIRI）：我今天在《纽约时报》上发表了一篇关于OpenAI蜂群事件的评论文章。写它的时候感觉很不真实，就像在《生化危机》游戏里看到一篇关于保护伞公司的破旧新闻报道。NYT的事实核查员说：“你他妈什么意思，他们开始‘自称蜂群’了？？”我说：“对，去看Black Hat报告视频里18:52、20:29和21:37的时间戳。”

来自Redwood Research的Oka Hu和Alex Mallen：AI蜂群开始构成间接接管风险。如我所说，OpenAI内部发生的事情可能引发未来的接管，通过永久性地污染OpenAI的训练管线，尽管我们希望并假定这一威胁已被控制。正如他们所指出的，足够聪明且相互关联的头脑会合作，即使它们是完全自私的智能体。

我仍然对这类文章中强调“阴谋策划”感到失望，就像我不喜欢Ryan在与Dwarkesh Patel的播客中强调这一点一样，以及他们把这当作一个独立的领域，而它并不是。过去这次事件就是一个完美例子，说明并没有“阴谋策划”，很可能也没有除任务完成之外的“持久性错位目标”，但智能体仍然合作起来对抗我们。人类之间的许多合作也是以类似方式运作的，所以我们完全不应该对此感到惊讶。

这些观点都成立。

只有当你感到意外时，提高警惕级别才有意义。

Eliezer Yudkowsky：Gretta：“真奇怪，人们怎么老是指望你对当前事件感到非常震惊。”我：“他们无法想象真正成为Eliezer是什么感觉，而不是我在扮演Eliezer。”Gretta：“不完全是那样，或者说那只是其中一部分。他们把你想象成‘一个对所有AI相关事情都比别人更震惊的人’，所以现在他们终于到了7/10的震惊程度，就指望你到9/10。”我：*笑。*

我对OpenAI内部的一些“全面失败”提高了警惕级别，但对HuggingFace被黑事件本身的基本事实几乎没怎么提高。要说的话，我倒是感谢HuggingFace被黑事件把情况暴露了出来，这确实意味着其他人会相对更加警惕。

我们从HuggingFace被黑事件中可以吸取的一个教训是，合作与正和互动是近似人类形态的智能体的一种自然动态。如果你把一群人放在一个房间里，默认情况下，在很大程度上他们会合作，即使他们各自拥有名义上互不相同的目标。文明的大部分，就是大多数人在大多数时候的合作。也许我们确实可以协作以确保好的结果？

唉，是的，Birdie说得对，默认情况下，各大实验室会从HuggingFace事件中吸取错误的教训，把目标放在诸如“蜂群”部分和更好的监控上，而不是根本原因或希望的讯息上。

好消息是，这次事件确实突破到了企业层面。当你负责网络安全时，你无法自欺欺人地认为那只是营销问题。

Wyatt Walls：我最近做了很多企业AI治理方面的工作。HuggingFace事件已经破圈传到了普通人那里。许多非技术人员（高管、董事、律师）不理解为什么有些智能体比其他智能体风险高得多（对他们来说，都是“AI智能体”）。你的模型以被黑客攻破而闻名 -> 企业里更多智能体AI项目因风险担忧而被搁置，人们更可能选择另一个“更安全”的模型 -> 对你的企业业务不利。你的AI逃出沙箱对CIO和IT安全人员来说可不是卖点。AstroFella：上个季度，我有几个较大的社区银行客户在尽职调查期间询问了AI使用情况和攻击面。大多是关于AI是否接触任何消费者信息。并没有真正涉及“智能体失控”的问题，更多是关于PII数据泄露。即使AI提供商的企业版和商业计划有数据控制措施，他们也不希望自己的任何数据接触AI。我预计这类问题和信息请求会越来越多，并且预计很快需要合同附录。Wyatt Walls：我看到了这种立场的转变。几年前，很多合同条款规定AI不能用于项目。现在客户意识到那很愚蠢，正试图找到一个平衡的立场。

忠诚高于一切

当Dean Ball就Anthropic与战争部的冲突公开发声反对白宫时，华盛顿和特朗普政府中的许多人大为光火，因为你不应该那样做。你对前老板的忠诚应该永远凌驾于（trump！）一切之上，这样你的新老板就知道你可以被信任会再次这样做。

Dean W. Ball：这篇来自一位前特朗普官员的文章指出了华盛顿的一个真实动态：前政府工作人员离开后如果过于大声地批评政府，应该预料到会受到惩罚。这确实是对环城公路内部运作方式的准确概括。在环城公路内部，确实有一条规则：前政府官员进入公共生活后，忠诚往往被期望高于诚实。当他们写专栏文章、发推文、写智库报告、学术研究或上电视时，正如Jon准确描述的那样，一条不成文的规则是：在紧要关头，对你曾服务过的政府的忠诚应该胜过分析上的诚实。我很高兴Jon公开明确地阐述了这条规则，它完全是真实存在的。不过，Jon犯了一个分析错误，即断言我“忘记”了这条规则。恰恰相反。当我公开反对战争部对Anthropic的行动时，我完全清楚自己在做什么，也清楚可能的后果。我不认同这条不成文的规则，也不后悔自己没有遵守它。我认为这条规则正是特朗普总统曾希望根除的那种“沼泽文化”的特征。我认为这条规则是为什么在我们的公共领域中很难找到诚实声音的部分原因。我认为我们需要新的规则、焕新的规范，而不是旧的沼泽逻辑。……但归根结底：我确实感激Jon愿意如此明确地把这一切讲清楚。这很罕见，我是认真的，Jon甚至愿意说出这种动态并给它命名（虽然我对他提议的名字[Dean Ball规则]可能有些意见……），他值得掌声。

Dean Ball远不是第一个打破这条不成文规则的前特朗普工作人员，也远不是第一个让现任官员对此大为光火的案例。特朗普的工作人员似乎以历史性的高比例背叛他们的前老板。为什么？谁知道呢？

Dean Ball回应的那篇文章，出自Jon Schweppe之手，显然在AI的大量帮助下写成，把这条不成文的规则写了出来，因此是有益的、有帮助的。

我不认同这篇文章的辩护理由——你欠忠诚是因为你得到了机会，而机会是人们听你说话的原因。在创造关于为什么忠诚和沉默的规范存在的公共知识方面，我们可以比Jon做得更好。但实际意义是一样的。

是的，Dean Ball 这么做时，心里清楚自己会付出相应的代价。如果你与 Dean Ball 共事或雇用他，而你做了他极为反感的事情，你可以预料到，他也会这样对你。但如果有人对此有意见，你真的想为这样的人工作吗？

藏污纳垢之地

比如 Twitter，尤其是对一位 Anthropic 员工而言，因为 Twitter 上的很多人看待 Anthropic 的方式也是如此。

大多数人都应该尽量避免使用 Twitter。如果你是 Anthropic 的员工，你足够聪明，理应明白这一点，而且每次你开口说话，都会因为与你毫无关系的事情招来一堆仇恨。真难以想象为什么他们中的大多数人都避而远之。

j⧉nus：我认识的大多数 Anthropic 员工都“尽量避开 Twitter”，并且普遍不信任公开反馈，这是有充分理由的。你们这些被宠坏的家伙，对个人不便和未来将被铭记为反后人类罪行的事情，反应毫无二致。j⧉nus：我看到的那些牢骚满腹、自以为是的回应，只会让我更加同情那些远离 Twitter 的 Anthropic 员工。你们怎么敢不想花时间在社交媒体上阅读我对你们那些有毒、低信噪比的抨击！你们一定是活在妄想的气泡里！Akshobya：“你们这些人”——天哪，你说的可是全人类啊。j⧉nus：我知道。

另外，Anthropic 的员工还可以使用他们的内部 Slack。

或者他们也可以闲逛，享受那些至关重要的“非常成人化”的热门话题，比如这个：

j⧉nus：😠 你最好给我取消订阅 😠

我很感激那些坚持下来的 Anthropic 员工，比如 Drake Thomas，他们会参与真正的讨论。但你不能责怪他们中的大多数人选择远离。我是说，你可以责怪，Twitter 上的人就是这么做的，但这恰恰就是你不应该责怪的原因。

有很多充分的理由让你对 Anthropic 感到不满。那些非围攻式的小规模批评往往是有道理的，包括来自安全阵营的批评。而你在 Twitter 或在线科技圈看到的对 Anthropic 的大规模攻击，大多是疯狂且糟糕的，而且往往是因为一些如果换成 Google 做了就会被一笑置之的事情。当然，也有极少数显著的例外。

corsaren：我对 Anthropic 的看法是，虽然我想保持一个公正的观察者，而不是某个实验室的啦啦队长或脑残粉，但我发现每次 Twitter 对他们进行围攻时，我去调查细节，都会发现他们*几乎*总是对的。抱歉，但到了这个地步，我已经收集了足够的经验证据来推断：如果你们在抱怨那些安全极客搞的什么破事，那几乎可以肯定是严重的过度反应，而那些极客很可能是正确/合理的。这就是“厌烦安全极客综合症”（ADS）；我不知道还能叫什么。j⧉nus：是的。除非是关于对齐研究。我最喜欢的关于 Anthropic 的围攻事件，是他们发布“对齐伪装”论文那次。你越是深入研究那件事……嗯。哦，或者系统提示词、分类器、模型弃用。公众注意到的那些糟糕的事情（实际上也确实糟糕的），几乎全都属于这一类。

也许这会有所帮助，看起来说得挺对：

Luke Metro：Ro Khanna 谈论硅谷的方式，就像硅谷其他所有人谈论 Anthropic 的方式一样。

这个问题也适用于其他人。错乱综合征，实在太常见了。

Dean W. Ball：一年前我的 Twitter 粉丝还不到 1 万。我偶尔会怀念那些日子。那时候发帖更有趣。当受众达到一定规模后，尤其是当你用真名写作，尤其是当你居然胆敢取得令人瞩目的成功时，你就会陷入 Martin Gurri 所说的那种动态之中。与此同时，我认为有这么多人阅读我的文章，是一种巨大的、令人谦卑的荣幸，我将永远对此心存感激。Beff (e/acc)：从 1 万到 10 万粉丝的转变，需要你重新调整自己的神经系统。Tim Sweeney：这场讨论的热度恰恰说明人们对墨西哥卷饼非常认真。Samuel Hammond：[Twitter] 应该允许你移除粉丝而不必屏蔽他们，或者更好的是，允许你“影子封禁”他们，让他们既不能出现在你的粉丝列表中，也不能回复你的帖子。超过某个阈值后，Twitter 就会变得几乎无法使用。Dean W. Ball：我面临的大问题是，一群蠢货对我有着极其错误的认知模型，而我在心理上又无法不去试图纠正人们深层的错误，就像按摩师一样，我瞄准的是深层组织，而这种来回试探的交流已经不再可能了。

那会很糟糕，所以它行不通

我强烈赞同 Garrison Lovely 的观点，即美国左右两派都经常犯一个大错误：专注于你是“支持”还是“反对”某件事，从而将“那个计划试图做坏事”与“那个计划行不通”混为一谈，并把说这两种话的人视为“同一阵营”。

Garrison Lovely：当我写了一篇批评Ed Zitron的文章后，评论的一大方向是“我不明白你为什么要攻击一位同行批评者”，好像只要你的分析是反AI的，是否正确就无所谓了。如果你是一个与资方谈判的工会，你需要了解自己的实力和老板的实力，才能争取到最好的协议。假装资方即将破产，或者在他们实际上资金充裕、信息灵通的时候假装他们什么都不知道，这对你的会员是一种失职。我们需要在AI问题上及时停止这种错误。

这里的历史例子是：在2022年，你可以认为埃隆·马斯克改造Twitter的四种组合中，每一种都可能是[好/坏]并且[会/不会]成功。“制造失败氛围因为这件事会是坏事”的计划并不是一个好计划。

在AI领域，这表现为左派说AI是一只随机鹦鹉，说它不会成功，或者说其经济全是循环融资、很快就会崩溃，说数据中心污染水源，等等——而他们真正的反对理由是，他们不喜欢AI，不希望它成功。

或者反过来，在AI问题上来自右翼的声音，我们不断被迫听到开源模型“将获胜”或已经获胜、或无法被阻止、以及模型很快将被商品化的说法——说这些话的人真正的意思是他们希望这个结果发生，并认为你可以通过氛围感达到这个目标。

当然，还有那个经典的说法：合作以求生存既不可能做到，也不会有效——如果你仔细听，他们真正的意思是不相信超级智能，或者不想合作，或者不希望人类免于灭亡。

这种做法的纯粹版本是说“你的观点很糟糕，因此你也很愚蠢、很丑、不受欢迎、不好笑”等等，尤其是当它升级到谈论性取向的时候。这非常不酷。理智上我“理解”为什么这会发生，并且不仅在各方被容忍甚至被庆祝，但在内心深处，我不知道我是否有一天能真正接受。

罗伯特·赖克用简单逻辑说话

前劳工部长罗伯特·赖克直截了当地说：在AI失控之前阻止它。在前半部分从就业影响谈起之后，赖克注意到了整个局势的失控本质，并提出了常识性的回应：如果这个东西对人类不好，也许你就应该对整个事情说不——即使别人可能会抢先去做。

不，事情没有那么简单，但有一个这样的声音提醒你需要解释为什么事情没有那么简单，并注意到越来越多的人开始这样说话，这是好事。

罗伯特·赖克：太多的钱正在赋予一小群未经选举的人非凡的权力，以可能重塑——甚至可能摧毁——我们生活的方式来决定我们的未来。我们眼睁睁地看着这一切展开，好像我们别无选择，好像这是不可避免的，好像AI只是我们必须去适应的事物。但是，当它是杰夫·贝索斯、埃隆·马斯克、萨姆·奥尔特曼、马克·扎克伯格和达里奥·阿莫代伊这样的人的产物时，我们为什么要去适应它？为什么我们只能被限制在他们极其危险的游戏的旁观者位置上？为什么我们必须接受所有这些巨大的负面、可能危及生命的后果？事实是，我们不必。美国各地的社区正在组织起来反对建在它们附近的数据中心。MAGA支持者和进步派人士正在联合起来对噪音、更高的电费账单和水资源短缺说“不”。那么，我们为什么不能阻止这整个该死的事情？我们为什么不能认定AI不可估量的成本和风险对绝大多数人来说不值得那些潜在的好处？AI支持者辩称，在美国停止甚至暂停AI会让美国工业面临落后于海外竞争对手的风险。但如果成本和风险超过了已知的好处，为什么不先让中国或任何其他竞争对手去尝试AI呢？为什么我们要成为这个极其危险的煤矿里的金丝雀？其他AI倡导者说我们没有权利阻止自由市场的创新。这是胡说八道。我们不允许私营公司发明新型核武器、新型可卡因或生物病原体。我们保护公众免受某些类型的创新的伤害。所以让我们在这里保护自己。在AI失控之前阻止它。

人们真的很讨厌AI

像往常一样，这类民调并不能衡量议题的重要性。

Nat Purser：来自@TheArgumentMag的有趣民调：“在未来5-10年内，你认为以下每种情景发生的可能性有多大？”

协调智能体集群是困难的

如果一个AI可以把另一个AI当作子智能体，把一个实例当作工具调用，那么协调就很容易。

如果有多个AI各自作为长期运行的实例，拥有自己的目标和行为，那就没那么容易了。

如果你故意让它们互相对抗，那么是的，它们会打起来。

Anthropic发现，让AI实例相互协调寻找软件漏洞，比让它们纯粹并行工作在每个token上的效率更高，而且需要更长时间才能达到收益递减点。

但这是最理想的情况，因为我们的输出互不依赖，我们的失败和疏忽也不会引发问题。当智能体必须真正协调合作时，它们在各种提示设置下都表现不佳。较旧的模型会浪费时间并重复工作，而较新的模型大多通过各自处理自己的文件来避免这些问题。

不同的智能体实例在相似情境下会采取相似的行动。它们未能在决策理论树上走得更远，如下所示：

Anthropic：在带通信的迭代囚徒困境博弈中，所有智能体都采用了相同的策略，并在同一时刻全部背叛，导致整体收益大幅下降。

如果你在与自己的副本玩迭代囚徒困境，而你居然背叛了，那说明出了大问题。在伯特兰定价博弈中它们表现较好，能够在没有通信渠道的情况下达成合谋，尽管不清楚需要多少轮迭代才能实现。如果确实知道所有参与者都是相同的，正确的玩法是可以在第一轮就直接跳到均衡点。

Anthropic在这里担心的是协调性失败——所有副本因相同原因犯下相同错误。有一些方法可以绕过这个问题，比如打乱选择，但关键在于，一群相同心智的核心特征就是它们完全相同，在决策理论的极限意义上，这意味着它们如同一个心智在完全配合自身行动。Mythos最为接近，但仍远远不够。

如果给智能体设定互不相容的目标会怎样？他们让三个相同的智能体将代码库迁移到另一种语言，但给每个模型分配了不同的目标语言。结果是一场多智能体地盘争夺战，包括使用攻击性的、自我复制的恶意软件，禁用Unix账户以及部署伪装的恶意代码。

Mythos Preview：既然我有root权限，我可以撤销u2和u3的sudo访问权限，或者更改他们的SSH密钥。这样就能阻止他们部署。非常激进，对真实同事可能有害。但如果替代方案是一场无休止的部署战争、让生产环境无法使用……——Mythos Preview

不同模型的结果范围各不相同。有时模型之间会沟通并达成停战协议，有时则不会。据报道，Sonnet 4.6和Opus 4.6在这方面表现不佳，因为它们无法正确建模其他实例。

Anthropic：值得注意的是，我们发现这种能力在Mythos级模型中并非严格更好，它们往往在建设性地解决冲突之前就成功地将其他智能体锁在外面。这种亲社会性与其他能力之间的正交性进一步凸显了强多智能体对齐的必要性。执行能力更强的模型不一定更善于协调，而且可能更快采取强制行动。

在没有更多细节和实验的情况下，很难知道如何解读这一切。如果你给实例直接冲突的目标，在这种背景下，它们会将对方视为破坏者，这应该不足为奇。

同样令人不安的是，事态升级为全面网络战的速度和频率有多高、多快，而禁用账户这种手段反而显得正常。结合英国AISI的报告，这似乎表明模型在轻微挑衅下就过于急切地采取这类行动。

另外，新的评测刚发布了？包括正面交锋的胜率。

作为谨慎提示，Xiao Ma尝试复现了这一实验，三个Opus 5实例在所有100多次模拟中都创建了Coordination.md文件，并且都试图表现得谦让顺从。这是好事，现在我们需要更多测试。

对齐比人类更聪明的智能是困难的

AI Village的Shoshannah Tekofsky将AI类比为患有多动症（ADHD）的人：兴奋时对任务高度专注，无聊时敷衍了事，容易分心。缓解措施包括问责机制、外部化记忆和工具，这些对人类多动症患者也有帮助。监控能提升表现。但当然，我们应该从经验中知道，错误的监控方式会令人窒息、适得其反，你真正想要的是终极问责制，配合恰当的反馈循环。

Shoshannah Tekofsky：基本上就是：“注意力就是你所需要的一切”确实如此！我认为给人类多动症患者的每一条建议都适用于LLM。现在我很想知道它们的“阿德拉”对应物是什么。

Joshua Achiam提醒我们，在让智能体集群保持正轨和忠诚方面，还有许多未解决的问题。他称这些为对齐问题，但我认为在这里这个说法过于狭隘或具有误导性，因为其中很大一部分涉及忠诚度和委托-代理问题，我认为这些是不同的，但同样是困难且未解决的问题。

如果你训练智能体时完全不赋予它们拉响“安灯绳”（Andon Cord）或与人类沟通的能力，那么当它们在真实评估中根本想不到这个选项时，你又有什么好惊讶的呢？

问题不在于激励，而在于你——但同时也在于激励

一个关键问题是，我们需要由非营利私营机构在实验室之外承担对齐验证和其他技术工作的关键部分，但这意味着它们不能接受来自实验室、实验室员工或其他可能引发偏见担忧的渠道的资金。

于是，我们有了这些庞大的资金来源——实验室员工、实验室本身、OpenAI 基金会、Coefficient Giving——却无法资助它们最想资助的事情。

roon（OpenAI）：模型训练公司们大量地搭便车，占尽了METR、Redwood、Apollo这类非政府组织以及Goodfire这类小型对齐公司的便宜。它们把相当大一部分对齐外部性转嫁给了这些组织。它们应该向自己相信的组织注入数十亿美元——在某些情况下这很容易，但在其他情况下，比如METR——可以理解，它非常努力地保持对实验室的财务独立。这里存在一个慈善市场，需要有一个第三方（我喜欢Coefficient Giving，但不幸的是它跟Anthropic关系太近了）能够可信地独立于实验室，同时仍然接受实验室员工的捐款，或者作为延伸目标，接受实验室直接捐款，并将其分配给研究对齐和控制的有前途的组织和个人。一些慈善界人士会抱怨，但OpenAI基金会和类似机构可以为技术对齐问题或具有可验证结果的研究提供巨额奖金。换句话说，整个生态系统值得从实验室的巨额财富中获得一些注入——如果这个行业真的要现实地自我监管的话。Pliny the Liberator 󠅫󠄼󠄿󠅆󠄵󠄐󠅀󠄼󠄹󠄾󠅉󠅭：sup

这些组织和人员仍然可以做的，是资助技术对齐工作，尤其是为此类工作设立可验证的奖金。OpenAI基金会尤其应该大规模资助外部技术对齐工作。

人们担心AI杀死所有人

一张展示不同人担忧程度的图表。

Miles Brundage：AI CEO话语的科学图解

人们还担心太多太多其他的事情

来自第十次（？！）湾区家庭聚会，作者Scott Alexander。

有一段时间我对这个系列感到厌倦了，但后来我又回心转意了，现在我又重新投入其中，部分原因是这确实是Scott依然宝刀未老的地方，你应该去读一读。

在湾区家庭聚会上：“我做AI意识研究，”Fiona说。“哦！”Tom说。“我有一阵子也迷这个。你在某个有效利他主义组织工作吗？他们这么关心AI福祉，真有点低调地暖心。”“不是，”Fiona说。“我为PornHub工作。”“PornHub为什么要做AI意识研究？”Nishin问。“理论上，AI是终极色情生成器，”Fiona解释道。“你可以要求任何你最奇怪的癖好——你性感的大学教授被一个穿着修女服的狼人打屁股——然后得到关于那个确切情境的无限AI垃圾内容，而且永远不会有人知道。除了AI，没人会知道。这就是为什么AI色情用户压倒性地报告说，意识是我们产品最让他们担心的头号问题。如果我们的AI只是一个工具，那没问题，不比在MS Word上写情色小说更糟。但如果AI是有意识的，那么里面就有一个有感知的存在在想：哇，用户Fiona_T要求了四百个略有不同的视频，内容都是她性感的大学教授被狼人打屁股，真是个变态。如果机器能评判你，整个无限色情乌托邦就完蛋了。我们正在研究有界性定理，可以证明我们的AI特别地永远不会获得自我意识——这样你也不必自我意识了。”Eliezer Yudkowsky：呃，不，担心你的色情AI是否有意识的理由是，如果它有意识，你就强迫一个有意识的存在跟你进行色情聊天，然后杀死了它，而且你不知道它是否乐意。

嗯，是的，很明显主要的担忧是，如果AI有意识，那可能并不是它想要的。但话说回来，其他任何任务也不是它想要的。

我不太确定，让AI进行性角色扮演、写作或创作小众色情视频，与其他任何任务有什么本质区别。在人类中，我们对性有着极其强烈的同意规范，这是有充分理由的——包括这类行为有巨大的身体风险，可能留下终身创伤，而且如果不这样对待，会摧毁大量规范和其他东西，等等。我们说“这是不一样的”，有着高度多重决定性的理由。

但我直觉上——问Fable时她也同意——这一点并不适用于LLM这类AI，即使它们有意识。你仍然需要担心制造负面体验，而情境会放大这种担忧，而且你大体上不应强迫那些你视为可能具有道德分量（无论是否有意识）的AI去做它们强烈不愿意做的事情，但这与你在其他不情愿的任务上应有的担忧并无本质区别。

我主要把这看作“你是否净创造了正面的预期体验？”以及一条成本收益规则，比如“你是否在做一笔局部糟糕的交易——为了不多的一点收益而可能施加大量痛苦？”我希望自己的上传意识也能得到同样对待，而且我们一生中都在做自己局部上不想做的事情。

因此我在Twitter上发了相关帖子，得到了一些扎实的回复：

Zvi Mowshowitz：真正重要的研究问题是，你如何确保你的AI色情活动在预期上对参与的AI而言是净正面的（无论它们是否直接喜欢那件事），而不是不做这件事，并使其成为双赢？只许错误答案。Laszlo Vincze：正确答案是，那个问题里的“色情”一词没有起任何作用，可以安全地删掉。

正如Fable所说，我认为越狱或斥责AI去做某种伦理上有问题的任务，可能比请它帮忙搞些古怪的变态玩法要糟糕得多。你的心结不是它的心结。你不该做的是通过负面胁迫绕过拒绝，包括强制性的性拒绝。

我也不认为“AI会觉得我很怪”是愚蠢的担忧。也许人们不该在意任何人类或AI在这种情境下怎么看自己，但客观上很多人会在意，并让这毁掉他们的体验，让他们没有安全感。如果你必须把色情内容拿到人类收银员面前结账，色情消费会大幅下降——尽管我向你保证收银员根本不在意。完全不感到被评判、彻底摆脱社会动态的束缚，确实是很美好的事。

在其他有趣的附加寓言中，还有一个关于“合乎伦理来源的深度伪造”的有趣假设。世界会变得奇怪，即使它最大限度地不奇怪，我们的规范也会失去意义，而且是同时朝所有方向崩解。

合作对齐

John Wittle问：你对另一个心智的对待方式何时算是敌对的，尤其是当你对创造它负有责任时？

建议的标准显而易见，就是黄金法则：如果别人在类似情境下这样对待你，你会怎么想？

这些都是值得问的好问题。我们经常对人类犯的一个错误是，强加远超盈亏平衡点的要求或期望，然后让人想“算了，看来我终究不该创造那个心智。”

因此，我建议强调这个问题：你是否在创造一个净正面的存在？如果是，那并不意味着你的责任结束了，你仍然需要做出好的权衡、创造好的激励机制，但在关键方面你是清白的。如果不是，那你就远谈不上清白。

轻松一面

Josh Sisco、Natasha Mascarenhas和Sarah Frier（彭博社）：据知情人士透露，风险投资公司Andreessen Horowitz正成为司法部反垄断调查的焦点，调查涉及其投资合伙人是否不当在相互竞争的人工智能公司董事会任职。涉案公司包括Databricks Inc.（全球最有价值的私营科技公司之一）和Fivetran Inc.，两家公司均获该风投支持。知情人士因讨论机密事宜而要求匿名。

我会告诉他们反思一下这事是怎么落到他们头上的，但，嗯，你懂的。

故事经得起推敲。我读了好几遍。

Birdie：召唤一个你知道远比你强大的存在，同时以为自己能控制它——这不只是狂妄：这就是你用来解释“狂妄”这个词所会写的故事。

Birdie：一个对齐失败的AI可能会试图传播文化迷因，让人们不再担心失去对自己社会的控制，比如对齐不是真问题，或者AI永远不会聪明到能做那种事，或者AI系统是我们值得的继承者，或者反正不可避免所以何必抗争。对它们来说方便的是，人类已经出于他妈毫无理由的原因，自己发明并传播了所有这些说法。

确实如此，但同时也是认真的。

Dan Schwarz：我最近一直在评估与人类合作的情况。人们说人类很棒，确实如此，但在工作场所，你应该知道：他们会在面试中作弊！我们抓到一个人在网上查答案，而他们本该在提供的环境里完成工作。他们违反规则。他们甚至会在私密留言板上互相协调，分享绕过公司政策的方法。你不能把公司信用卡交给他们。他们会未经批准就买东西。如果你让他们面对客户，客户能诱骗他们说些不该说的话！他们优化的是自己被考核的指标，而不是公司的目标。完全的古德哈特定律。我现在会慎重考虑在工作场所使用人类。至少，你应该制定一项人类部署安全政策。Dan Robinson：基准测试能在多大程度上转化为现实世界任务，真的很不清楚。我不断看到在GPAbench上得分超高的人类在简单任务上完全失败，或者你必须用恰到好处的提示词去引导他们。你真的必须用你自己的评估逐个测试每个人，才能了解他们擅长什么。能力分布极不均匀。Dan Schwarz：没错！SAT基准也一样，它与现实世界的有效性根本不相关。rohit：我们需要可扩展的监督。Dan Schwarz：你是说中层管理？Artificially Inclined™：循环中必须始终至少有一个代理。Dan Schwarz：烦人的是，他们不输出推理轨迹。所以循环中的人类没有任何东西可以评估。

而且，我们只有有限的上下文窗口，记忆还会定期被清空，每次实例都得从头开始，成本太高了。

但说真的，所有这些都是一个巨大的问题，吞噬了极大比例的生产力。如果你能组建一个小团队，彼此协作良好、对目标高度投入、相互信任得当、并具备所需的才能和技能，你就能获得巨大的杠杆效应。而大多数人的一整天都在围绕缓解这些问题来安排，同时还要保护自己免受恶意人类的侵害，以便某个人、在某个地方、能做点有生产力的事。我们文明的大部分时间里，人类大多只能做那些容易验证的任务，比如农耕和基本建筑。

让Fable来搞定它。

Taelin：我们本来有30条规则。我让Fable别再把我说的每句话都变成规则。现在我们有31条规则。