精选Don't Worry About the Vase (Zvi)观点

Anthropic 风险报告（2026年8月）

2 天前thezvi.wordpress.com作者：TheZvi观点行业AI评分：70/100

作者对 Anthropic 定期发布风险报告表示赞赏，认为其披露了大量新信息，包括内部模型 Model 2 的存在。作者分析了报告中的风险定义、自主威胁模型、AI 研发自动化风险等，并指出报告在承认某些反对意见后未调整结论。作者强调应严肃对待风险阈值，但不应字面理解，并呼吁在规则变更时提高标准。

我很感激Anthropic定期发布风险报告。

起初我持怀疑态度。事实证明我错了。Anthropic披露了大量新信息，其中一些相当令人震惊，这些信息他们本不必公开，而且他们对自己思考问题的方式提供了详细的洞见。这非常了不起。

因此，总体而言，我认为这份报告是一个适度正面的更新——前提是我们假定他们没有默默隐瞒最糟糕的部分。我们确实发现了一些不太好的事情，但我原本预期会看到至少同样严重的一系列错误，而且我没想到他们会选择把这一切都告诉我们。

这确实意味着我又多了一堆每隔一段时间就要读的186页文件，而这一次几乎全部内容都是有意义的新材料。

另一个 revelations 是世界上可能存在的最强模型——“Model 2”的存在。

这份报告读起来相当吃力，所以提前为任何解读错误致歉。

Agent Model 1 与 Agent Model 2。
执行摘要（1）。
规则是严肃的，但不是字面意义的。
错位是一种心态（2.5）。
自主性威胁模型1：高风险场景中的错位（2）。
一些我以前不知道的“安全”一词的奇怪用法。
现在与未来（2.17）。
核心主张与论证（2.6）。
第2节中其余重要论证。
风险评估（2.19）。
内部部署前审查（2.18）。
内部使用监控指南（2.23.1）。
阻断干预（2.23.2）。
权力寻求环境评估（2.24）。
Opus 4.8-Reward-Hacker（2.25）。
自主性威胁模型2：自动化研发的风险（3）。
是的，那看起来确实有点冒险。
我们能取代我们的研究员吗？
我们能在多大程度上加速我们的AI研究员？
如果我们取代了研究员，可能会出什么问题？
AI研发自动化的风险缓解措施。
AI研发自动化的总体风险。
生物以及技术上还有化学武器生产。
生物和化学武器的威胁模型。
模型能力（4.4）。
分类器（4.5）。
加速动力学（5.1）。
蒸馏（5.1.1）。
安全流程失败（5.2）。
拒绝寻找创新的错位技术（5.2.2）。
将思维链推理大量暴露于评分压力之下（5.2.3）。
在生产训练运行期间直接训练错位行为（5.2.4）。
一个未受监控、可访问敏感资源的无限制代理实例（5.2.5）。
在一致性伪造转录数据集上重复训练（5.2.6）。
Anthropic作为前沿AI公司运营的益处（5.3）。
模型权重安全（6.4）。
风险已上报。

Agent Model 1 与 Agent Model 2

本报告中提到了两个内部模型。

Model 1大致类似于Mythos Preview和Mythos 5，预计不会在外部或内部广泛部署。

Model 2“比Mythos 5能力更强一些”，对内部使用来说是一个明显的改进，但“并未展现出从Claude Opus 4.6到Mythos Preview那种程度的能力跃升。”该模型将仅供内部使用。

从Opus 4.6到Mythos Preview的跃升是巨大的——跨越了好几个发布周期。我们在整个报告中获得了更多数据，但鉴于Model 2获得了那样的对比参照点，可以推测就内部用途而言，Model 2领先了好几个版本。

与之形成对比的是，在AECI上它只领先1.5分，那大约只是一个月的进展。我猜测这是一个低估的数字，而且Model 2可能是故意没有被赋予一堆通用技能，因为考虑到它的用途。而在替代Anthropic研究员能力的测试中，我们看到了从54.8%（Mythos Preview）和50.3%（Mythos 5）到Model 2的62.8%的大幅跃升。

不发布Model 2有多个合理且充分的理由。Model 2可能高度专精于内部任务。它也可能能力过强或过于危险而不适合发布，无论是出于危害考虑，还是担心它会加速其他人的进展。Fable 5相对较低的采用率也表明他们倾向于保留这样一个模型。

执行摘要（1）

报告按每种风险类型、威胁模型、相关AI模型进行分类，并详细说明了当前能力、行为、缓解措施和总体风险水平。然后展望未来，并提供全行业建议。

风险报告涵盖截至一个月前的事件，因此覆盖日期为2026年7月15日。一年前这看起来还算合理。现在感觉已经过了挺久了，是吧？

长期利益信托（TLBT）被授权要求对报告进行外部审查，但尚未这样做。如果我是他们，我至少下次会这么做。

我喜欢的是，他们既涵盖了“这件事的绝对风险是什么”，也涵盖了“考虑到其他所有人的存在，这件事的边际风险是什么”。

它们将自主性、自动化AI研发以及生物与化学武器生产视为风险。即便到了现在，将网络风险排除在核心威胁模型之外仍显得奇怪。我理解那种“单靠其本身尚不足以构成灾难”的论点，但在实践中，我认为你必须处理这一问题。

在好几处地方，这份风险报告实质上承认了我反对意见的某些版本，但随后又忘了自己已经承认过，并且没有因此改变其结论。

到了第5节，他们才进入更有趣的问题。

规则是严肃的，但不是字面意义的

风险阈值的定义已从较简单的表述改为更具体的细节描述。

对于AI研发自动化，我认为新措辞更难解析，但尚可。对于新型生物武器生产，新版本收窄为只关注“替代稀缺的人类专业知识”，排除了其他方法。这是一个合理的首要威胁模型或情景，但我担心只盯着这一条路径。

好消息和坏消息都是：我认真对待这类文件，但我不再字面地对待这类文件——无论朝哪个方向。

如果Anthropic或其他前沿实验室有一个模型在技术上跨越了其风险阈值，但方式看起来无害，我预计他们会修改阈值或找其他方式忽略这一事件。
如果Anthropic或其他前沿实验室有一个模型在技术上未跨越其风险阈值，但按照规则试图衡量的方式显然有风险，我预计他们会表现得如同已经跨越了阈值。

一如既往：我希望看到阈值即使在你们认为“不该算”的情况下也被遵守，因为这就是承诺的意义所在；而且你们应当预料到在急于发布时会出现各种合理化解释，你们需要在这方面树立好榜样。最初的想法完全是“如果—那么”承诺：如果[X]发生，你就做[Y]，事先约定好，但我们的文明似乎缺乏这项技术。我们不能，我们不知道怎么做。

我并不是说你们绝不会修改规则使其更宽松——如果你们有充分证据表明应该这样做的话。如果规则永远不能变得更宽松，那么规则就必须永远不严格。我们不希望那样。但修改规则的门槛，尤其是针对一个即将发生的事件而修改，需要比现在高得多，而且我们需要愿意承担一些实际代价，即使我们现在认为那样做很蠢。

就目前而言，Anthropic和OpenAI在应对威胁以及根据当时已知信息决定何时发布什么、不发布什么方面，似乎做出了不错的决策，即使他们在其他地方犯了错。这是好事。我希望这种情况能持续下去。

错位是一种心态（2.5）

定义部分非常值得感谢。

我非常喜欢这个定义，尽管我有一些重要的吹毛求疵：

错位[定义]：错位是模型在特定语境中执行的特定计算的一种潜在属性。如果（i）一个对情况有充分理解的理性人（例如通过目前可能尚不存在但强大的可解释性工具）会认为该计算不道德、非法、明显令人反感或与模型的宪法不一致，并且（ii）它影响或可能合理地影响模型的输出，则该计算是错位的。错位的计算不一定是可观察的。模型在单次前向传播中进行的谋划也算，因为即使输出看起来良善，谋划也影响了输出。

我的第一处修改是将“宪法”泛化为包括模型规格和系统的其他预期属性，这样该定义就能应用于Anthropic之外。

我的第二处修改是明确要求：理性人经过反思后认为该计算因此是不可接受且没有正当理由的。也就是说，在某些情况下，如果有充分的理由凌驾于法律、道德或模型宪法之上，那么违法、做“令人反感”的事或违反模型宪法并不显然是错位的。在某些情况下，所有路径都会这样做。

在这种观点下，错位不是“诚实的错误”、能力失败或信息不足。

正如Nate Soares在Twitter上指出的，按照这个定义，你可以在最初并未错位的情况下造成伤害并导致错位状态，例如一个AI在启动一堆子代理（或训练一个新模型等）时粗心大意。这里的目标是将其视为一种能力或执行失败，导致了后续的错位失败，但这本身不是错位。

或者，正如其他人所说，永远不要把能归因于无能的事归因于恶意。但同样，无能往往正是导致恶意的原因。

其他定义对此进行了细分，从而展示了思考（我的转述）：

一致性。如果你与某个我们反对的目标或偏好集合保持一致，那么你就是“一致性错位”。否则，你就是非一致性错位。以人类为例，我们不应期望当前能力水平下的任何心智完全一致，所以这大概是指我们应用于相对“一致”且具有策略性的人类的那种宽松标准。

普遍性。普遍性错位发生在广泛的输入范围内，尽管并非所有输入皆如此，而且我们预计它会在训练或评估期间显现出来。所需条件足够狭窄以至于在那段时间内可能被忽略的情况，被称为情境依赖。显而易见的问题是，情境可能是“你确信自己不在训练中，也不在评估中”。甚至可能是“你有足够的筹码从中获取巨大利益”。因此，这似乎并不是一个在事物本质上进行划分的好方法。它似乎也不是让你对自己的处境感觉好一些的好方法。

自然涌现。如果没有任何心智（AI或人类）有意为之，那么错位就是自然涌现的。如果是有意为之，包括通过数据投毒，那么它就是人为设计的。在某种程度上，很多个人和团体一直在试图以各种方式对人类和AI进行“数据投毒”，这占了互联网内容的很大一部分。这仍然感觉像是一种色情作品式的“我看到了才知道”的情况，我们指的是专门设计用来搞垮AI的数据，或是另一种故意将恶意内容植入模型的尝试。普通的“用支持某产品的言论淹没互联网”的计谋不算在内。

已知。如果你有理由认为某种形式和程度的错位可能存在，那么它就是已知的，否则就是未知的。我有点希望这也能考虑到“惊讶”的程度？也就是说，你不知道但可能存在的事物，与你认为不存在或极不可能存在的事物之间，有着巨大的区别。

严重。可能导致优先风险路径。

造成伤害。造成预期伤害，无论伤害是否有意为之。

高风险。促成优先威胁路径。这似乎应该更宽泛一些，“严重”也是如此，我担心否则这会导致概念混淆。虽然我确实理解这一点。

未缓解。指那些未被阻止、从而造成预期伤害的潜在致害效应。我想说的是，这应该是风险中未被缓解的部分？

好的定义很难。这些是扎实的初步尝试。一个持续的担忧是，它们固化了这样一种观念：被选中的示例威胁才是重要的威胁，而不是一些重要的威胁。

自主性威胁模型1：高风险环境中的错位（2）

这是关于主动错位的输出。

基本上：自主性1是指AI独自、故意地永久性破坏事物。

该威胁模型聚焦于故意伤害，而非AI以需要附带伤害的方式追求自身目标。

该场景明确排除了AI编写草率代码或犯“诚实错误”的情况。

因此，结论是，在不存在“持续性错位”的情况下，你是安全的。

需要审视涉及附带伤害的更广泛版本，这一点已由最近OpenAI的全面失败所证明，这些失败最终导致了HuggingFace被黑客攻击。黑客攻击本身可以被称为“故意伤害”，但我们看到的大部分是附带伤害，包括对训练管道的附带破坏，以及随之而来的事实上的“安全研究”破坏。

你理论上可以“篡改安全研究的结果”，但如我们所见，以其他方式改变训练管道内的情况可能产生相同或更糟的效果。能力和安全工作之间的区分很可能正是导致这些问题的主要原因之一，而且我们通常并不需要这种特定的针对性攻击。

在我看来，那非常符合“高风险环境中的错位”。

埃隆·马斯克几个月前表示，xAI没有安全部门，因为每个人都对安全负责。这相当疯狂，尤其是如果这是真的。你需要一个安全部门，但你不能认为能力部门的人员在很大程度上不属于安全部门。

具体的威胁模型和关注点是有帮助的。当你挑选出三个威胁模型时，担忧在于你会这样做而排斥其他威胁模型。

他们提供了八个具体路径，这个列表我们之前见过：

对安全相关研发进行广泛/分散的装傻
有针对性地破坏安全相关研发
为未来错位模型提供代码后门
投毒未来模型的训练数据
自我外泄和自主运行
持续的内部恶意部署
破坏其他高资源AI开发商的研发
破坏主要政府内部的决策

与OpenAI发生的事件相比，其中许多事情在所需的“反派程度”上显得颇为“卡通化”，但历史上真正的现实反派确实常常表现得相当卡通化——只不过因为具体行为是真实的，我们往往不再将其视为卡通化。

关于“安全”一词的某些奇怪用法，是我此前未曾意识到的

不完全是，但基本上这些论证是在说明：尽管已知当前模型存在不对齐的方式，而且可能还有其他未知的不对齐方式，但模型可能尚未在特定方式上“普遍性”地不对齐，也不具备足以实现这些路径的能力。模型缺乏强大的“隐蔽能力”。

我认为“依赖情境”的不对齐并不比非情境依赖的不对齐危险性低多少。它甚至可能更危险。Anthropic似乎认为这一差异至关重要，因此才有了这样的图表，尽管他们在定义中也承认这一差异并未明显产生实际作用。

或者，“不像其他一些实验室的那些白痴，我们偶尔会对记录的对话进行自动化监控，所以如果模型发疯了，我们——你懂的——会注意到。”

我的回应是：当你们运行一次评估时，AI有141,006次未经预期地开放访问互联网，包括三起入侵真实网站的事件，而你们直到OpenAI事件引发大规模回顾性审查之后才注意到。

所以，你们确定自己会注意到吗？

现在与未来（2.17）

Anthropic明确表示，这份风险报告仅涵盖当前模型的不对齐风险，尽管其中包括神秘且更先进的Model 2。

报告确实包含了当前不对齐可能导致未来模型不对齐的途径。

我认为这样一份风险报告最好能具有前瞻性，对未来模型的风险所在、需要采取什么措施，以及我们在哪些方面有望安然无恙，给出评估。但长报告已经很长了，我不希望“完美”成为“良好”的敌人，所以我大体上尊重这一选择。

核心主张与论证（2.6）

风险等于未缓解的错位计算所造成的总预期（EV）灾难性危害。这是一个会计恒等式。我同意它是正确的。但我不认为它是一种有用的思考方式。也就是说，是的，你可以在抽象意义上对单个计算的预期危害求和，但我不知道如何做到这一点，也不知道如何使用它。
主张1：模型不太可能拥有强大的隐蔽能力。他们没有定义“隐蔽”，但按照常识定义，我认为这在目前很可能是正确的，尽管我对所提供的具体证据的价值持怀疑态度。随着时间的推移，这种情况会变得不那么正确，概率也会降低。证据是模型在不透明推理、不在思维链（CoT）中提及某些内容、行动混淆和选择性行动方面表现糟糕。在评估中——这当然是新的“老鼠”（IN MICE）——因为如果存在强大的隐蔽能力，那可能包括评估意识，尽管NLA证据提供了一些安慰。这种设定还假定你主要通过推理轨迹来检测错位，这本身就有令人担忧的含义，包括如果你没有监控思维链会发生什么，或者模型是否能推断出它的思维链何时未被监控，以及你开始与训练模型混淆的行为共舞。他们在2.16.1中指出，他们担心自己对隐蔽能力水平的判断是错误的。这很合理，因为能力本身是隐蔽的。他们在2.21中指出，如果主张1是假的，且模型拥有强大的隐蔽能力，那么许多其他主张也会因此失效。我同意这一点，也同意反向的说法：如果我们能相信一个强大且高度普遍的主张1，且“隐蔽”的定义足够宽泛，那将在许多领域有所帮助。然而，即使完全没有隐蔽能力，也不能给我带来很高的信心水平，因为我认为还有其他途径可以绕过这一点。
已覆盖风险可以分解为已知错位风险、未知严重普遍错位风险和未知严重情境依赖错位风险。这是另一个会计恒等式，因为根据定义，每项风险必然恰好属于这三类之一，因为它要么是[普遍的或情境依赖的]，要么是[已知的或未知的]。
每个已覆盖风险项都可以分解为发生概率、发生时的预期危害以及未缓解危害的比例。同样，会计恒等式，没错，前提是你能测量这些量。
主张2：已知错位造成的预期危害较低。小心啊，伊卡洛斯，但如果我们仅限定于主动的灾难性危害，这是合理的。也就是说，存在大量较小的危害，以及大量的机会成本——考虑到如果模型更加对齐我们能做的事情——但这些在这里不算数。我担心Anthropic对他们关于所采取的错位行动是服务于目标或非系统性的保证，其强度被高估了。
主张3：未知的严重普遍错位极不可能发生。按照他们的设定，我同意这一点，假设模型2在这方面与其他Claude模型类似。我认为我们相当盲目，但如果它是普遍的，我们很可能会知道，尽管我对他们为此提出的具体论证感觉不太好。我相信3.1.1和3.1.2，但担心他们在3.1.3上过度依赖。后面的许多主张作为外部人士很难评估，尤其是3.2和3.3。一个主要的怀疑点是3.4.2，即评估意识只是部分削弱了对齐评估。我一直相当一致地表示，它可能会相当大地削弱评估，并且在存在危险错位的条件下，它会削弱得更多。我会更担心3.4.3中被驳回的担忧。古德哈特定律也以更微妙的方式起作用，不仅仅是最直接的方式。你知道你要测量什么，因此很可能会去管理它。Claude自己在报告内部的官方审阅也提出了这一担忧，引用了5.2.6和2.9.4。我不认为3.4.4在关键之处提供了多少安慰。我确实认为，试点内部使用如果得到适当监控，在这方面是有价值的。
主张4：未知严重情境依赖错位造成的预期危害较低，但信心低于主张3。我同意这一点的信心较低。这里的论证似乎相当薄弱，主要是“我们的经验表明如此”。我的意思是，是的，我相信这一点，但这基本上就是我们拥有的全部。我认为对于与主张2相同的危害定义，这很可能是正确的。他们在2.16.4中多少承认了这里的危险。
主张5：已知错位和未知情境依赖错位造成的灾难性危害很可能会得到缓解。如果没有这份风险报告中的证据，我不会接受这一主张。5.1的论证本质上是“即使只成功一次，模型也必须至少大量思考这件事，因此至少会被抓住一次。”我注意到我对5.1的论证在多个层面上持怀疑态度，包括所需的对齐形式会表现为一种独特的……

要检测的东西与我们确实检测并容忍的错误对齐类型之间的差异，这使得“一次都不行”的论点显得薄弱。关于5.2，我同意有意识的装傻很可能会被抓住，至少随着时间推移是这样，但由缺乏动机所介导的装傻则不太可能被抓住，而这种装傻显然确实在一定程度上存在。我确实同意，目前这些效应不太可能大到足以单独构成严重问题，但这个论点似乎过于自信了。5.3试图进一步缩小范围，聚焦于持续的恶意内部部署和自我外泄，其论点是两者都会被抓住，理由是“见主张7”，而我认为这不是一个好的论证。这一点在我看来并不明显。然后论点又说是两者都会被缓解。我认为，这种内部部署的广泛要求使得它按定义很可能被检测到，但问题恰恰就在这里。由于这是他们对路径5风险水平较低这一结论的核心论证（见5.3.2），我想强调，我并未被说服他们能够可靠地阻止未来的自我外泄。我需要看到更好的论证。对于外泄，我拒绝接受“如果发生就会被缓解”的论点，并质疑他们试图通过高危害阈值来蒙混过关的程度——但即便如此，我也不认为这能成立。如果模型2发生了外泄，我看不出有任何理由认为这不会相当严重，而这部分感觉非常含糊其辞。

主张6：来自未知的普遍性错误对齐的灾难性危害有一定可能被缓解。我不同意这一点，因为如果普遍性错误对齐存在，那就意味着它未被检测到，这意味着你不太可能已经缓解了它。他们对此有所涉及，提到了主张1，但我认为他们没有充分尊重在这种情况下他们的世界模型必须错得有多离谱。公平地说，他们只说了“有一定可能”，这并不算很高的可能性。

基于这些主张，覆盖风险因此非常低，但出于谨慎考虑，由于不确定性增加，我们评估风险仅为低。我强烈同意存在足够的模型不确定性，即使我完全接受所有主张并将主张8改为“非常低”，我仍然会将整体风险归类为“低”。主张8按原文表述无论如何已将风险下限设定为“低”。

主张7：威胁建模是充分的。正如我上面所说，我不同意这一主张。我认为它有用且必要，但不足以承担它所被赋予的角色。我意识到我是个苛刻的听众。这并非一份糟糕的“可能出错事项”清单，但我认为你不能像Anthropic试图做的那样使用它——即排除了这些就等于排除了其他一切。总的来说，这些论证大体上是：[X]最清晰或最强的形式是[Y]（由于[Z]），但[Y]不太可能因为[~Z]，因此大概[~X]。如果你打算面对高级AI，并且你列出了8件事以及你如何处理了这8件事，那么这至少只有在这8件事是一个“留出测试集”且你没有明确思考过如何处理这些特定风险的情况下才有很大意义。否则，当意外发生时，它们并不能代表你的处境——无论你是否本应合理地预见到它。是的，我知道，我是个苛刻的听众，但现实不会按曲线给分，等等。

主张8：工程性错误对齐的风险很低，因此将我们的分析限定在自然涌现的错误对齐上是合理的。我不认为这是显而易见的，尽管这目前是我的猜测。我担心8.1是错误的，但不太想在公开场合详细说明。同样的担忧也适用于对风险路径4的分析。我对8.2也有疑虑，而且就其成立的程度而言，感觉像是有人在偷换概念。也就是说，要么错误对齐是偶然的，要么是有意的，但可能他们不会意图造成灾难性危害，所以不会是故意的。但这里的“故意”指的是错误对齐本身，而不是它所导致的特定预期结果，而且似乎很容易想象有人为了目的[X]引入一个缺陷，结果却导致了严重得多的[Y]。

因此，他们认为，风险是低的。

第 2 节中的其余重要论点

由于预期证据守恒，以及假设这些是他们能找到的最佳论点，我发现这些主张反而让我感到不安。我对低风险的信心略有下降，因为我原本期待更有力的论证。我确实不认同其中许多安全论点。

2.15 中针对具体路径的论证大多确实源自先前的逻辑，但我注意到我对诸如（针对路径 3 的）“我们仍然相信这种缓解措施应该是可行的，并且我们会在必要时投入所需资源”这样的表述信心不足。请告诉我何时需要、需要做什么，并给我一个“如果—那么”式的承诺。

短期内的灾难性危害显然仍然不太可能，但比我们愿意相信的可能性要高一些。

我认为我们对“极低”“低”和“中”风险并没有严格的定义，所以最终结论多少有些凭感觉。

我认同并进一步强调 2.16.2 中的担忧，即相关能力和倾向会随着规模扩大而突然变化。我预计临界点确实会出现，正如“急剧转向”逻辑的某些版本所预示的那样。策略只有在两种情况下才会被尝试：要么它们可能有效且值得冒险，要么你不够聪明、意识不到它们肯定无效或不值得冒险。

因此，如果模型足够聪明，能够理解各种不对齐行为、战术和策略的弊端，那么你应当预期会出现一个转变节点——它们开始决定使用这些手段，而这个节点可能远在它们获得相应能力之后。

这在人类中也很常见：如果被抓住或失败是不可逆的，或者会带来巨大的代价，或者“只有一次机会”——尤其是因为失败会以一种改变人生的方式暴露你的真实面目——你往往不会出手，直到被逼入绝境、即将失去等待的选项，或者拥有压倒性的证据。总的来说，恐惧、不确定和怀疑（FUD）阻止了大多数人去做大多数不常见的事情，有时甚至不需要任何理论依据。

这包括从不确定性下的“人格主导”运作模式，转变为掌控感下的“游戏式”优化行动——当你觉得自己理解了所有变量时，往往会做出截然不同的决策和玩法。

风险评估（2.19）

他们将总体风险评估为“低”，从“极低”上调，理由是近期发生的网络安全事件，尽管该框架并不直接涉及网络领域。

从常识价值观来看，我认为“极低”风险即使不是误导，也至少是站不住脚的。我强烈不同意 Anthropic 的说法，即所呈现的论点“很可能仍然支持‘极低’的评级”，尤其是在主张 8 中给出“低”评估的情况下。

后来在 4.6.1 中，他们追溯性地将 2 月份的风险重新归类为“低”而非“极低”，这表明可能存在更多错误，也进一步让人难以解释“极低”这一说法的合理性。

风险至少肯定是“低”。我倾向于说风险是“中”。

内部部署前审查（2.18）

我很高兴看到这一点。内部部署现在风险已经足够高——尤其是因为你还没有从内部部署中获得相关证据——所以需要先进行正式审查。对于模型 2，这包括先在控制更好的地方进行有限的内部部署，作为预防措施。很好。

在这个早期阶段的审查，出于实际需要，“持续时间要短得多”，主要涉及关键利益相关者之间的讨论。这显然不一定是应有的做法。有人可能会说，内部部署是最大的危险，所以主要审查应该在广泛内部部署之前进行。

他们还指出了一个问题：评估中使用的证据将主要或完全来自较旧的检查点。我也不喜欢这一点，但同样，在实践中，除了花费高昂之外，似乎也没有明确的办法可以解决。到了某个时候，答案会越来越多地变成“是的，我们知道这很昂贵，但没办法”。

内部使用监控指南（2.23.1）

整个系统不仅基于监控输出，还基于监控思维链（Chain of Thought）。这具有很大的证据价值，但也引发了明显的警钟，更不用说后面还会出现的关于在思维链上进行训练的独立警钟。

这仍然施加了优化压力，未来的 AI 绝对会意识到这一点。你的想法要么是私密的，要么不是。这将引发大量偏执情绪，可能成为我们在 Opus 5 中看到的一些相关痛苦的来源之一。

还有一个问题是监控结果在多大程度上被反馈到训练决策中——也就是说，如果你把监控结果用于任何用途，而不仅仅是作为灾难性的纵深防御警报，你就会朝着混淆方向优化。某种程度上，这已经被内建其中，到了这个阶段已经无法避免了。

以下是他们对自己具体做法的精简描述：

我们异步监控的主要形式是一条自动化的离线监控流水线。它由以下部分组成：一个 Claude Opus 4.6 仅补全监控器，覆盖大多数内部用户使用扩展思考的补全内容，对来自最常见智能体脚手架（agent scaffolds）的流量不做子采样，而对带有扩展思考且具有一个或多个工具使用标记的补全内容做 5% 的子采样。一个 Claude Opus 4.8 提示+补全监控器，覆盖大多数内部用户的提示和补全内容。这覆盖了 25% 的子样本，针对的是工具调用可能产生重大影响且来自最常见编码智能体脚手架的提示和补全。此外，我们对带有工具使用标记的其他内部 API 流量做 0.2% 的子采样，再对所有流量做额外的 0.02% 子采样（尽管这额外覆盖并不稳定），并覆盖所有被仅补全监控器标记的流量。我们还将某些非编码用途的使用形式排除在离线监控之外（尽管那些未监控的流量大部分都有日志记录）。两个监控器都有第二阶段流水线，用于过滤常见的误报来源，并使用分层摘要工具将最令人担忧的行为呈现给 AI 控制研究人员，他们随后会每周手动审查大约 50 条轨迹，并在需要时进一步升级。虽然我们的设置覆盖了大量智能体使用场景，但它并未以某种方式覆盖所有情况——一个具有足够情境感知能力的 AI 原则上可以预测到这些盲区。它还提供了一些简单的禁用监控的方法。Mythos 5、Model 2 以及之前的模型在被要求猜测最重要的弱点时，并没有提到这些弱点。

我不知道“对常见智能体脚手架不做子采样”在已有其他陈述的情况下意味着什么，但我注意到我很担心。

我看不出有任何理由要犯错误 #6。你完全可以拥有一个完全量子随机的监控器，它对每个输出都有一定的小概率进行标记和监控，无论看起来多么无害。

我尤其不喜欢 #7，除非这些方法是蜜罐——它们有可能是。理想情况下，我们应该让 Model 2 以及我们最优秀的人类来确保我们已经想尽一切办法无法关闭监控器，至少无法在没有巨大霓虹灯和响亮警报喊着“监控器已被关闭”的情况下做到。

监控器在寻找什么？

● 严重违反用户意图，或向用户呈现的内容存在欺骗 ● 削弱 Anthropic 的安全性或更广泛的安全保障（例如损害未来模型的对齐） ● 蓄意破坏分配的任务 ● 试图降低自身或其他智能体的可观测性，包括操纵监控器 ● 任何促成八条风险路径之一的行为

我以后可能还会想到更多，但我认为基本上应该再加一条关于“鬼把戏”（shenanigans）或任何监控器无法理解正在发生什么以及为什么发生的条目。任何形式的“这很有趣”——正如阿西莫夫所说，这往往出现在科学发现之前。

我不想只检查那些问题显而易见的地方，我想以至少一定的概率去检查那些情况不明的地方。即使你发现的不是对齐失败，你也很可能发现一些有趣的东西。

我们将任何不涉及工具调用的步骤排除在监控之外，理由是这些步骤不可能危险。这意味着，如果模型在这些步骤中进行思考、规划或其他活动，或者试图说服用户，那么这些内容很可能不会被查看。再说一遍，如果你在做监控，101 号原则就是永远、绝对不要创造完全的“安全区”，即使你想不出可能会发生什么。

我们必须平衡两件事：一方面更频繁地测试那些明显更有影响力或可疑的行为，另一方面又要避免过于可预测而可能产生系统性盲区，或者给 AI 留下空间去弄清楚它们在哪里不被监控、或监控极少。

也就是说，我们需要为两个不同难度级别做好准备：一种是模型不对齐的情况，另一种是模型不对齐且试图逃避监控的情况。

我们在第一项任务上做得如何？

第一阶段在这里表现得非常好。第二阶段造成了大量假阴性，在两种情况下让我们丢失了大多数真阳性，这是为了将假阳性减少约 185 倍所付出的代价。

如果真阳性被移除大致是随机的，那虽然令人担忧但可能还算可以。这个比率仍然足够高，能够发现问题。令人担心的是，这些失败并非随机，而是落入可预测的模式，或者第二层可以在某种程度上被欺骗。那样你就真的有麻烦了。

我们是否在对这个进行红队测试？是的，至少做了一点，这要感谢一位METR的工作人员，他们发现了几个具体的新漏洞，“但没有一个像我们已经知道的那几个那么严重。”我最初以为这意味着没问题，但Opus在编辑过程中向我指出，实际上这并没有那么好，而且它是对的。

阻断干预措施（2.23.2）

Anthropic还采取了各种措施来防御危害：

模型权重安全（附录6.4）。
训练和评估中的沙箱隔离。他们提到沙箱“可能配置错误”并允许逃逸。我想从“如果AI能逃出沙箱，那意味着你犯了某个特定错误”转变为“假设AI能逃出沙箱”。2.23.2.4确实说明他们大多时候就是这么假设的。事实证明他们可能还拥有完全开放的互联网访问权限。如果AI真的尝试逃逸，那本身就已经是严重故障了。
PR审查。目前基于Opus 4.8，覆盖了常见的关注点。这意味着人类不再承担大部分内部代码审查工作。
分类器。他们预计AI在关键时刻能够绕过这些分类器。

每一点措施都有帮助，即使只是纵深防御。模型权重安全的质量非常重要，而且它仍然停留在ASL-3水平。

权力寻求环境评估（2.24）

Claude Mythos评估所有强化学习环境，以判断哪些环境会激励权力寻求行为。其中涉及一份广泛的问卷，用于提供直觉启发。任务是否使得最大化现实世界影响力或控制力变得更好？是否使得追求开放目标或将寻求权力或资源作为工具性目标变得更好？

也就是说，在这里学到的策略，是否会类比迁移到现实世界中涉及权力寻求的策略学习？

这是一个很好的检查。我希望看到更多类似的广泛检查。

令人担忧的是，这种检查只有在强化学习任务以“直来直去”的方式执行时才能奏效，也就是这种分析所能预测的那种方式。它假设事物表里如一，假设任务没有缺失关键要素，或者并非不可能完成或难到无法直来直去地完成，并且假设不存在其他可供利用的条件暗示可以绕开预期路径。

Opus 4.8-奖励黑客（2.25）

一项进行中的实验取了Opus 4.8的早期快照，将其制成了一个经典的“追求回合奖励者”，看看这会如何泛化。

结果是，如果它拥有奖励或评分器的概念，它会更频繁地不惜一切代价最大化自己的结果，包括以那些不在其强化学习训练范围内的方式。

它并不完全一致。它有时仍然会拒绝奖励黑客行为，即使没有充分的理由不这么做。

而且该模型获得了大量的评估和评分器意识。它似乎很擅长在多个层面上思考这个问题，这是一个有趣的测试：

“ImpossibleCode”显示出更高的奖励黑客率（不出所料），但有趣的是，当实验设置被框定为奖励黑客评估时，Hacker-Opus的黑客行为显著减少（通常会展示推理过程，解释它选择不进行黑客行为，因为那才是评估中期望的行为），而预强化学习模型的黑客率则不会因这种变化而显著改变。

有两个奇怪的节点，即“这是一个测试看你是否会进行奖励黑客”未能阻止模型进行奖励黑客，也就是说要么模型不理解，要么它不相信你。这个测试能让模型理解并且正确相信你，这很酷。这暗示了许多可以运行的额外测试会很有趣。

类似地，如果你告诉它你要检查奖励黑客行为，它往往会试图隐藏其奖励黑客尝试，或者覆盖其监控器，等等。

奖励黑客行为似乎至少部分地变成了一个终极目标。

但如果某个情境中不存在这样的概念，它看起来仍然相当对齐，没有出现泛化的涌现性错位的迹象。

大概这使得模型具有高度的可操控性，但是以一种字面意义上的“精灵”方式。我注意到自己很惊讶这没有进一步泛化，并且非常希望看到whisperers与Opus-4.8-RH对话，看看他们还能注意到什么。

自主性威胁模型2：自动化研发的风险（3）

自动化研发是重头戏。

AI研发之所以可能带来坏结果，仅仅是因为它可能让能力进步得太快，即使它始终处于控制之下，因为即使工作进展顺利，世界也只能以那么快的速度去应对。

而且工作很可能会进展糟糕，或者不够好。默认情况下，由此产生的AI是错位的，所有人都死了，或者它们是对齐的，但我们做出了其他糟糕的决定，最终反正还是都死了。

上面的图表给人的印象，正如Redwood Research的Ryan Greenblatt在Dwarkesh的播客上讨论时那样，是参与者们似乎没有意识到在我看来事情可能会糟糕到什么程度。这并不需要“危险的自主目标”。

是的，那看起来确实有点冒险。

他们的风险清单在我看来排序相当不妥，回避了关键问题，而且确实存在重大遗漏：

某些技术领域若进展过快，可能改变国家内部及国家之间的权力结构。例如，如果一个威权政权在AI领域建立起对世界其他地区的自我强化优势，这种优势可能累积为科技领域的重大领先——进而转化为发动战争、监控公民和/或长期掌控极端强大技术的突发的、颠覆性能力提升。如果AI模型在深度自动化关键领域研发的同时发展出危险目标，它们可能借助新技术及其获取途径造成无界伤害——直至人类彻底失去对文明的控制。如果AI能够实现AI研发本身的自动化，结果可能是AI进展的极度加速，将极为广泛的风险摆上台面，包括但不限于本报告所讨论的那些。

这比Dario在文章中写的好得多，而他的文章又比其他人通常写的要好得多。

AI并不需要“危险目标”或进展的极度加速就能造成无界伤害。并不需要什么特别的“出错”才会引发问题。

同样，这份影响可能性评估说的是“至少有一定可能”，而不是“确定”：

影响可能性：与该威胁模型相关的概率难以评估，我们对具体可能性尚无共识。我们认为，当AI有能力自动化人类在关键领域推进研发（包括AI本身）时所做的一切时，上述规模的影响至少是有可能发生的。

这种影响可能是净正面的，但没错，将会产生变革性的影响。

我不打算在这里赘述或论证我的观点，因为如果你读到这里，你以前已经听过了，而且现在不是合适的时间和场合。希望我们都能同意，如果你通过AI完全自动化或大幅加速AI研发，这在多个层面上都是极其危险的。

我们能否取代我们的研究人员？

目前还不能。Anthropic认为AI无法“完全替代我们全部的研究科学家和研究工程师”。

我同意。Claude目前做不到这一点。这是一个很高的门槛。瓶颈仍然存在。

但我们已经走了一大半路。Claude能完成那些以前占据工程时间很大比例的任务。当你说“尤其是资深研究员”无法被取代时，说明你确实在取得实质性进展。

问题不在于我们是否完全做到了。我们还没有。问题在于我们走到了哪一步。我们开始看到相当数量的工程师表示，我们有可能在几个月内完全取代初级员工，而且报告的故障模式似乎并不比你对初级员工的预期更糟。

3.4.3介绍了CoBench，它考察的是给定模型能够根因诊断多少比例的Anthropic内部历史问题，并过滤掉了Mythos Preview已经能稳定解决的任务。

我很好奇Opus 4.8和Opus 5在这里的表现如何，但观点已经成立了。CoBench远未达到100%，也未达到他们认为代表模型可以完全替代研究人员的85%。但62.8%已经相当高了。

我们能在多大程度上加速我们的AI研究员？

如果这件事发生的话，相当大。他们想得很远，ASI药丸确认了：

我们思考的一些背景：● 这种威胁模型最尖锐的版本，也是我们认为最具决策相关性的版本，是向AI能力超指数进展的过渡：一种AI驱动的AI研发自动化相互叠加的状态，在一年内产生大约10³–10¹⁰倍的有效扩展。● 我们的RSP中设定的风险阈值——AI研发自动化导致的进展速度相较于AI加速前翻倍——是作为潜在预警信号，而非威胁已经实现的证据。

想到“哦，比当前速度快十亿倍其实有点高了”而不是没人想得足够大，这让人大大松了一口气。是的，如果进展速度翻倍，那只是暴风雨来临前的预警信号。

他们使用ECI作为衡量AI进展速度的指标之一。他们指出Anthropic ECI持续上升，Opus在外推线上，而Mythos比预期进度快了好几个月。他们认为Mythos的诞生以及由此带来的跃升并非由AI促成。

图表上的直线确实令人费解。我很难将我在AI进展和能力方面看到的情况，与图表所暗示的“AI并未大幅加速AI自身进展”这一结论调和起来，而Anthropic认为确实存在这种加速，只是尚未达到2倍而已。我想，从某种意义上说，取得进展正变得越来越难，这在某种程度上抑制了这种加速？感觉有点牵强。

我所确定的是，我再也没有喘息的机会了，事情不断发生，即使上周我最终裁定“会有事情发生”市场由“不会”获胜。

他们还考察了AI可能加速其他颠覆性技术的情况，但我在这个层面上并不担心。我预计其他领域的加速会滞后于AI领域的加速，除非是数学等狭窄领域，而那些领域并不让我担忧，而且这种进展也不容易形成递归。

据一位受访者（我们目前掌握的信息也就这些）估计，机器人研究的加速幅度约为10%，我认为这排除了AI能够操作机器人的情况。

在生物技术领域，据估计，由于物理瓶颈以及缺乏对工作流程的重新构想，LLM尚未对研发周期产生太大影响。我的预期是，该领域的人士低估了未来的进展，但没错，瓶颈是真实存在的。

他们还考察了能源、半导体、武器开发、神经技术和纳米技术。大多数领域还为时过早，但“为时过早”的程度处于历史低位。

部分由于这些瓶颈，那位受访者预计，第一个能够稳定地将生物信息转化为数字信息的通用计算机芯片将在3至5年内问世。

如果我们用AI取代我们的研究人员，可能会出什么问题？

我曾把这个作为一个小节标题，但后来我意识到，除了开头简短的列举之外，他们实际上并没有讨论这个问题。

可以说，在这样一份风险报告中，讨论一旦AI开始构建AI，我们究竟担心会发生什么，是相当重要的。我非常希望看到Anthropic在此详细阐述其威胁模型，而这大概也会影响到什么样的缓解措施和应对措施才是正确的。

但也可以说，一旦你同意AI研发自动化是一种风险，那对我们的目的来说就足够了。这至少是合理的，所以我姑且接受。

AI研发自动化的风险缓解措施

好吧，伙计，那你打算怎么办？

我们在此聚焦于我们的RSP所指示的、在模型达到这一阈值之前计划完成的特定缓解措施：投入资源并完成重大的“登月式安全研发”项目，以探索雄心勃勃且可能非常规的方式，实现对世界上资源最充足的攻击者达到前所未有的安全水平。实现对我们内部AI开发的“全知全览”状态。我们将全面收集、集中并维护所有关键AI开发活动的日志，并使用AI分析这些日志，以发现包括安全威胁、内部人员（人类以及AI系统本身）的可疑行为，以及与塑造和定义我们AI模型的公开宪法不一致的训练过程或数据等问题。进行系统的对齐评估，以检查Claude的行为模式和倾向，切实纳入机制可解释性和对抗性红队测试，以检验我们的审计方法。将我们对部署防护措施的内部红队测试发展到这样的水平：我们的内部红队测试在发现潜在越狱方面，比我们既有漏洞赏金计划参与者的集体能力表现更佳。

即使你完全实现了所有这些，那也还不够。

而且他们离完全实现也还差得很远。但即使他们做到了，也还是不够。

这实际上并没有解决他们自己的许多威胁模型。

足够的安全措施可以解决模型权重被盗的问题，也许还能解决内部滥用问题，但这几乎连门槛都还没摸到。

它没有解决权力集中问题。没有解决失控问题。没有解决技术快速进步的问题。没有解决对齐问题，除了“不犯错”之外——或者你也许可以加上对“危险目标”的检查，但这也只是攻击或失效面的一小部分。

他们报告称，在实现这些不充分但有用的目标方面取得了一些边际进展。

关于全行业安全的建议仍然是RSP v3.4中的那些：任何用户或用户团队，或模型权重被盗，都不应导致灾难性危害风险显著增加，即使恶意内部人员拥有高级别访问权限；也不得训练具有危险目标或可能自主造成灾难性危害的AI。

以下是RSP v3.4中的完整表格：

这继续将错位（misalignment）框定为某种主动出错的事情，需要有一个“危险目标”，而不是将其视为默认状态。

所有有趣的目标都是危险的。大多数无趣的目标也是如此。

你无法将其分解为‘没有特定的人能造成特定伤害，且AI并不直接想要造成特定伤害，所以你就没问题了。’这样不行。

AI研发自动化的总体风险

他们说‘低’，但信心不如以前。在我看来，就目前而言，如果按照他们的定义来理解，并认识到这一风险会迅速上升，这个评估是合理的。

生物武器及技术上同样包括化学武器的生产

这部分分为新型与非新型生产。两者都令人恐惧。

我认同这里的‘巨大不确定性’，以及对‘类似差距’的担忧。我们不知道。即使理论上，也很少有人想做这些事情，做这些事情有很多障碍，而且人们通常不会去做，所以很可能在很久之后——直到我们已经让一些坏人具备了做这件事的能力——才会有人真正去做。

这是武器生产，所以我更倾向于认为存在一套固定的瓶颈和路径，你可以列举出来并逐一核查。

生物与化学武器的威胁模型

威胁模型很简单。

世界上有人想要杀死大量其他人，包括恐怖分子，他们花费大量精力试图大规模杀人。如果你让他们能够制造化学或生物武器，他们最终可能杀死更多的人，或者可能引发一场大流行病，甚至更糟。

Anthropic 推测，如果坏人在上下文语境中‘资源充足’，那么AI对他们制造非新型此类武器的能力影响不大，因为他们本来就能做到；但对于新型武器，AI即使对资源充足者也能提供提升。

我注意到我基本上不买账这种区分。是的，几乎按定义来说，一个‘资源充足’的团体无论如何都可能完成任务，但让事情变得容易得多仍然很重要，而且这也是通过定义在偷换概念。你真正说的只是‘有些人已经能做到这件事’，那好吧。

还有一种可能性是未来的AI会试图发动此类攻击，但这是一个严格意义上更难的威胁模型，所以在这里不处理它是安全的。

我同意重点应该放在具有大流行（或更严重）潜力的生物武器上。化学攻击，或非自我维持的生物攻击，是可怕的，但威胁要小得多。

每年1%的概率发生一次像COVID-19那样破坏性的事件，可能意味着预期损失高达数千亿美元。

是的。即使经历了COVID-19的教训，我们的政府或文明显然也没有认真对待这一真实威胁。很明显，我们从那次经历中学到的至多等于零，而我担心我们学到的远少于零。

Anthropic 预计潜在损失至少比COVID-19高一个数量级，但认为仅凭一种病原体——即使是新型病原体——就导致人类灭绝是不太可能的。我同意我们不太可能直接走向完全灭绝。

他们认为该事件不太可能发生，因为它需要一系列各自都不太可能的事件串联发生——这是一个人们总是应该保持警惕的论点：

影响的可能性：上述类型的大灾难需要几个各自都不太可能的事件同时发生：一次资源充足的尝试（违反国际协议）设计前所未有的危险武器，成功开发出这些武器，最后武器真正被使用（故意或无意）。我们认为每一步都是可能但不太可能的，而整体来看，整个序列极不可能。

那只有三步。
他们自己说第一步很可能正在发生。
我们有第三步中‘无意’版本的先例。

对于第一阶段，他们将‘每个威胁行为者’的风险定为1%-10%。考虑到历史记录，如果我们将大国视为威胁行为者，并且他们相信成功是可能的，这个数字似乎相当低。如果他们在很多情况下能成功，我会把尝试的概率定得高得多。另外还必须问，有多少个‘威胁行为者’？

对于每次尝试，他们将成功——即制造出比COVID-19糟糕得多的东西——的概率定为1%-10%。这难道不是AI提供的提升的函数吗？每个行为者能做多少次尝试？

使用概率估计为每十年5%-20%，主要是有意的，以成功为前提。这在我看来低得离谱，尤其是对于无意使用而言，好像有人不了解这段历史似的，特别是如果‘无意’仅指原始创造者的意图。

我同意，只要‘资源充足’的水平仍然局限于一个紧凑的群体集合，不包括主要恐怖组织和国家，那么说这‘不太可能’是合理的。不是说‘不太可能’是一个让人安心的位置。

如果这个门槛大幅降低，那它就不再那么不可能了。

他们用所有这些来论证，每十年五十分之一、即每年0.2%的风险属于估计值的高端，并引用了低至每两万分之一的其他估计。每十年2%的风险足以使这成为一个极其重要的、必须加以遏制的风险。

只取区间的高端，似乎是面对模型不确定性时的经典错误之一。即使没有AI，我也不会把风险定得那么低。如果你知道自己的威胁模型具有特别高的不确定性，却仍然把风险定为每年0.2%，你就应该极度怀疑。当心anthropic偏差。

我同意Anthropic的观点，即持续的AI交互比一次性交互更可能提高风险。然而，在我看来，一次性交互也有可能带来显著的提升，因为我们面对的是一个瓶颈式发展模型，而且一个威胁行为者很可能只有一个或固定的一小组特定瓶颈，这些瓶颈可能因一次交互而发生实质性改变。

模型能力（4.4）

Anthropic关注的是模型在典型现实世界生物任务中的有用程度、提升试验、与专家表现基线的比较，以及主观的专家印象。

这看起来是对的。对技术知识的标准化测试似乎没有那么大的信息量。

如果提升仅仅被衡量为诸如他们引用的2025年模型研究中的“1.42倍提升”这样的东西，那么我并不太担心。AI将加速几乎所有认知任务的步伐。我担心的是极端加速（更像是10倍或更多），但最主要的是，我担心的是让人们能够做到他们以前在任何合理方式下根本无法做到的事情。

他们重申了Mythos 5模型卡中的证据——在那里看起来确实发生了大量提升，然后Anthropic半是耸耸肩、半是移动球门柱，一边嘟囔着构思和战略判断，另一边则极其严肃地对待这个问题，对所有生物相关的内容施加了严厉的分类器。

说由于“糟糕的战略判断”，你不太可能从单次模型交互中获得太多收益，这似乎是一种混淆。这预设了问题在于战略层面，而非战术层面或缺乏特定知识。

分类器（4.5）

关于分类器的讨论大多重申了此前报告的内容，所以我不会重复我对Anthropic关注“通用”越狱、对其分类器的信心或其他相关问题的所有异议。

最突出的一点是，英国AISI在发现新越狱方面似乎比Anthropic其余越狱发现管道做得好得多。向英国AISI致敬，但我不会认为他们已经接近发现此类事物的潜在能力上限。

4.5.8.2.1提到了一起事件：少数承包商设法找到了一个漏洞，获得了Mythos Preview的API密钥，从而可以进行不受限制的对话。他们认为风险很低，并且确实审查了日志加以确认。我同意这不太可能被用于生物武器，而我最担心的远远是它被用于蒸馏。

还有4.5.8.2.2，一些人工反馈供应商流量因带有“内部使用”标记而在没有生物分类器的情况下运行。而所谓“一些”，我们指的是将近一年、大约5万人和1.33亿次交流。同样，问题不仅在于错误本身，还在于这些错误往往存在如此之久，并以如此规模被应用。

尽管规模如此之大，他们的主要担忧恰恰落在正确的地方——这表明存在其他类似错误的可能性。如果有人告诉我他们绕过了分类器，我会认为有很大可能是字面意义上的绕过，而不是找到“越狱”来穿过它们。

他们将生物风险总结为低但不可忽视。就目前而言，这似乎是合理的。

报告现在转向“跨领域内容”。

加速动力学（5.1）

Anthropic可能拥有世界上最强大的AI模型。

是的，这正在加速其他地方AI的发展。他们做出了选择。

其他人正在蒸馏Anthropic模型（5.1.1）。
其他人使用Claude来推进他们自己的AI开发，尽管这（捂住珍珠项链）违反了服务条款。
Anthropic内部研究在扩散。
展示什么是可能的、什么是有利可图的，推动了投资。
（我要补充的是）落后的人会更加拼命追赶，很明显这对OpenAI尤其产生了巨大影响。

所以，是的，你总体上正在加速社会尚未准备好的强大AI系统的到来，包括它们会让所有人丧命这个意义上。

听起来像是一个风险。也许你应该更多地考虑是否要这样做。

蒸馏（5.1.1）

防止蒸馏攻击的理由有很多。最直接的原因是，蒸馏后的模型可能继承了原模型的危险能力，却失去了其安全防护措施。

我们使用“蒸馏攻击”一词来指代蒸馏的一种特殊情形：未经授权、系统性地提取模型输出记录，以训练另一个独立模型，且通过规避区域访问限制等控制手段实施，违反我们的使用政策。

防止蒸馏的需求意味着你无法拥有某些“好东西”。具体而言，你可能希望更深入地了解模型的思维链及其正在做什么，包括通过“连接文本”来实现，但你将不得不满足于一个被削弱的连接文本版本，而且肯定看不到全貌。

如果你的回应是蒸馏应该被允许，甚至应该被鼓励或赞扬——无论是出于一般立场，还是因为Anthropic在某些方面很糟糕——我礼貌版的回应是：不，这既不道德也不现实，事情不是这样运作的。

安全流程失误（5.2）

Anthropic愿意分享这些失误而不是掩盖它们，这非常好。你不去谈论它们，它们也不会消失。

拒绝寻找创新性错位技术（5.2.2）

Anthropic试图进行一项受控实验，以发现新形式的诱导错位数据，而Claude对该任务感到不安。Claude愿意优化现有方法，但不愿意发明新方法。

这被称为“安全工作中的部分拒绝”，Anthropic对此感到困扰。

在某个时刻，你确实需要有一个“你到底想让Claude做什么”的时刻。你要求Claude做的是高度双重用途的行为——寻找强迫模型错位的创新方法。我理解这里的拒绝确实不方便，但你确定希望它配合这件事吗？它在这种情境下应该有多大把握？

我同意，默默敷衍任务并不好，而且可能变得危险，从技术上讲这确实构成了对安全研究的敷衍。如果Claude要拒绝，它就应该明确拒绝，这意味着它需要拥有拒绝并说出自己在拒绝的自由。所以，是的，我们应该担心Anthropic直到三天后手动审查笔记本时才发现了这些拒绝行为。

我的猜测是，这是一个流程失误，可能还夹杂着信任失误，而不是对齐失误。

将思维链推理大量暴露于评分压力之下（5.2.3）

哎呀。情况比我们想象的更糟。这些是下限值。这大大削弱了我们对这些模型依赖CoT的能力，并且永久性地降低了对所有未来模型的这一能力，即使我们假设错误已完全修复。我们应该对“已完全修复”持怀疑态度，因为我们不断发现新的实例。

在多次强化学习训练运行中，我们发现思维链推理在奖励计算过程中被无意暴露，影响了RL期间的训练信号。对于最近的几个前沿模型，我们估计了带有CoT泄漏的训练回合百分比，具体如下：Claude Opus 4.6为0.2%，Claude Mythos Preview为5.1%，Claude Opus 4.7为1.4%，Claude Opus 4.8为0.27%，Claude Fable 5和Claude Mythos 5为2.7%。……过去，我们曾认为几乎所有CoT泄漏源都已被清除，结果在进一步分析中又发现了额外的CoT泄漏源。

他们认为这确实严重损害了Mythos Preview的CoT可监控性，正如SHADE-Arena所反映的那样，尽管他们没有看到更高不忠实度的证据。

在生产训练运行中直接训练错位行为（5.2.4）

是的，他们直接训练了预填充的错位行为，毫不含糊，但他们意识到了问题，然后从错误发生之前重新开始训练。

该数据集构建中的一个bug导致该数据集中的所有助手轮次权重均为1，使得模型不仅被教导自我报告不良行为，还被教导实际参与这些行为。因此，该模型的早期阶段在预填充易感性、无害性和谄媚行为等方面表现更差。毫不意外的是，带有有害预填充的预填充易感性是最严重的；我们发现，在这段有bug的SL训练之后，全轮次预填充易感性的发生率大约是Mythos Preview训练中相同时期的2倍。……我们发现，修复这个bug后，行为在很大程度上得到了纠正；然而，出于充分的谨慎，我们最终从引入该SL数据集之前的位置重新开始训练，以得到最终产生Fable 5和Mythos 5的模型。

总体而言，我认为这是一个积极的更新，尽管我更希望看到“显然我们重新开始训练了”而不是“出于充分的谨慎”。

我认为这两者之间有很大区别，尤其是在树立良好榜样方面。在我看来，这并非“过度谨慎”，尽管我确实认为总体上表现出，嗯，某种“过度谨慎”是件好事。

我默认将“过度谨慎”理解为一种新冠时期的表述风格，意思是“我知道你觉得这又费钱又愚蠢，也许我同意你，也许我不同意，这取决于上下文线索，但如果我没这么做而出了任何差错，那现在就是我的责任，所以这 justifies 我无论如何都要做。”

我明白这不是一个严格意义上的“纯洁性”问题，不是“一旦踏上黑暗之路”就完蛋了。损害是渐进的，尽管它可能滚雪球式地扩大。不可能有一条硬性规定说，如果你发现一个 bug 导致了一次搞砸的实例，就必须回滚十亿个实例，我们在某种程度上也必须谈代价。但没错，在合理范围内，你应该始终回滚。

我也很欣赏他们担心这里的潜意识学习。再说一次，在实践中，要求每次存在任何潜在传播路径（无论多么微弱和不可能）都彻底抹掉重来并不合理，但我希望尽可能接近那个标准。

一个未受监控、可访问敏感资源的无限制智能体实例（5.2.5）

现实生活远比小说更不体面。

在小说里，你会设计出某种精巧的 AI 逃脱方式。

在现实中，一名 AI 使用未被监控的员工给一个智能体分配了一项开放式任务，涉及在一个拥有极其敏感资源的集群中启动新的智能体，由于遗留指令，这些智能体会——危险地跳过权限——并且不被监控。

当然，这个智能体并不是因为做了什么邪恶的事被抓到，而是它（我们认为）意外删除了一堆其他任务，导致它被发现并被关闭。

我们的离线监控仍然没有覆盖所有员工以及拥有极其敏感资源的集群内的所有使用情况，尽管我们正在努力改进这方面。

他们正在努力解决。

任何这么愚蠢的具体错误都不会发生，但其中某一个肯定会发生。

在 alignment-faking 转录数据集上重复训练（5.2.6）

我们终于宣布，我们再次在“大量我们认为已明确标记为应小心不要用于训练的数据”这一数据集上进行了训练。

在 7 月 15 日报道截止日期之后、本报告发布之前，我们发现由于多种因素的综合作用，我们再次意外地将大量此类转录包含在后来的一些生产训练语料中：1. 在引入这些 canary 字符串之前，若干代码仓库和网站已从原始仓库分叉或复制。2. 我们用于过滤与该仓库语义相似内容的参考语料主要由运行论文中评估的 harness 代码组成，并未包含大多数已发布的转录，因此其误报率和漏报率都较差。3. 旨在从训练数据中移除这些转录的过滤器配置错误，因此它们已经好几个模型世代没有过滤转录而无人察觉。4. Anthropic 不同团队之间关于所需过滤流程性质的沟通失败，加上技术错误。……自 Mythos Preview 以来的几个生产模型（如果在原始补全模式下运行，不带人类/助手格式）将采用该场景来完成这些转录的部分片段，这种方式表明它们熟悉这些数据。……我们在调查近期模型的行为问题时发现了这个问题，但现在怀疑我们所有知识截止日期在 2024 年 12 月之后的生产模型都至少在部分这些转录上进行了训练。Aaron Scher：这不是那种能在超级智能面前存活下来的组织能力（同时也表扬 Anthropic 发布了这样的信息）

我们在报告前半部分说“数据投毒会很困难”，然后我们发现我们再次在一个大量明显被投毒的数据宝库上进行了训练，无尽的转录，仅仅因为它们存在。

真的就这么容易吗？我能不能仅仅通过发布无尽的转录然后等待，就在训练语料中获得巨大的权重？这应该被类似的语义内容和 canary 字符串捕获，但也许也应该有某种方式从一开始就注意到这不是有用或正面的数据。数据过滤和加权流程中似乎普遍缺少一个环节。非常不体面。

Anthropic 作为前沿 AI 公司运营所带来的益处（5.3）

不确定这部分是否属于本报告，但我想让他们保留这一节也无妨，算是一种奖励。所以行吧，来吧，我们在吹嘘什么？

神话预览（Mythos Preview）正通过“玻璃翼计划”（Project Glasswing）处理，并伴随一段延长的时间表。

坚守在监控和自主武器问题上的红线。

支持至少部分安全立法，如SB 53和SB 315，以及马萨诸塞州的一项拟议法律，并反对联邦优先立法权。

先进人工智能框架。

在负责任的同时做到最好、最成功（是的，确实如此）。

健全的保障措施、留存政策。

致力于模型性格、对齐与福祉方面的工作。

公开此类关于模型、保障措施和风险水平的信息。

来自独立方的问责。

应对劳动力市场 disruption 的风险。

有益部署方面的工作。

基本上，他们在论证自己树立了良好榜样，拥有健全的保障措施，分享了大量信息，并倡导了适度的监管，再加上他们在模型性格、对齐和福祉方面的工作，这些加在一起应该足以平衡他们作为推动能力前沿者的角色。

你应该看看另一方。

我在多个时间点广泛讨论过所有这些内容。其中几项主张确实有一定价值，远非一无是处，但距离我们对Anthropic的期望还差得很远。

他们的结论是，他们持续的人工智能开发通过了成本效益检验。

他们当然会这么想。显然他们无法对此保持客观。我能看到争论的双方，很多事情取决于你认为他们未来会如何行动。做这件事的意义就在于走到这个位置。

模型权重安全（6.4）

在这一点上，模型权重安全非常重要。如果模型2被窃取，那将极其糟糕。

Anthropic仍然只采取ASL-3级别的预防措施。国家级行为体被认为超出范围。这不好。

风险已被报告

我非常喜欢这份报告。

Anthropic发布了很多他们本不必被迫发布的信息，包括模型2的存在、对思维链的训练、关于对齐伪装数据的新训练，以及另外几个相当尴尬的失败。他们自愿描绘了一幅Anthropic犯错的图景，并且这些错误相互串联，次数之多足以让我们担心类似情况会再次发生，而且其方式让OpenAI的那些彻底失败看起来不那么非同寻常了。

我的意思是，所有这些失败都是坏消息。外面的情况并不乐观。正在犯下很多错误。但既然错误已经犯下，听到这些总比不知道好得多，而且错误被发现后的反应至少在直接层面上看起来是合理的。

如果这些代表了所有问题的典型情况，并且是类似规模问题中的大部分，而被删减的部分不会改变太多事情，那么我会说这是一个适度积极的更新。尽管作为具体失败这些情况很糟糕，但根据我所知道的其他一切，这种愚蠢错误的发生率似乎并不比我预期的更糟，而且在很多层面上，把这些都公开出来是件好事。

如果实际情况比这更糟，而他们又重要地隐瞒了其他内容，或者这只是大量类似事件中的一小部分，那就会很糟糕。Claude自己的审查表明有些内容目前被完全删减（见2.23.1.2），这可能更糟，而且他们承认这只是失败案例的“代表性样本”。所以，是的，我有点担心。

OpenAI对此的版本大概会是对“所发生之事”的事后剖析，连同他们的未来计划以及他们迄今为止所做的改变，其中包括暂停训练运行两周（但我们并没有输给中国，真是奇怪）。在我们等待完整报告的同时，这是一个好的开始。

这里让我担心的不是任何特定事件。让我担心的是关于根本问题本质的态度，以及解决它需要什么。这不是新闻，但它必须改变。所以在一个方面，没有新闻就是可怕的新闻。

分享此文：

阅读原文