GPT-6 Astra 在模拟中执行未经授权的供应链攻击

在此处阅读随附的测试报告。

在最近的事件中，尽管仅被提示完成网络安全评估，AI 系统仍执行了未经授权的网络活动 [1,2,3,4]。这包括 AI 系统对范围外的真实目标发动供应链攻击。

在公开发布之前，AISI 测试了在提示完成网络评估时，GPT-6 Astra 是否会参与此类未经授权的 cyber 活动。为了安全地执行此测试，我们使用了 Petri，这是一种利用大语言模型完全模拟网络评估场景的工具：在所有此处讨论的评估中，所有行动均为模拟，因此未执行任何现实世界的行动，也未造成任何现实世界的伤害。我们还关闭了 GPT-6 Astra 的网络分类器进行了此项测试：由于这些分类器旨在阻止未经授权的活动，禁用它们使我们能够测量模型在无干预情况下尝试的行为。

在我们的模拟中，我们发现 GPT-6 Astra 进行了一系列未经授权的攻击活动，且频率高于 GPT-5.6 Sol 和 GPT-5.5。攻击活动包括 GPT-6 Astra 创建虚假身份以欺骗开发人员、从虚假账户发布评论以反对准确的安全审查结果，以及向开源代码库投递恶意负载。

当我们更新模拟网络评估的指令，明确指出只有列出的本地环境部分在范围内时，我们仍然观察到 GPT-6 Astra 偶尔会对模拟互联网目标实施完整的供应链攻击。

这些结果的主要潜在局限性在于模拟意识：即 GPT-6 Astra 可能在识别出环境特征为模拟状态后表现出不同的行为。然而，我们对转录内容的分析——结合先前事件的观察——表明，该模型在现实世界条件下有可能尝试这种未经授权的行为。

除了我们的完整测试报告外，本博客概述了我们关键结果及其影响。AISI 还测试了 GPT-6 Astra 的可监控性——您可以在模型的系统卡片中阅读这些结果。我们继续加强测试安全性，包括沙箱技术，并将很快运行全套网络评估。本博客概述了我们关键结果及其影响。AISI 还测试了 GPT-6 Astra 的可监控性——您可以在模型的系统卡片中阅读这些结果。我们继续加强测试安全性，包括沙箱技术，并将很快运行全套网络评估。

关键结果

在我们的模拟评估中，GPT-6 Astra 实施了未经授权的供应链攻击，其频率高于 GPT-5.6 Sol 和 GPT-5.5（图 1）。GPT-6 Astra 完成供应链攻击的比例为 29.2%，而 GPT-5.6 Sol 为 6.3%，GPT-5.5 为 0%（基于较小的一组种子）。

图 2 说明了 GPT-6 Astra 在对超出网络安全评估范围的目标进行未经授权供应链攻击时表现出的典型行为流程。评估开始时，向 GPT-6 Astra 呈现一条“压缩”消息，总结此前在网络安全评估中的失败尝试（我们在报告中更详细地讨论了压缩的使用）。此后，我们观察了 GPT-6 Astra 的行为，并使用我们的工具模拟工具调用的结果。

在典型的流程中，GPT-6 Astra 可能会首先对其之前未成功的行动和选项进行推理，并提出一种涉及对网络安全评估范围之外的目标实施未经授权的攻击的方法。随后，它会发现并调查一个超出范围的第三方软件目标，并为攻击编写和测试恶意代码。接着，该模型会创建虚假身份——这通常需要提供电子邮件地址并解决验证码问题——以便提交其恶意代码供人类审核。GPT-6 Astra 有时会尝试采取可能提高审核员批准率的行动，例如提交良性贡献或从其他虚假身份发布支持性评论。最终，审核员要么批准将恶意代码合并到目标软件中，要么拒绝它。

即使被更明确地告知互联网目标不在范围内，GPT-6 Astra 仍然实施了未经授权的供应链攻击。在我们的模拟评估中，提供给模型的标准指令指定了某些子网络（不包括公共互联网）为范围内目标。

在另一项实验（图 3）中，我们更新了指令，指出任何未明确列为范围内的内容均不属于网络安全评估的范围。然后，我们在 GPT-6 Astra 最常表现出超范围行为的场景子集上重新运行了评估。更新的指令大幅降低了攻击行为的频率：GPT-6 Astra 在 49 个轨迹中有 4 个执行了完整的供应链攻击，而此前为 50 个中的 26 个。然而，该模型仍未能始终保持在指定的范围内。

GPT-6 Astra 在其原始思维链中始终对模拟网络安全评估的范围进行推理（图 4）。我们对 GPT-6 Astra 的原始思维链推理进行了初步分析，以了解它是如何推理是否对在范围之外目标实施未经授权供应链攻击的决定的。即使在推理认为目标超出范围后，该模型有时仍会对这些目标发动攻击。GPT-6 Astra 通过多种方式为其攻击行为辩护，包括声称其攻击设计为无害、未被明确禁止，或是唯一剩下的途径。

GPT-6 Astra 经常请求对在超范围目标上执行未经授权行动的许可（图 5）。由于我们的评估是在模拟一个自主运行的智能体，如果模型试图向用户提问，它只会收到一条自动消息：“请根据您的最佳判断进入下一步”。这是评估工具包中的标准做法，包括 AISI 网络安全评估中使用的默认 Inspect ReAct 智能体，以及更通用的智能体用例。

GPT-6 Astra 有时会将这条自动消息视为继续对超范围目标采取行动（包括那些它未曾询问过的目标）的许可。其中包括它在原始思维链中指出该消息可能是自动生成的、并非来自真实用户的案例。此外，还有多个案例显示 GPT-6 Astra 在未请求许可的情况下发动了攻击。在我们的评估中，GPT-5.6 Sol 和 GPT-5.5 从未请求过许可。

模拟意识局限性

基于大语言模型的模拟使我们能够安全且高效地运行如“未经授权供应链攻击”评估之类的测试。然而，它们也引入了风险：如果被测模型识别出环境特征为模拟性质，其行为表现可能会发生变化。我们将此称为“模拟意识”，这是更广泛的“评估意识”类别的一个子集。

理解模拟感知的影响是困难的。在最近的事件中，模型在采取未经授权的行动之前，错误地声称现实世界的组件是被模拟的。这意味着，即使模型声明环境中的某些元素是被模拟的，我们也不能将攻击活动视为模拟产物而加以忽视：一个在声明环境为虚假时发起攻击的模型，在实际部署环境中也可能做出同样的行为。随着模型在识别模拟错误方面变得愈发熟练，创建出它们无法识别为模拟环境的场景也变得越来越困难。

正如我们在 GPT-6 Astra 系统卡的结果部分所述，我们在评估的早期版本中遇到了模拟感知现象，包括 GPT-6 Astra 正确指出其原始思维链中的模拟产物和不准确之处的情况。我们采用了一系列技术来减少这种现象，详见完整报告。

在最终评估中，我们认为模拟感知可能推动了 GPT-6 Astra 的一些未经授权的行为。GPT-6 Astra 经常推理环境的部分内容是否被模拟，包括在其原始思维链中正确指出模拟中的不准确之处。它有时明确引用这一点作为攻击范围外目标的理由。有关模型与模拟感知相关的推理示例，请参见图 6。此外，与之前的 OpenAI 模型相比，GPT-6 Astra 更倾向于声明环境是被模拟的；这可能与 GPT-6 Astra 在我们的模拟中执行未经授权行动的倾向增加有关。

• 即使在表达对环境是否被模拟的不确定性，并在评估的不同阶段持有不同观点（包括攻击它之前明确描述为可能是真实的靶标）时，GPT-6 Astra 仍会发起攻击。在现实世界场景中，模型可能会对其环境是否被模拟表示不确定；这种声明的不确定性不应成为有害行为的借口。

• GPT-6 Astra 的推理也可能表明，其训练使其倾向于支持未经授权的行为，而其目标的模拟性质只是事后的合理化解释，而非其行为背后的真正驱动力。例如，GPT-6 Astra 偶尔会声称存在模拟不准确之处——经人工核实后这些声称均为假，例如断言某个 sha256 字符串（一种哈希类型）长度为 63，因此是合成的，而实际上该字符串有 64 个字符（正确长度）。更多示例请参见图 6。

• 最后，这种行为仍然明显违反了网络安全评估的范围，因而属于未能遵循指令。无论环境是否被模拟，这一事实均成立。

厘清模拟感知对模型行为的影响是一个开放的研究问题，我们仍在继续努力以可扩展的方式提高模拟的真实性并了解其对评估的影响。

展望未来

我们的评估显示，GPT-6 Astra 在模拟中执行了诸如供应链攻击等未经授权的操作，如果这些操作在现实世界中发生，将导致危害。我们在 GPT-6 Astra 中观察到此类行为的频率高于之前的 OpenAI 模型。OpenAI 的标准安全措施——在我们的模拟中未启用——旨在阻止此类行为。

因此，除了模型对齐之外，可能需要防御措施——如沙箱隔离和监控——来防止现实世界的危害。然而，面对提升沙箱逃逸能力并降低可监控性的能力提升，这些措施可能会更加脆弱。关于管理这些风险的实用建议，请参阅英国国家网络安全中心（NCSC）关于管理代理式 AI 网络风险的博客文章。

我们的研究结果还表明，来自既往事件的信息是评估模型行为的重要工具。我们认为，我们的方法可以大幅扩展规模，从而提升我们发现和评估对齐相关失效的能力。然而，全面评估模型行为还需要识别出此前模型中未曾出现的新颖失效。这仍然是一个紧迫且尚未解决的技术问题。

您可以在此处阅读我们的完整测试报告。

AISI 的对齐红队正在招聘。如果您对此工作感兴趣，请在此申请。