代理隐私与安全的开放及涌现问题：一个语境视角

为了让 AI 智能体发挥效用，它们必须理解并受限于情境化的行为规范，以确保其行为得当。受“情境完整性”（Contextual Integrity）理论的启发，我们新的研讨会报告概述了构建用户可信赖的 AI 智能体的关键开放研究方向，涵盖系统、模型和用户层面。

快速链接

• 技术报告
• 分享 复制链接 ×

我们正迅速过渡到一个由高度通用、日益自主的智能体所定义的计算格局。在能够动态生成计划并调用外部工具的大型语言模型（LLM）的推动下，这些系统有望让 AI 无缝地代表我们处理复杂的多步骤任务。然而，要实现这一潜力，必须解决一个关键挑战：在赋予智能体能力的同时，确保其行为得当。

今天，我们发布了一份全面的最新研讨会报告《代理隐私与安全中的开放与新兴问题：情境视角》，这是众多机构中 50 多位学术界和业界领袖协作的成果。我们在 2025 年底于纽约市举行的 Google 情境化智能体隐私与安全（CAPS）研讨会上进行了交流。在本报告中，您将看到对当前自主智能体面临的基础性隐私和安全挑战的分析，这需要系统在系统、模型、用户和生态系统层面进行协调防御。

智能体权衡

智能体 AI 的核心挑战在于，为了使智能体有用，它可能需要访问个人数据，并具备在广泛情境中采取具有重大影响的行动的能力。然而，这种访问权限加上智能体的行为灵活性，要求采用与传统软件截然不同的方法。与传统确定性软件不同，智能体在三个关键维度上存在差异，由此产生的挑战需要研究界共同应对：

• 非结构化接口和输入歧义：智能体以自然语言和图像等格式处理指令，这使得难以定义“预期行为”或防范提示注入等对抗性操纵。
• 概率性控制流：生成式规划导致执行路径具有概率性，传统测试方法难以对其进行有效保障。
• 自主性与委托：随着智能体处理更长的任务并将子任务委托给其他智能体，传统的用户监督变得效力不足且可能不够充分，从而带来“确认疲劳”的风险。

智能体 AI 的隐私与安全挑战。

情境视角

鉴于有用的智能体可能需要共享数据并完成任务，我们认为，可信智能体的未来取决于其推理、理解并受限于其行为的社会规范及适当性的能力——即针对其运行的特定情境。

但我们如何教导智能体理解“情境”和适当性呢？我们的报告基于情境完整性（CI）理论，该理论将隐私不仅定义为秘密或控制，而是根据既定且合理的社会规范定义的“适当信息流动”。特定情境的信息规范由其参与者（谁向谁发送关于谁的信息）、信息类型（特定的信息类别，如医疗或财务记录）以及传输原则（规范流动的法则，如保密性或互惠性）来定义。例如，你可能愿意将礼物购物清单分享给虚拟购物助手，但不愿分享给家人和朋友。我们的报告将情境完整性从信息共享扩展到情境安全，即智能体行动的适当性。通过将智能体隐私和安全锚定在 CI 上，我们探讨了如何设计系统，在执行操作之前评估其社会性和情境上的适当性。

通用 AI 智能体在不同情境下与其他用户、工具和智能体交互的模型。

操作化情境完整性

自情境完整性理论提出以来，大型语言模型（LLMs）首次提供了创建真正依赖情境的可机器读取策略的机会。长期以来，高层级的情境规范与低层级的系统权限之间存在语义鸿沟。例如，“在为我安排会议旅行时保护我的数据”这一需求，需要具体的指令来说明在预订航班、申请签证以及与组织者沟通时，哪些用户信息适合分享。

传统的权限管理或专家编写的策略方法无法扩展到未来由 AI 智能体自主执行多个复杂且长期任务的场景。随着语言模型开始理解情境完整性（CI），我们认为可以弥合这一鸿沟。我们的报告主张，在模型和用户交互进展的基础上，补充一个作为监督层一部分的情境策略引擎，以监控和执行动作的适当性。该策略引擎包含一个动态策略生成循环，能够实时运行（如下所示），从而根据用户需求以及开放式、动态的情境（包括运行时可能发现的新工具和功能）定制策略。这使得系统能够在任何信息离开用户工作区之前，评估请求的数据流是否适当。

情境策略引擎架构如何在智能体系统中实例化的示例图。

面向智能体隐私与安全的多层方法

共同推进情境策略引擎的发展以及在模型和用户层面的必要进步，形成了一种多层方法。我们的报告概述了整个技术栈上的创新机会：

• 系统级沙箱隔离：执行环境可以施加额外的护栏，以限制智能体或模型故障的影响，并促进检测和响应。传统操作系统通过静态限制对文件或网络等的访问来对应用程序进行沙箱隔离。对于智能体，我们探索动态限制智能体能力、建立智能体身份，并根据情境的变化授权或撤销对数据的访问。
• 模型级推理：执行复杂任务的智能体必须判断其行为的适当性，例如分享用户数据。未来的研究应使模型能够消除未明确指定的用户提示中的歧义，并在变化的情境规范下推理适当性。
• 以用户为中心的控制：传统的“通知与选择”框架假设个人能够对影响个人数据的行动做出细粒度的决策，并依赖于可预见性的假设。然而，自主智能体的行为本质上是概率性的、高吞吐量的和生成式的。我们探索将界面转向动态的、情境相关的和个性化的控制机制，使其符合用户的心理模型。
• 多智能体交互：为了使 AI 智能体能够安全地协作完成复杂任务，我们需要开发有效的护栏，防止智能体串通并违反情境规范。
• 生态系统治理：我们探讨了治理机制方面的挑战，旨在形成一套被收集并在智能体间共享的情境规范集合。此外，由于不同领域和实体的规范可能存在差异，我们需要允许我们解决冲突、协商规范变更并验证合规性的机制。

动态衡量隐私与安全

最后，我们提出开发新的安全评估方法，以更直接地应用于高度自主的多智能体系统。我们的报告强调了建立标准化多智能体基准的必要性——即动态的“Agent Gym”环境，研究人员可以在其中安全地模拟在长时间运行中复杂的级联交互。通过这些开源沙盒，我们可以在学术界和工业界之间建立一个稳健、共享的隐私、安全和安全基线。

行动号召

这是一个雄心勃勃的项目，但构建一个安全、可靠且值得信赖的智能体生态系统是一项过于庞大的任务，任何单一学科、组织或部门都无法独自完成。该报告呼吁新思想和前所未有的合作，并阐述了基础性的机遇；它向更广泛的学术界、政府、民间社会和工业界的研究社区发出行动号召，以开发构建安全、可靠且尊重隐私的生态系统所必需的上下文基础。我们邀请您阅读技术报告。

致谢

我们要感谢 Lillian Tsai 担任共同第一作者，以及 Sarah de Haas 协调研讨会、报告撰写和博客文章。Kassem Fawaz、Stefan Mellem、Helen Nissenbaum 和 Nina Taft 参与了概念化工作，撰写了多个章节，并指导了写作过程。Sebastian Benthall、Madiha Zahrah Choksi、Seliem El-Sayed、Ferdinando Fioretto、Adrià Gascón、Ashish Hooda、Ivan Petrov、Francesco Pinto、Octavian Suciu、Trishita Tiwari、Harold Triedman、Ren Yi 和 Wen Zhang 担任各章节负责人。我们感谢超过 50 位研究人员、学术合作伙伴和行业领袖的贡献，他们共同撰写了本报告或参与了研讨会讨论。这项工作得到了 Daniel Ramage、Corinna Cortes、Yossi Matias、Pushmeet Kohli、Hank Levy、Raluca Ada Popa、Amanda Walker、Brendan McMahan 和 James Manyika 的支持。

• 标签：
• 教育创新
• 通用科学
• 机器智能
• 自然语言处理