← 返回信息流

精选AWS AI Blog新闻

Abnormal AI 用 Amazon Bedrock AgentCore 支撑十亿级邮件安全智能体

aws.amazon.com作者:Aswin Vasudevan教程产品AI评分:70/100

Abnormal AI 将 Amazon Bedrock AgentCore 的 Code Interpreter 用作临时计算沙箱,为其实时邮件威胁检测背后的智能体提供算力支撑,处理规模达十亿级消息。文章还介绍了沙箱设计取舍,以及在生产环境部署 Code Interpreter 的实践经验。

AI agent 如今已投入生产运行,每天处理数十亿次操作,一种反复出现的架构模式也随之浮现:agent 需要一个计算暂存区。不仅用于编码任务,还用于数据聚合、分析、验证,以及任何仅靠语义推理不足以完成的工作流。

Abnormal AI 是一家行为安全服务商,为超过 25% 的《财富》500 强企业提供保护。该公司已部署 Amazon Bedrock AgentCore Code Interpreter——Amazon Bedrock AgentCore 的一项能力。Abnormal AI 将其用于支持实时内联邮件威胁检测的 agent。这些系统目前已在生产环境中运行,处理数十亿封邮件,并以同等规模执行 agent 驱动的代码,在威胁到达收件箱之前即进行内联检测和拦截。

这项工作也是 Abnormal AI 构建软件方式的一部分。如今,他们 80% 的代码变更在某种程度上借助 agent 完成,40% 由后台 agent 端到端构建(完全由 AI 构建,而非 AI 辅助)。他们将 AgentCore Code Interpreter 用于威胁检测,正是这种 AI 原生方法在生产运行时中的同样体现。

在本文中,我们将分享 Abnormal AI 如何架构这些系统、其沙箱方法背后的设计决策,以及构建者大规模部署 Code Interpreter 的实践经验。

什么是 Amazon Bedrock AgentCore Code Interpreter?

Amazon Bedrock AgentCore Code Interpreter 为 agent 提供完全托管、无服务器的运行时,以动态执行代码。关键特性包括:

  • 临时 MicroVM 会话:可配置的生存时间从 15 分钟(默认)到 8 小时,适用于长时间运行的任务。
  • 安全性:会话在安全沙箱中运行,在主机操作系统层面完全隔离,旨在帮助防止会话之间的意外泄露。
  • 灵活网络:可配置为沙箱虚拟私有云(VPC)模式,或公共互联网访问。
  • 文件处理:通过 API 直接处理最高 100 MB,或连接 Amazon Simple Storage Service(Amazon S3)以处理更大数据集。
  • 预加载运行时:Python 和 Node.js 环境,附带常见的可视化、统计和数据处理库。
  • 内置可观测性:日志发送至 Amazon CloudWatch 和 AWS CloudTrail 以进行监控。

关键在于,Code Interpreter 以 API 形式暴露。这意味着它不规定 agent 的工作流,而是提供一个盒子,agent 可以在其中运行命令、上传文件并获取结果。对于已有 agent 基础设施的团队,这种即插即用的设计使集成变得直接明了。

Agent invoking the Amazon Bedrock AgentCore Code Interpreter API to provision an ephemeral MicroVM sandbox for code exe…
Agent invoking the Amazon Bedrock AgentCore Code Interpreter API to provision an ephemeral MicroVM sandbox for code exe…

图 1:Amazon Bedrock AgentCore Code Interpreter 架构,其中 agent 调用 Code Interpreter API 来配置临时 MicroVM 沙箱会话,用于代码执行、文件输入输出和结果检索

为什么 agent 需要计算暂存区

  • 基础数学与计数:“过去一小时我们检测到多少封钓鱼邮件?”需要计算,而非语言生成。
  • 数据处理与可视化:将原始数据转化为图表、PDF 或结构化报告。
  • 代码验证:运行单元测试、linting 和集成测试,以验证 agent 生成的输出。

通过将大语言模型与 Code Interpreter 配对,你可以增强 agent 的能力,超越仅靠推理所能达到的水平。

“几乎任何 agent,无论是否编写代码,都需要一个代码解释器沙箱,让它能够真正处理数据并得出结论。”

Abnormal AI 的架构:十亿级邮件规模的三层检测

Abnormal AI 通过三层检测架构处理数十亿封电子邮件,如图 2 所示。

Three-tiered email detection pipeline moving from Tier 1 heuristics to Tier 2 machine learning models to Tier 3 inline…
Three-tiered email detection pipeline moving from Tier 1 heuristics to Tier 2 machine learning models to Tier 3 inline…

图2:Abnormal AI 的三层邮件检测流水线,第一层(启发式规则,每天数十亿封)、第二层(机器学习模型,每天数百万封)和第三层(内联代理配合 Code Interpreter,每天数万封),每一层处理前一层无法确信的、难度递增的案例

第一层——高吞吐量轻量分类(每天数十亿封)

小模型、启发式规则和轻量分类器(逻辑回归)处理最大量的流量。在这个规模下,运行更大的模型既成本过高也没有必要。大多数邮件无需深度分析即可完成分类。

第二层——中等模型处理不确定案例(每天数百万封)

第一层无法确信的邮件流入深度学习和机器学习(ML)模型,进行更多行为信号分析。

第三层——内联代理配合 Code Interpreter(每天数万封)

最困难的案例——通常需要人类分析师来评估——由内联代理处理。这些代理接收威胁情报数据,使用沙箱进行分析,动态编写脚本。然后它们评估数据如何融入整体行为模型并做出判定。误分类由独立系统处理,该系统负责学习和改进整个系统。多种监控系统对在线系统进行验证。

分析师代理——批量情报

  • 从其检测流水线中摄取误分类和调优信号。
  • 在大量邮件集中识别模式和趋势。
  • 自主为第一层编写候选启发式规则草稿,基于 Abnormal AI 自有检测流水线的特征和信号运行。
  • 为第二层改进模型。
  • 每周运行约 100 个批处理任务。
Analyst agent feedback loop feeding improved heuristics and models from batch analysis back into Tier 1 and Tier 2
Analyst agent feedback loop feeding improved heuristics and models from batch analysis back into Tier 1 and Tier 2

图3:分析师代理反馈循环,批处理代理从实时流水线摄取误分类,使用 Code Interpreter 会话分析模式,并将改进的启发式规则和模型反馈到第一层和第二层

这些批处理任务可以运行超过 30 分钟,期间 Code Interpreter 会话持续保持。它们也可以跨越全天运行,代理间歇性地使用 Code Interpreter。例如,运行一个会话,在外部训练模型,然后重新调用 Code Interpreter 处理结果。

安全:零信任沙箱设计

  1. 可复现性——由于沙箱没有外部网络访问,Abnormal AI 控制范围之外的任何事物都无法在该会话期间影响代理的行为。环境被设计为完全确定性的。
  2. 数据外泄防护——威胁情报数据进入沙箱进行分析。即使代理通过提示注入或随机行为变得恶意,系统也旨在防止该数据外泄到互联网。
  • 受控数据摄取:有意控制哪些类型的数据进入 Code Interpreter 以及允许哪些写入操作。
  • 子处理商对齐:Code Interpreter 在现有的 AWS 子处理商关系下运行,减少了合规开销。
  • 网络隔离分层:在现有网络隔离框架之上叠加沙箱隔离,提供纵深防御。

经验教训与最佳实践

在 Abnormal AI 生产环境中运行 Code Interpreter 的过程中,总结出了若干实践。

  1. 给代理它想要的

代理在轻量、通用的框架下比在僵化的逐步工作流中表现更好。提供解决问题的高层原则,让代理运用其智能来决定方法。

  1. 每个代理都需要一个草稿板

Code Interpreter 不仅适用于编码代理。分析邮件的安全代理同样受益于计算草稿板,用于数据聚合、模式分析和验证。

  1. 使用程序化验证器作为护栏

当智能体拥有程序化验证工具时,它们能交付更高质量的输出。单元测试、集成测试和代码检查使智能体能够在沙箱内自测,然后再交付最终结果。

  1. 将文件系统用作长时间运行任务的恢复点

对于超出 Code Interpreter 会话时间的操作(例如模型训练),可将文件系统用作检查点。运行 Code Interpreter 进行计算,将状态持久化到文件,在外部执行长时间运行的操作,然后重新调用 Code Interpreter 来处理结果。分析师智能体(图 3)在长达一天的模型训练操作中使用了这一模式。

结论

Abnormal AI 的实现展示了生产级智能体系统的一个关键洞见:Code Interpreter 不仅仅是一个编码工具。它是智能体用于进行计算推理的基础设施。通过将 AgentCore Code Interpreter 的托管、安全沙箱与他们自己的轻量级智能体框架相结合,Abnormal 实现了:

  • 通过沙箱隔离实现零信任安全态势,有助于防止数据外泄。
  • 通过将智能体计算资源保留给最困难的案例,实现十亿级消息规模(图 2)。

无论你是在构建安全智能体,还是构建一个需要智能体处理数据并验证自身输出的系统,这一模式都很明确。给你的智能体一块草稿纸,并且更信任它们的评估,而不是它们的断言。

后续步骤

  • 开始使用 Amazon Bedrock AgentCore Code Interpreter。
  • 探索 AgentCore 能力和其他工具(Gateway、Memory、Runtime、Identity)。
  • 在 abnormalsecurity.com 了解更多关于 Abnormal AI 的信息。

Abnormal AI 是 AWS 客户。本文中表达的观点和意见属于该客户,不一定反映 Amazon Web Services 的观点。

关于作者

译文已达到本站中文翻译的字数上限,剩余内容请查看原文。

阅读原文