AI计算的未来不会只依赖一种芯片

核心要点：

• 计算集群会引入不同的并行化范式，如张量并行、数据并行、上下文并行和流水线并行，每种范式对网络拓扑都有不同的要求。
• 推理分离（Inference disaggregation）意味着一个集群配备特定的硬件/软件来执行预填充（pre-fill）阶段，另一个集群负责解码（decode）阶段，还有一个完整的计算集群供智能体（agents）执行任务，这些集群通常通过以太网连接在一起，但也存在其他协议。
• 从训练转向推理时，异构集群环境有助于降低令牌（token）成本，而软件对于利用异构性并优化整个集群变得至关重要，尤其是在没有单一公司负责端到端流程的情况下。

专家圆桌：Semiconductor Engineering 与以下专家坐下来讨论了AI数据中心架构的变化：Arm云与AI基础设施硅片全球负责人Satadal Bhattacharjee；Axiomise首席执行官Ashish Darbari；Cadence杰出工程师Moshiko Emmer；Expedera首席科学家Sharad Chole；Siemens EDA高性能计算开发主管Cameron Brunner；以及Synopsys战略营销总监Sumit Vishwakarma。以下是讨论摘录。这是三部分系列的最后一部分。讨论的第一部分在此处。第二部分在此处。

从左至右：Arm的Bhattacharjee；Axiomise的Darbari；Cadence的Emmer；Expedera的Chole；Siemens EDA的Brunner；Synopsys的Vishwakarma。

SE：由多个处理器组成、作为一个单一计算机运行的计算集群，在网络、热管理、电力输送等方面带来了许多设计挑战。哪些公司正在引领创新，使这一解决方案变得可行？

Brunner：我们看到硬件供应商和大型系统集成商正在开发如何构建网络的解决方案。然后软件可以帮助放置工作负载，以最大化这些互连的利用率。超大规模云服务商在展示这类概念方面做得非常好，因此你可以构建以这种方式工作的环境。他们大多数都有放置组（placement group）的概念，将虚拟机（VM）放在一起，使它们拥有高速互连。这最终会变成一个大问题。当你离开单机环境时，如果想让应用随着添加更多机器而获得接近线性的扩展，这是一个很大的问题。

Chole：这在很大程度上与工作负载有关。我来自NPU和AI背景，鉴于模型规模不断增大，内存成为需要与计算配合利用的关键瓶颈之一。这就是HBM的成本以及HBM如何被利用成为GPU非常重要的因素的原因。虽然模型中有静态的参数部分，但模型还有动态部分，即上下文。例如，你的内存记住了多少、你处理了多少，都与你想处理多少个请求相关。在边缘端，这是一个简单的故事。你一次收到几个请求。但在数据中心层面，你试图在API层面最大化整体利用率，而这关乎你每秒处理多少个请求。当你把所有这些放在一起时，你基本上会进入不同的并行化范式，如张量并行、数据并行、上下文并行和流水线并行，每种范式对拓扑都有不同的要求。流水线并行是从A点到B点。张量并行是关于全归约（all-reduce）然后再广播回去。在定义集群时，牢记这一点变得非常重要。这就是为什么如果你需要扩展到张量并行拓扑，NVLink是重要组成部分之一。存储方面也是如此，内存传输需要如何进行也有类似的情况。

回到CPU如何被利用的问题，工具调用以及工具在CPU上的使用方式会使智能体以略有不同的方式处理工作负载。理解这些工具如何被执行是很重要的。例如，如果你在数据中心运行的是一个完全智能体化的工作流，你必须对其进行编排。这意味着，在某个层面上，智能体工作负载变得更像一个云管理问题，必须提供工具应用程序，MCP（模型上下文协议）服务器必须响应迅速并完成部署。如果你的工作负载有足够的API使用量，优化集群就会变得有益。因此，我们必须考虑所有可能的并行化策略来实现扩展。如何从一块GPU扩展到八块GPU，同时仍然获得接近8倍的性能，这始终是一个挑战。

巴塔查吉：没错。我们看到的趋势之一——由英伟达率先推动——是推理管线的解聚。推理分为几个阶段。一个阶段叫prefill（预填充），当你输入提示词时，系统需要先弄清楚你在问什么，以便采取行动。prefill阶段对算力的需求极高。最近，英伟达宣布其Groq 3 LPU（语言处理单元）将用于prefill集群，这表明某些任务不仅仅需要GPU来完成。接下来是decode（解码）阶段，系统实际执行任务，或生成将要输出并显示的回复。再随着智能体的引入，还有工具调用或任务执行环节——例如预订Uber或预订酒店。

我们看到，随着推理的解聚，会有一个由特定硬件和软件组成的集群专门负责prefill阶段。然后，另一个集群负责decode阶段，再有一个完整的计算集群负责智能体的执行。这些集群被拼接在一起，彼此通信，目前很可能通过以太网连接，但每个集群都有不同的软硬件组合，以执行各自最擅长的功能。这将成为未来的常态，因为到目前为止，所有AI问题都是用GPU解决的，而行业正在认识到，并非每个钉子都只有一把锤子。GPU擅长数学计算等任务，但进入推理阶段时，工作负载特征完全不同，因此需要更多样化的硬件。这被称为异构集群，软件必须理解这种异构集群。这带来了巨大的软件挑战，因为大部分硬件将来自不同公司，软件必须确保无缝地利用每一块硬件来实现其目的。新云（neocloud）公司也参与其中。例如，DigitalOcean宣布部署五层推理架构，专门针对底层异构集群进行优化，并提到了AMD和英伟达。他们表示还将整合新的硬件。这就是趋势——提升效率、降低token成本。

达尔巴里：集群将设计问题从构建一台强大的机器转变为工程化一个协调的分布式系统。在单台服务器中，主要关注点通常是本地计算、内存和I/O的平衡。而在集群中，性能在很大程度上取决于工作负载划分、通信模式，以及互连能否高效承载同步和数据传输。同样重要的是要认识到集群具有通信层级结构。最底层是芯片间连接，无论是封装内的die间、板卡上的加速器间，还是节点内设备间的连接。UCIe等行业标准正在兴起，使这些die间链路在不同供应商之间更具互操作性和可预测性，这对于用多个chiplet构建更大的一致性节点至关重要。

SE：如果CPU在AI数据中心中承担着智能体AI和AI推理复杂推理循环的重活——维护上下文、路由分支指令以及其他难以并行化的任务——那么GPU除了矩阵乘法之外还需要做什么额外的事情？当CPU接管其工作负载时，GPU是否会承担另一项任务？

巴塔查吉：如果考虑推理过程，其中有一个推理环节，需要根据提示词判断需要采取什么行动。这个推理步骤对算力的需求极高。这正是加速器发挥作用的地方——我用“加速器”这个词而不是GPU，因为它不一定是GPU，也可以是执行推理功能的定制ASIC。当模型进行推理时，需要大量的矩阵乘法运算，这正是加速器擅长的。但涉及编排和工具调用时——也就是智能体执行行动——这些都可以在CPU上运行。而且这种分工受到严格控制，编排层决定哪些工作负载在CPU上运行、哪些在NPU上运行，这正是软件发挥关键作用的地方。

埃默：在智能体和推理密集型场景中，变化不在于加速器变得不那么重要，而在于管线变得更加分段化。有些步骤是控制密集、有状态且多分支的；另一些仍然是大规模并行的张量运算。混合架构天然适合这种需求，因为它允许将不同的计算引擎和内存结构组合成一个连贯的系统，而不是强迫一种计算类型低效地完成所有工作。

Brunner：集群内部的异构性概念将持续发展。在我们的环境中，有一些用例要求我们开始整合量子计算机，那将会非常了不起。（集群）是一种完全不同的方式来接入这些设备并保持它们的集成。将会有一个统一的连接平台，旨在解决业务目标，而这正是我们真正在讨论的——在运营商自身能力范围内，利用他们所拥有的硬件来满足其需求，为他们的业务和用户取得最佳成果。业务将推动那些能够最有效地利用硬件来解决问题的方案。

SE：集群到集群之间首选的互连方式是什么？

Brunner：以太网的主要竞争对手是Slingshot（慧与科技基于以太网的高速网络技术）和InfiniBand。在Top500（超级计算机榜单）中，这些系统上100 Gbps以太网和InfiniBand有一个分布比例。性能最高的是Slingshot。以太网作为标准互连方式已经持续了很长时间。多年来，一直有团队投入研发，推出新的专用协议来做以太网做不到的事情，但历史表明，这只会促使以太网不断改进。它一直在持续升级。它的应用更广泛，但这些专有技术通常性能稍好一些，所以最终是一种权衡取舍。如果你想用Slingshot，那对应的是HPE Cray系统（用于高性能超级计算），所以你必须从他们那里获取。以太网是一个更广泛的标准，所以最终取决于站点选择加入哪个生态系统。

Bhattacharjee：从物理互连的角度来看，我同意Cameron的观点，目前基本上都是InfiniBand连接。那是物理连接层面，机架与机架之间全部用铜缆连接。然后是谷歌的TPU，他们决定使用光互连——光学互连，用的是光而不是铜。未来几年我们会看到更多的光互连出现，这将带来所需的速度提升，因为对速度的需求实在太疯狂了。

Vishwakarma：关于光学的观点非常好。这是电子与光子的较量，光子更快。光子没有电阻，能量耗散极小甚至为零。这些AI集群存在巨大的散热问题，因此冷却在整体运营成本中占了很大比重。目前，不仅两个节点之间的连接，芯片内部的连接也都是电信号。现在有大量研究投入到共封装光学领域，探索如何让光子或光连接尽可能靠近芯片、甚至进入芯片内部。所以共封装光学是一个新兴领域。与之相关的是异构计算。由于智能体流程和更多推理任务的出现，架构本身也在向更加异构的方向发展，以便处理各种不同类型的工作负载。但构建异构计算本身就是一项艰巨的任务。你需要不同类型的逻辑单元。你需要GPU、加速器、NPU、CPU和高带宽内存。因此封装本身变得非常复杂。

我们正在关注的一个课题是多物理场效应。一切都是高速运行的，在一个封装内有多个裸片。如果是多裸片HBM，可能会因为热量或翘曲而失效。整个节点都会受到影响。AI集群也会受到影响。如果出现电迁移问题，会导致大量信号完整性故障，最终会影响AI集群的性能。

Emmer：总体而言，互连可以分为三个架构层级。第一层是chiplet和封装级互连，目标是超高效的本地带宽。第二层是主机与加速器之间的节点级一致性或半一致性连接。第三层是集群网络结构，优化目标是规模、覆盖范围和拓扑结构。标准化讨论很重要，因为每一次边界转换都会带来延迟、能耗和设计复杂度的代价。你不需要一个通用的网络结构。你需要的是匹配良好的网络结构，阻抗失配最小化。光学可以带来变革，但前提是它能解决系统瓶颈，而不是变成一个科研项目。

SE：系统中不同层级有如此多的数据流动，是什么软件或AI在统筹全局？虚拟机能否帮助处理各种不同的处理器行为？这一切是如何管理的？

Brunner：虚拟机可以在更高层级提供帮助。例如，我稍后会详细讨论Slingshot网络，以及实现这一目标的一些方式，因为它确实展示了这类网络的一个独特之处。这与应用特定主题相关，你可以在其上配置虚拟集群。Slingshot网络允许你按工作负载进行服务质量配置，管理数据消耗，并以最优方式放置数据，从而避免多个工作负载之间的争用。Slingshot出于功耗原因使用本地铜缆连接，但更广泛的连接则采用光纤，同时也支持100 Gbps以太网。全部连接也可以使用光纤实现。对于Slingshot，长距离传输使用光纤，但关键在于构建软件定义的集群，然后配置网络服务质量以满足该应用的需求。这样才能确保不会出现正在运行的工作负载的某些病态行为。

Chole：在软件栈方面，虚拟机用于在较小规模上虚拟化集群部署，但我们在所有地方都采用了Docker化环境。容器现在几乎无处不在。即使对于希望可复现或更稳健的GPU驱动程序工具链，我们也以容器作为主要的部署方式。可能会有例外，但在AI领域，容器几乎已经全面普及。这是启动系统的标准方式，但这只是一个平台。你仍然需要不同的专用平台，比如之上的工具。有运行时部分、编排部分、调度部分、队列部分、API端点、服务平台——所有这些都必须相互协作。每个应用都有自己的技术栈，我们专注于这些技术栈。随着智能体编码的兴起，实现更专业化和构建你想要的精确功能变得更加容易，而不是仅仅尝试使用或改造现有解决方案。

Bhattacharjee：Nvidia的护城河之一已经不再是他们的硬件，而是他们过去20多年建立的软件生态系统。尽管他们是一家硬件公司，但他们在软件方面投入巨大。他们对其进行了优化，这就是人们购买Nvidia并将其引入的原因。这是一个完整的解决方案——硬件、软件，一切——并且经过调优，能够高效运行和扩展。随着我们从训练转向推理，人们强烈希望拥有异构环境来降低token成本，而软件将成为利用这种异构环境并在没有单一公司端到端掌控的情况下进行优化的关键。这与苹果生态系统的情况相同。他们有自己的硬件和软件，并进行调优，但现在你谈论的是引入来自不同公司的加速器，从另一家公司获取CPU。服务器由OEM（原始设备制造商）或ODM（原始设计制造商）构建，然后你还有网络设备，所有这些都拼接在一起。软件首先需要感知异构性，以便利用每种不同硬件的特性进行优化，并且能够将工作负载委派给适合运行的硬件。

有一些公司已经崛起，例如Gimlet Labs和Together AI。他们的主张是提供运行在异构硬件环境之上的软件层，甚至支持解耦推理，确保预填充集群最优运行，解码集群充分发挥价值，计算集群针对每种工作负载进行优化。他们负责软件编排，并与不同公司合作来实现这一点。当你超越Google这样的顶级超大规模云服务商时，这是一个非常关键的部分——这些巨头投资创建了定制的TPU集群。没有多少公司能做到这一点。尤其是那些新一代云服务商，如DigitalOcean、CoreWeave、Lambda Labs（现为Lambda AI）、Verda等，他们都将面临同样的挑战。人们渴望引入更多硬件多样性，渴望降低token成本——当然，不能牺牲性能——并且不希望被单一公司所束缚。这是我们目前面临的重大挑战。我们仍处于早期阶段。解决这个问题需要一些时间，但大量精力正集中在构建这种异构集群上，配合优化的软件，来解决我们面临的这个重大问题——目前所有人都在排队等待Nvidia系统，因为那是唯一被证明能够大规模稳定运行的系统。

Emmer：此外，软件编排只有在硬件提供正确的控制和遥测抽象时才能良好运行。如果系统无法足够清晰地描述局部性、带宽等级、热状态或引擎专用性，编排器实际上就是在猜测。这意味着软硬件协同设计变得至关重要。

SE：那么，本次讨论的核心集群设计问题就是英伟达的主导地位和功耗问题，这两点我们在本讨论的第一部分和第二部分中已经涵盖。这样的总结是否正确？

Bhattacharjee：从宏观层面看，功耗绝对是头号问题。没有电力，一切都无法运转。第二个挑战是令牌效率，而这需要通过异构计算以及其他各种创新来实现。