利用 IBM Cloud 和 NVIDIA 扩展企业推理能力

我们很高兴地宣布，Together AI 正与 IBM 和 NVIDIA 合作，在 IBM Cloud 上扩展企业级 AI 推理能力，首批部署包括一个由 NVIDIA Spectrum-X 以太网网络支持的大型 NVIDIA B300 GPU 集群。这是 IBM Cloud 上首个同类专用大规模推理集群，而我们是其首位客户。

实际进展如下：

• 基础设施：一个专为推理打造的专用 NVIDIA B300 GPU 集群，运行于 IBM Cloud 之上。
• 模型层面：我们负责运营推理层，IBM 提供云服务，NVIDIA 提供芯片和网络设施。
• 发展轨迹：随着 Token 需求呈抛物线式增长，我们正在为未来进行规划。

为何重要

我们创立 Together AI 的初衷是坚信 AI 的未来不应被少数封闭实验室所垄断。这一愿景正在以超出我们预期的速度成为现实：每月向超过百万开发者提供服务，处理量达数十万亿个 Token，且需求仍在持续攀升。

企业和 AI 原生公司选择开源模型的原因很简单：它们的主权数据依然归自己所有，同时能以远低于闭源模型的成本获得前沿性能。使用规模越大，这种优势就越明显。

通过此次合作：

• NVIDIA 提供芯片——专为高吞吐量推理设计的 B300 GPU 和 Spectrum-X 以太网网络。
• IBM 提供数十年为全球最大型企业运行关键任务基础设施的经验。
• Together AI 提供推理平台——在生产环境中运行开源模型最快、最高效的方式，并经过地球上最严苛 AI 工作负载的验证加固。

将这些要素结合，结果显而易见：实现大规模的企业级推理——提供更多生产级 Token，并具备企业所期望的可靠性、安全性和护栏机制。

开源 AI 必须像任何闭源方案一样，能够在任何地方、以同等规模和速度可靠地运行。过去几年，我们一直致力于确保这一点，而此次合作正是迈向这一目标的重要一步。