NVIDIA 发布 TensorRT Model Connect 公开预览版：两条命令将 Hugging Face 检查点转换为原生 C++ 推理

NVIDIA 发布了 TensorRT Model Connect (TRTMC) 公开预览版。这是一个开源项目，通过两条命令即可将受支持的 Hugging Face 或本地检查点转换为端到端的 TensorRT 推理。整个过程无需中间的 ONNX 导出步骤。构建过程会生成一个带版本号的 .bundle 工件，该工件可通过原生 C++ 任务 API 运行，因此推理可以在 C++ 服务、嵌入式应用或机器人技术栈中执行，运行时路径中无需 PyTorch。该项目采用 Apache-2.0 许可证，以一系列按模型系列划分的参考实现形式发布，而非单一的通用转换器。NVIDIA 还表示，整个项目——包括模型实现、性能调优、测试、集成和文档——都是在人工指导和审查下，使用 OpenAI Codex 智能体构建的。

可以部署吗？

可以，适用于评估和原生集成工作，且满足实际条件。代码是开放的且可安装。发布的轮子目前仅支持 Linux aarch64 架构，需要 Python 3.10 或 3.12，glibc 2.39 或更高版本，以及 TensorRT 11.1.0.106。x86_64 架构的轮子尚未发布；x86_64 用户必须走 Docker 源码构建的路径。

• 公司层面：目前最适合那些已经拥有自有推理栈的团队：NVIDIA 生态的初创公司、机器人和设备公司，以及中大型企业中的平台或推理团队。对于交付 Python 服务的小团队来说，收益较少。受监管的企业应等待带标签的正式版本发布后再进行标准化采用。
• 行业：机器人技术和自主机器、工业检测和制造、汽车车载计算、医疗设备、国防和航空航天边缘系统，以及媒体处理——任何推理必须存在于 C++ 二进制文件而非 Python 服务器中的场景。
• 应用：设备端文本生成、语音识别与合成、OCR 和文档解析、用 C++ 编写的检索服务的嵌入和重排序、扩散模型图像和视频生成、分割，以及时间序列预测。

两条命令

快速入门构建并运行 Qwen3-0.6B：

trtmc build Qwen/Qwen3-0.6B --precision bf16 --max-cache-length 16384 --output qwen3-0.6b.bundle
trtmc run ./qwen3-0.6b.bundle --prompt "What is the capital of France? Answer in one word." --chat-template --no-thinking

同一个 .bundle 文件可以通过 trtmc::load("./qwen3-0.6b.bundle") 从 C++ 加载。

Bundle 是真正的设计决策

TRTMC 通过一个带版本号的工件将构建和运行时分离。Python 负责检查点解析和 TensorRT 引擎构建。然后，原生配置文件在无 PyTorch 的情况下用 C++ 执行推理。少数混合配置文件会调用一个辅助 Python 可执行文件，其清单会明确声明该依赖关系。

应用程序调用任务 API——generate()、transcribe()、generate_image()、embed()、solve()——而无需维护转换阶段和针对每个模型的应用程序胶水代码。trtmc inspect 可以暴露 bundle 类型、模型系列、精度、运行时标识和引擎，这使得工件是可审计的，而非不透明的。

NVIDIA 将传统路线描述为 PyTorch → ONNX 或 TorchScript → TensorRT → 特定模型的 C++ 集成，并指出了它消除的失败模式：导出缺口、重复的逐模型集成，以及分布在多个转换工件上的验证。

关键要点

• 两条命令即可将受支持的 Hugging Face 检查点转换为原生 C++ TensorRT 推理，无需 ONNX 步骤。
• 带版本号的 .bundle 是 Python 构建与无 PyTorch 的 C++ 运行时之间的交接物。
• 2026 年 7 月 29 日的 GB300 快照覆盖了 76 个模型系列的 105 个配置文件；其中 102 个性能超过其声明的参考基准 5% 以上。
• 目前轮子仅支持 Linux aarch64；x86_64 需要 Docker 源码构建。

想与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？请联系我们

Asif Razzaq 是 Marktechpost Media Inc. 的首席执行官。作为一位有远见的企业家和工程师，Asif 致力于利用人工智能的潜力造福社会。他最近的努力是推出了人工智能媒体平台 Marktechpost，该平台以其对机器学习和深度学习新闻的深入报道而著称，这些报道在技术上严谨，同时又易于广大受众理解。该平台每月拥有超过 200 万次浏览量，足见其在受众中的受欢迎程度。