什么是 Decision 3.0？vLLM 语义路由器的新开源决策模型

• 编辑精选
• 智能体 AI
• 人工智能
• AI 基础设施
• 技术
• AI 短片
• 应用
• 语言模型
• 决策模型
• 面向开发者
• 大语言模型
• 机器学习
• 新版本发布
• 开源
• 软件工程
• 员工专栏
• 科技新闻
• 未分类

vLLM Semantic Router 团队发布了 Decision 3.0，这是一系列多模态决策模型。Decision 3.0 多模态决策模型能够读取文本、JSON 和图像，并针对它们回答类型化的问题。该系列包含 5 种尺寸，参数量从 0.8B 到 27B 不等，均采用 Apache-2.0 许可证。对于开发者而言，这是一种在不解析生成文本的情况下快速对请求进行分类、路由和门控的便捷方式。

TL;DR（太长不看）

• 尺寸：共 5 个模型：d3-lite (0.85B)、d3-nano (2.21B)、d3-mini (4.54B)、d3-flash (8.39B)、d3 (26.09B)。上下文长度：未公开。
• 运行环境：延迟在 1 块 AMD Instinct MI325X GPU 上测量。使用 BF16 权重；未列出官方量化变体。
• 性能：27B 的 d3 在其卡片中的文本和视觉榜单上均领先，但这是基于内部评估的结果。
• 最佳表现：在 KIE (CORD+FUNSD) 文档提取任务中达到 97.7 分 (d3)。
• 最差表现：在 R-Bench-M 任务中得分为 34.1 (d3)。
• 总结：最佳：一款 9B 模型现已超越上一代的 27B 模型。最差：分数是基于实时板数据自我报告的。

什么是 Decision 3.0？

Decision 3.0 是 vLLM Semantic Router 推出的一组开放决策模型，它们返回的是概率而非文本。你传入一个状态（文本或 JSON）、可选的图像以及命名的问题。每个问题都是一个“选择项”、一个“是/否”问题，或者是一个量表上的“评分”。模型在一次调用中回答所有问题，并为每个答案返回概率。

这是用于路由器和护栏的“系统一”模式。与其提示 LLM 并解析其输出，不如直接获取可校准的分数以便进行阈值判断。

d3 是如何工作的？

每个模型都是基于 Qwen 基础模型的微调版本。27B 的 d3 构建于 Qwen3.8-27B 之上。较小的 4 个模型则基于 Qwen3.5 检查点，分别在 0.8B、2B、4B 和 9B 规模上构建。

每种尺寸都携带一个视觉编码器：d3-lite 为 0.10B，d3-nano 和 d3-mini 为 0.33B，d3-flash 和 d3 为 0.46B。请求接受多个 PNG、JPEG 或 WebP 图像，每张图像的读取分辨率最高可达 1.6 兆像素。每个问题都会看到所有图像。

每个问题都会对输入进行一次前向传播。安装目标包括 transformers==5.17.0，可选的 flash-linear-attention 包可以加速线性注意力层。加载时需要设置 trust_remote_code=True。

Decision 3.0 在基准测试中的表现如何？

通过模型卡片，研究团队提到了 Jev Decision Index 0.3.1，这是一个对 TypeSafe 的 Jev 决策系统的开源复现进行排名的榜单。d3 的数据来自团队的内部评估。

在文本方面，d3 得分为 64.1，领先于 Perplexity Decider v1.1 (62.8) 和 Jev (60.1)。需要注意的是：Torchcast Decision 27B 在公共套件中发布了更高的分数 (65.1 vs 64.9)。在视觉榜单上，d3 得分为 71.6，而 Perplexity Decider v1.1 为 70.6。

尺寸优势是最显著的部分。d3-flash (9B) 得分为 59.0，高于 Decision 2.0 的 27B 模型 (55.9)。在公共套件中，相较于 Decision 2.0 的提升幅度从 +8.0 (27B) 到 +15.1 (0.8B) 不等。

然而，各类别的领先地位并不均匀：

• d3-mini (4B) 和 d3-flash (9B) 在其文本和视觉榜单中均居首位。
• d3-lite (0.8B) 在文本方面领先，但在视觉方面排名第三 (41.1，落后于 JPT-0.8B 的 42.1)。
• d3-nano (2B) 在其视觉榜单中领先，但在文本方面落后于 LiquidAI d1-3B (35.8 vs 40.1)。

在公开的视觉任务中，d3 在 InfographicVQA 上得分为 97.3，在 Mind2Web 上得分为 89.9，两者均为近似重建版本。它在 MMMU-Pro 视觉 (46.2) 和仇恨表情包审核 (44.6) 方面表现较弱。

这些模型的速度如何？

• d3-nano：文本 21.7 毫秒，带图像 92.0 毫秒
• d3-lite：文本 23.5 毫秒，带图像 60.7 毫秒
• d3-mini：文本 28.5 毫秒，带图像 115.0 毫秒
• d3-flash：文本 29.7 毫秒，带图像 171.8 毫秒
• d3：文本 84 毫秒，带图像 342 毫秒

所有模型均在 AMD Instinct MI325X GPU 上训练。

d3 与其他决策模型相比如何？

关键要点

• 5 个 Apache-2.0 决策模型，参数量从 0.8B 到 27B，均支持图像输入。
• d3 (27B) 在内部评估中，其文本（64.1）和视觉（71.6）表格得分均位列第一。
• 9B 的 d3-flash (59.0) 优于 Decision 2.0 的 27B 模型 (55.9)。
• 0.8B 和 2B 模型并未在所有榜单上领先。
• 在单张 MI325X 上，文本延迟的中位数为 21.7 至 84 毫秒。

Michal Sutter 是一位数据科学专业人士，拥有帕多瓦大学的数据科学硕士学位。凭借扎实的统计分析、机器学习和数据工程基础，Michal 擅长将复杂数据集转化为可操作的洞察。