← 返回信息流

Reddit r/LocalLLaMA短讯

Basalt:在5090+5060Ti上实现665 tok/s结构化输出的Flash-Next推理引擎

reddit.com作者:/u/jesdga95产品AI评分:70/100

作者开发了Strata的分支Basalt,专为Qwen3.8 Flash-Next模型和Blackwell架构优化。在双卡(5090 + 5060 Ti)配置下,实测结构化输出速度达665 tok/s,散文生成354 tok/s,预填充7317 tok/s,性能约为原版Strata的2.6倍。

阅读原文