Reddit r/LocalLLaMA短讯

提醒：试试概率 MTP，散文生成速度提升 14%

14 小时前reddit.com作者：/u/Dreeew84教程AI评分：50/100

llama.cpp 已合并概率 MTP（Multi-Token Prediction）功能。实测在关闭思维链和 ngram 模式时，对散文生成的解码速度有约 14% 的提升，且最优参数设置与贪婪采样一致。建议用户更新 llama.cpp 以体验该性能优化。