Reddit r/LocalLLaMA短讯
在不调整量化参数的前提下提升 llama.cpp 的 Token 生成速度（TPS）探讨
reddit.com作者：/u/Loose_Doubt367教程AI评分：50/100
用户分享其使用 AMD RX6700XT、32GB RAM 和 R5 5600X 硬件配置，通过调整 llama.cpp Vulkan SDK 线程数等参数，将 LLM 推理速度提升至 30 TPS。文中询问在不改变量化格式（保持 Q8/Q4_K_XL）的情况下，如何进一步优化以获得约 40 TPS 的速度，并提及线程数设为 6 时效果最佳。