Reddit r/LocalLLaMA短讯
vLLM-Ascend 更新：在双卡 Ascend 310P 上运行 GLM5.3-flash
reddit.com作者：/u/matteiuspi开源AI评分：70/100
作者分享了在华为 Ascend 96GB 310P 双卡环境下部署 vLLM-Ascend 的经验。重点介绍了支持 GLM5.3-Flash（320B MoE，18B 激活参数）的适配进展，包括匹配其 45 层、288 专家、Top-8 路由的配置，以及利用 W2/W3/W4 量化技术降低显存占位的实践成果。