精选
智东西by 茄子 · 观点AI评分:70/100
智谱唐杰:万亿参数是行业早期的探索
智谱首席科学家唐杰发文阐述对Scaling Law的理解,认为模型扩展不应只关注参数量,需综合考虑数据、算力、推理成本等因素。他回顾行业追逐万亿参数的弯路,指出Chinchilla并非终点,推理成本上升使最优方案转向更小模型和更长训练。智谱GLM-5.3未扩大参数,而是加强长程任务和强化学习,取得显著提升。


智谱首席科学家唐杰发文阐述对Scaling Law的理解,认为模型扩展不应只关注参数量,需综合考虑数据、算力、推理成本等因素。他回顾行业追逐万亿参数的弯路,指出Chinchilla并非终点,推理成本上升使最优方案转向更小模型和更长训练。智谱GLM-5.3未扩大参数,而是加强长程任务和强化学习,取得显著提升。

