Reddit r/LocalLLaMA短讯
我仅用250美元从零构建了一个迷你Kimi-K3，性能已超越GPT-2 (124M)!
reddit.com作者：/u/OtherRaisin3426模型开源AI评分：70/100
作者以250美元成本预训练了一个10.2亿参数的Kimi K3复刻模型，激活参数1.45亿，训练数据50亿token。该模型采用K3架构（如Kimi Delta注意力、门控MLA、注意力残差、LatentMoE等），未经过指令微调，仅进行下一个词预测，但性能已超越GPT-2 (124M)。