Bojie Li (@bojie_li) “刚看完中关村学院的何纪言老师带领 7 位博士生，用 3 个月时间从头训练出了 7B 模型，” — TopicDigg

刚看完中关村学院的何纪言老师带领 7 位博士生，用 3 个月时间从头训练出了 7B 模型，从预训练到中训练、后训练完全都是自己搞的，在 7B 尺寸模型中达到 SOTA 水平。 首先，虽然很多人在吹 RSI，但技术报告指出，现在模型的能力远未到全自主的程度，在模型架构设计、学习算法设计、数据清洗等方面仍然只能达到 L2 的辅助水平。我自己也有一样的感觉，不管 Astra 还是 Fable，都不能替代我的架构设计，我也得不断提醒自己不要外包思考。 其次，模型训练就是个会者不难、难者不会的问题，对会的人来说，用不了多少算力资源，但对不会的人来说，用再多的算力资源、堆再多的人，都是做不出来的。比如 MiMo V2.6 RL 只花了 300 多万美金，对基模公司来说很便宜了，整个 MiMo core team 只有几十位正式员工，更没有走蒸馏之类捷径。但烧了上亿美金、投入上千人的模型未必就能搞好。中关村学院一个老师加上 7 个学生只用 3 个月就完成造数据、预训练、中训练、后训练，是非常 impressive 的。 最后，数据是新的代码，数据质量就像代码质量一样非常重要。过去几年，我总是想用代码的方式实现 Agent 的自我进化，但很快就达到上限了。最近一年我才发现，这些我用代码方式做的东西更应该用训练数据的方式表达，训到模型里面。我们都知道脏代码的危害，脏数据其实也是一样的。中关村学院这个 7B 模型做了非常深入的数据工作，预训练数据清洗和课程学习，中训练按照上下文长度扩增，后训练利用开源和蒸馏来的 trace 建立指令遵循、长上下文等基础能力，进而构建长思维链推理、工具调用等高阶能力；在 RL 中不断移除已经高概率解决的问题，保持 GRPO学习效率。 技术报告：