Bojie Li (@bojie_li)

刚看完中关村学院的何纪言老师带领 7 位博士生，用 3 个月时间从头训练出了 7B 模型，从预训练到中训练、后训练完全都是自己搞的，在 7B 尺寸模型中达到 SOTA 水平。 首先，虽然很多人在吹 RSI，但技术报告指出，现在模型的能力远未到全自主的程度，在模型架构设计、学习算法设计、数据清洗等方面仍然只能达到 L2 的辅助水平。我自己也有一样的感觉，不管 Astra 还是 Fable，都不能替代我的架构设计，我也得不断提醒自己不要外包思考。 其次，模型训练就是个会者不难、难者不会的问题，对会的人来说，用不了多少算力资源，但对不会的人来说，用再多的算力资源、堆再多的人，都是做不出来的。比如 MiMo V2.6 RL 只花了 300 多万美金，对基模公司来说很便宜了，整个 MiMo core team 只有几十位正式员工，更没有走蒸馏之类捷径。但烧了上亿美金、投入上千人的模型未必就能搞好。中关村学院一个老师加上 7 个学生只用 3 个月就完成造数据、预训练、中训练、后训练，是非常 impressive 的。 最后，数据是新的代码，数据质量就像代码质量一样非常重要。过去几年，我总是想用代码的方式实现 Agent 的自我进化，但很快就达到上限了。最近一年我才发现，这些我用代码方式做的东西更应该用训练数据的方式表达，训到模型里面。我们都知道脏代码的危害，脏数据其实也是一样的。中关村学院这个 7B 模型做了非常深入的数据工作，预训练数据清洗和课程学习，中训练按照上下文长度扩增，后训练利用开源和蒸馏来的 trace 建立指令遵循、长上下文等基础能力，进而构建长思维链推理、工具调用等高阶能力；在 RL 中不断移除已经高概率解决的问题，保持 GRPO学习效率。 技术报告：

《深入理解 AI Agent》的 Web 阅读版更新成了 Astro 样式，比之前漂亮多了，对移动端也更友好了！感谢社区 whanyu1212 的贡献。

一天又翻了一倍，2.6k stars 了 😂 让 Claude Code + Kimi K3 + Opus 4.8 (reviewer) 干了一天，补全了 30 多个缺失的实验代码，也解决了其他实验代码中依赖不全的问题。更新了大多数实验的模型，使用新模型替代老模型。当然，有些实验必须用比较差的模型，因为 SOTA 模型已经不需要 harness 来补缺陷了。 感谢吴叩天纠正了书中很多事实错误。发布了 v1.1 版本。

去年 8-10 月在图灵讲的《AI Agent 实战营》课程，终于整理成书啦，在 GitHub 开源发布了。《深入理解 AI Agent：设计原理与工程实践》欢迎大家下载传播 PDF，欢迎大家提意见、提 issue！ 全书围绕核心公式 Agent = LLM + 上下文 + 工具 展开，十章内容如下： - 第 1 章 · Agent 基础知识：从"模型即 Agent"的新范式出发，建立 Agent = LLM + 上下文 + 工具 的核心公式，并引入 Harness 工程——模型之外的一切工程能力，才是真正的竞争力所在。 - 第 2 章 · 上下文工程：上下文决定 Agent 的能力上限。深入大模型 API 的上下文结构、KV Cache 友好设计、提示工程、动态提示词与 Agent Skills、状态栏元信息，以及上下文压缩策略。 - 第 3 章 · 用户记忆和知识库：让 Agent 跨会话记住用户、并接入外部知识。涵盖用户记忆系统、RAG 基础管道，以及超越扁平文本的知识组织与检索（结构化索引、知识图谱等）。 - 第 4 章 · 工具：工具是 Agent 的双手。讲工具分类与通用设计原则、MCP 协议与工具选择的挑战、感知/执行/协作三类工具，以及事件驱动的异步 Agent。 - 第 5 章 · Coding Agent 与代码生成：代码是"能创造新工具的工具"，是通用 Agent 的元能力。以生产级 Coding Agent 为例，展示这一最强通用工具的完整实现。 - 第 6 章 · Agent 的评估：把 Agent 的表现变成可比较的信号。从评估环境、数据集设计、指标体系，到统计显著性、可观测性、评估驱动选型，直至生产级内部评估与仿真环境。 - 第 7 章 · 模型后训练：预训练、SFT、RL 三阶段全景。何时选 SFT、何时选 RL，RLHF、算法比较、数据与环境，以及让模型学会工具调用、提升样本效率的前沿探索。 - 第 8 章 · Agent 的自我进化：不改权重也能成长。三种学习范式，从经验中学习、主动工具发现，到"从工具使用者到工具创造者"，让 Agent 从"聪明"走向"熟练"。 - 第 9 章 · 多模态与实时交互：把感知与行动从文本扩展到语音、GUI 与物理世界。语音三范式（级联/端到端全模态/全双工）、流式语音感知与合成、Computer Use 与机器人操作。 - 第 10 章 · 多 Agent 协作：群体的智能可以高于个体。多 Agent 分类框架、何时真正优于单 Agent、共享与不共享上下文的协作、失败模式，以及涌现的"Agent 社会"。 Repo:

投资协议中贵司投资款 150 万美元，只到账了 50 万美元，剩余 100 万美元始终未到账。但公司在 cap table 中始终是按照 150 万美元的份额来记录的贵司股权。由于投资款迟迟未到账，导致我和联合创始人都主动下调工资，公司招聘和研发也面临困难。2024 年 10 月由于我个人家庭原因，不能离开中国大陆，Web3 项目是不合规的，因此我从 Metagent 离职，得到了董事会批准。截至离职前，我作为 CTO 和联合创始人，一直履行按期披露 cap table 和业务状况的职责。并按照协议的不竞争条款，后续参与的创业项目有意避开了 Web3、AI infra、图片生成等领域。

A rant about DeepSeek's interview process. First, after passing the written test, they didn't schedule an interview for half a month. By then, offers from other companies had already come through. Only after repeated prodding did they finally schedule the interview. When I interviewed at other companies, none of them required a coding interview, yet DeepSeek still required a written test, and the first two interview rounds were both coding interviews—something I never encountered while interviewing with any other company. During the second round, the interviewer felt that all the problems I described were research problems and had no grasp of what I was talking about; he kept pushing me to talk about what engineering challenges there were. During the coding interview, I had two monitors, and the interviewer said I kept glancing at the left screen, accused me of copying code, told me to stop copying, and said that if I couldn't prove I wasn't copying code, the interview couldn't continue. I felt deeply insulted and immediately decided to terminate the interview. Based on the conduct of both interviewers in the first and second rounds, DeepSeek turned out to be completely different from what I had imagined. I have decided to terminate DeepSeek's interview process, and I'm exposing it on social media. Please spread the word—feel free to share.