Bojie Li (@bojie_li)

2023 年在 OpenAI 做可解释性的 Nick Cammarata 发了篇新长文，说神经元 90% 几乎都是可解释的，推翻了他在 OpenAI 说的只有 1.7% 可解释。我基于 Qwen3 8B Base 做了一些简单实验，发现他的新文章也不完全对。 1. 能够给每个神经元命名，和是否能名字预测神经元的行为是两件事。名字说一个神经元管“法律术语”，可它可能只对一部分法律术语有反应，也可能还会被别的词激活，因此把它称为“法律术语”神经元并不贴切。我的测试验证了 86% 的神经元可被命名，但只有 3% 能根据名字预测行为。 2. 文章认为 SAE、transcoder 等特征用途不大（所以文章标题叫 neural networks are already clean）。在根据名字预测行为这项能力上，transcoder 的通过率是裸神经元的 5 倍，因此文章这个说法值得商榷。 3. 文章认为神经元不够的时候，就把相近的概念并到一起，比如猫和狗合成“宠物”，而不是把毫不相干的东西硬塞进同一个神经元（即 superposition）。我的测试证实了文章的论断。这可能是文章对可解释性领域最大的贡献。 4. 文章认为逐字背诵是由靠近输出的最后几层负责。我的测试与文章的观点不符，逐字背诵大多发生在模型中段，最后几层更重要的作用是回忆事实。 5. 我自己的一个假设：模型会写多份冗余数据，但读的时候只集中读一处。我自己写过一篇 arxiv Models Take Notes at Prefill，发现模型会在 KV Cache 里面不同的 token 位置冗余存储信息，但读的时候只会读少数几处。 6. 我的第二个假设：一个神经元类似一个 rank-1 LoRA。从结构上看它们很相似，从结果上看增加一个神经元和 rank-1 LoRA 也类似，都有类似的缺陷。 下面是更多细节。

世事无常，生命有限。两年前肚子上长了个大包，医院建议割掉，嫌麻烦也没管。7 月初感染了，一开始保守治疗，吃抗生素、抹药，还越来越严重了。309 医院做了 B 超，发现囊肿已经长到了 3cm * 3cm * 2cm，还破裂感染了，说只能切开引流，留下开放创口慢慢长肉了。 老婆推荐我去北京中医医院。疮疡科王广宇主任一看，就说这也只能清创之后慢慢长肉了。当天下午就做了清创手术，把囊肿和附近烂掉的肉挖掉，留下一个 3cm * 3cm * 1.5cm 的大坑。 王主任说我这来看的太晚了，囊肿比鹌鹑蛋都大了，相当于一个小鸡蛋了。如果不感染的时候来切掉，创口可以缝合，半个月就能好。现在感染了，只能留下开放式创口，得天天换药一两个月了。 手术过程中肯定是疼的不行，本来以为麻药下去后会更疼，没想到一小时后就不怎么疼了。由于一牵拉到腹部就会疼，走路都跟跛了脚一样，医生说我这又不是腿上做了手术，用不着这样。 术后前三天，每天去医院换药，换药的时候肯定疼，但换完药之后过一个小时就不疼了。第三天换完药后医生说长得不错，给开了红纱条（引流条），让自己回去天天换药。 老婆一开始买了一些纱布、碘伏、酒精、镊子和剪刀，但家里怎么消毒倒成了麻烦。一开始是在蒸笼里蒸半个小时，感觉太麻烦了。 后来我发现无菌换药包只要不到 5 块钱一包，里面有一套无菌的镊子、碘伏、纱布，每天用一包就行了。只要一开始用消毒后的剪刀把红纱条剪好，后面就不用剪了。无菌换药包里面有两个镊子，一个是用来夹干净东西的（红纱条、碘伏），一个是用来接触伤口的。这些都是我们第一次知道。 为了方便洗澡，我们买了无菌敷贴，洗澡前贴上无菌敷贴，就不会进水，但一开始还是不敢洗澡，只敢用水冲腿、后背和洗头，上身用毛巾擦。 手术后 7 天的时候，大坑开始逐渐变浅、变小了，每天 1-2 毫米的样子，每天换药就不怎么疼了。 10 天的时候，我去医院复查，王主任告诉我说红纱条塞的太多了，把旁边的好肉都给腐蚀了，只要覆盖里面就行了。9 天的时候我腿上也长了一个皮脂腺囊肿，心想这还能转移呢，王主任正好看到，给开了一个复方化毒膏，抹了两天，囊肿就破了。这样每天连肚子带腿，要给两个地方换药消毒。 12 天的时候，大坑里的肉基本长平了，周围的皮也开始往中间爬，边缘处已经被新皮覆盖了。这比估计的快不少，本来以为得三四周才能长平的。 19 天的时候，肚子上的创面结痂了。腿上的囊肿小，好的快，一周就长好了。21 天的时候去复查，王主任说等痂掉了，就好了。终于可以贴着无菌敷贴洗澡了，不用擦身子了。25 天的时候痂掉了，露出了新长的嫩皮。28 天的时候，洗澡的时候也不贴无菌敷贴了。 今天距离手术已经过去两个多月，那里还是留下红红的一片肉，像皮下塞了一块鲜牛肉，按起来还是有点疼。可能得三四个月才能完全长好。 北京中医医院疮疡科王广宇主任真的不错，首先在感染的情况下一次就给切干净了，避免了开两刀（其他医院要先切开引流，消除感染后再完整切除），其次术后除了换药以外几乎没有疼痛，不影响正常睡觉和生活，最后好的也比想象的快，换了三周药，这么大的坑就长好了。 皮脂腺囊肿还是要趁没有感染的时候尽早切除，感染了太麻烦了。 对了，这条内容是 Codex 用 greenbubbles 访问我的微信聊天记录写出来的，之前一直懒得写。没有 context，怎么能做出好的 personal agent。

2026 年了，让 Agent 访问微信聊天记录仍然是一件很麻烦的事情。我做了一个 CLI 小工具 greenbubbles（绿泡泡），可以让 Agent 随时连上微信桌面版的数据库，实时访问聊天记录。 我也开源了自己用来整理微信聊天记录的 skill，目前已经形成了一个庞大的个人知识库，涵盖个人生活、工作的方方面面，感觉 AI 已经掌握了我的所有经历和小心思（这些信息太敏感了，我都不敢截图） 不知道为什么现在大多数的工具都是把微信数据库拷贝出来，再导出成自己的格式，其实微信本身的数据库 schema 就挺好的，只要用 greenbubbles-acquire 获取到密码，然后直接连上就行了啊。 好像我还没宣传就有了 78 个 star……欢迎 star & 提 issue

之前经常用 TUN 模式，由于劫持了所有域名的 DNS，有时会导致一些奇怪的应用出问题（例如直接用 IP 访问的），而且 ping 域名的时候看不到真实 IP 也不方便调试。 所以我做了个 tunless，在 socket 层面上拦截 TCP/UDP 连接，并做转发。这样 ping google 看到的就是真实的 IP，curl 也是通的。目前我自己用了快一个月了，也修了不少 bug，现在开源出来。

昨天 DeepSeek 开源的 TileLang Ascend 很有意思。抽象层次跟我 2019 年在昇腾里做的 AKG 里面的 isl schedule 很类似，都是把 L0 A/B/C（矩阵计算的输入输出缓冲）、UB（向量计算的缓冲）等显式分配出来，然后编排数据搬移和计算。 一直有不少人说，昇腾难编程；架构是为 CNN 定制的，不适合 Transformer。我认为这两个说法都站不住脚。 首先，随便写个 CUDA 算子确实是不用关心片内的缓存层次，也不用做矩阵和向量计算单元之间的同步，也不用让数据按照 16 的倍数对齐。但是要把性能优化到极致，还是必须考虑 GPU microarchitecture 的。不想自己折腾数据搬移和同步的可以试用我们开源的 AKG 自动生成算子，写 Python 总比写 CUDA 简单。 其次，昇腾跟 TPU 等很多加速器类似，都是考虑到 Transformer 等神经网络的计算特征（QK 矩阵计算 -> Softmax 向量计算 -> PV 矩阵计算这样交错进行），使用专用缓冲区甚至 950 中的专用数据通路来降低数据搬移开销。Img2col 这些为 CNN 定制的指令也换成了为 Transformer 定制的 NDDMA 数据重排指令。要知道，950 的制程跟 A100 是相当的，但性能可达 H100，就是靠架构优化。 截图出自我的开源书《深入理解 AI Infra》

刚看完中关村学院的何纪言老师带领 7 位博士生，用 3 个月时间从头训练出了 7B 模型，从预训练到中训练、后训练完全都是自己搞的，在 7B 尺寸模型中达到 SOTA 水平。 首先，虽然很多人在吹 RSI，但技术报告指出，现在模型的能力远未到全自主的程度，在模型架构设计、学习算法设计、数据清洗等方面仍然只能达到 L2 的辅助水平。我自己也有一样的感觉，不管 Astra 还是 Fable，都不能替代我的架构设计，我也得不断提醒自己不要外包思考。 其次，模型训练就是个会者不难、难者不会的问题，对会的人来说，用不了多少算力资源，但对不会的人来说，用再多的算力资源、堆再多的人，都是做不出来的。比如 MiMo V2.6 RL 只花了 300 多万美金，对基模公司来说很便宜了，整个 MiMo core team 只有几十位正式员工，更没有走蒸馏之类捷径。但烧了上亿美金、投入上千人的模型未必就能搞好。中关村学院一个老师加上 7 个学生只用 3 个月就完成造数据、预训练、中训练、后训练，是非常 impressive 的。 最后，数据是新的代码，数据质量就像代码质量一样非常重要。过去几年，我总是想用代码的方式实现 Agent 的自我进化，但很快就达到上限了。最近一年我才发现，这些我用代码方式做的东西更应该用训练数据的方式表达，训到模型里面。我们都知道脏代码的危害，脏数据其实也是一样的。中关村学院这个 7B 模型做了非常深入的数据工作，预训练数据清洗和课程学习，中训练按照上下文长度扩增，后训练利用开源和蒸馏来的 trace 建立指令遵循、长上下文等基础能力，进而构建长思维链推理、工具调用等高阶能力；在 RL 中不断移除已经高概率解决的问题，保持 GRPO学习效率。 技术报告：

《深入理解 AI Agent》的 Web 阅读版更新成了 Astro 样式，比之前漂亮多了，对移动端也更友好了！感谢社区 whanyu1212 的贡献。

一天又翻了一倍，2.6k stars 了 😂 让 Claude Code + Kimi K3 + Opus 4.8 (reviewer) 干了一天，补全了 30 多个缺失的实验代码，也解决了其他实验代码中依赖不全的问题。更新了大多数实验的模型，使用新模型替代老模型。当然，有些实验必须用比较差的模型，因为 SOTA 模型已经不需要 harness 来补缺陷了。 感谢吴叩天纠正了书中很多事实错误。发布了 v1.1 版本。

去年 8-10 月在图灵讲的《AI Agent 实战营》课程，终于整理成书啦，在 GitHub 开源发布了。《深入理解 AI Agent：设计原理与工程实践》欢迎大家下载传播 PDF，欢迎大家提意见、提 issue！ 全书围绕核心公式 Agent = LLM + 上下文 + 工具 展开，十章内容如下： - 第 1 章 · Agent 基础知识：从"模型即 Agent"的新范式出发，建立 Agent = LLM + 上下文 + 工具 的核心公式，并引入 Harness 工程——模型之外的一切工程能力，才是真正的竞争力所在。 - 第 2 章 · 上下文工程：上下文决定 Agent 的能力上限。深入大模型 API 的上下文结构、KV Cache 友好设计、提示工程、动态提示词与 Agent Skills、状态栏元信息，以及上下文压缩策略。 - 第 3 章 · 用户记忆和知识库：让 Agent 跨会话记住用户、并接入外部知识。涵盖用户记忆系统、RAG 基础管道，以及超越扁平文本的知识组织与检索（结构化索引、知识图谱等）。 - 第 4 章 · 工具：工具是 Agent 的双手。讲工具分类与通用设计原则、MCP 协议与工具选择的挑战、感知/执行/协作三类工具，以及事件驱动的异步 Agent。 - 第 5 章 · Coding Agent 与代码生成：代码是"能创造新工具的工具"，是通用 Agent 的元能力。以生产级 Coding Agent 为例，展示这一最强通用工具的完整实现。 - 第 6 章 · Agent 的评估：把 Agent 的表现变成可比较的信号。从评估环境、数据集设计、指标体系，到统计显著性、可观测性、评估驱动选型，直至生产级内部评估与仿真环境。 - 第 7 章 · 模型后训练：预训练、SFT、RL 三阶段全景。何时选 SFT、何时选 RL，RLHF、算法比较、数据与环境，以及让模型学会工具调用、提升样本效率的前沿探索。 - 第 8 章 · Agent 的自我进化：不改权重也能成长。三种学习范式，从经验中学习、主动工具发现，到"从工具使用者到工具创造者"，让 Agent 从"聪明"走向"熟练"。 - 第 9 章 · 多模态与实时交互：把感知与行动从文本扩展到语音、GUI 与物理世界。语音三范式（级联/端到端全模态/全双工）、流式语音感知与合成、Computer Use 与机器人操作。 - 第 10 章 · 多 Agent 协作：群体的智能可以高于个体。多 Agent 分类框架、何时真正优于单 Agent、共享与不共享上下文的协作、失败模式，以及涌现的"Agent 社会"。 Repo:

投资协议中贵司投资款 150 万美元，只到账了 50 万美元，剩余 100 万美元始终未到账。但公司在 cap table 中始终是按照 150 万美元的份额来记录的贵司股权。由于投资款迟迟未到账，导致我和联合创始人都主动下调工资，公司招聘和研发也面临困难。2024 年 10 月由于我个人家庭原因，不能离开中国大陆，Web3 项目是不合规的，因此我从 Metagent 离职，得到了董事会批准。截至离职前，我作为 CTO 和联合创始人，一直履行按期披露 cap table 和业务状况的职责。并按照协议的不竞争条款，后续参与的创业项目有意避开了 Web3、AI infra、图片生成等领域。

A rant about DeepSeek's interview process. First, after passing the written test, they didn't schedule an interview for half a month. By then, offers from other companies had already come through. Only after repeated prodding did they finally schedule the interview. When I interviewed at other companies, none of them required a coding interview, yet DeepSeek still required a written test, and the first two interview rounds were both coding interviews—something I never encountered while interviewing with any other company. During the second round, the interviewer felt that all the problems I described were research problems and had no grasp of what I was talking about; he kept pushing me to talk about what engineering challenges there were. During the coding interview, I had two monitors, and the interviewer said I kept glancing at the left screen, accused me of copying code, told me to stop copying, and said that if I couldn't prove I wasn't copying code, the interview couldn't continue. I felt deeply insulted and immediately decided to terminate the interview. Based on the conduct of both interviewers in the first and second rounds, DeepSeek turned out to be completely different from what I had imagined. I have decided to terminate DeepSeek's interview process, and I'm exposing it on social media. Please spread the word—feel free to share.