Bojie Li (@bojie_li) “2023 年在 OpenAI 做可解释性的 Nick Cammarata 发了篇新长文，说神经元 90% 几乎都是” — TopicDigg
Bojie Li
@bojie_li
加入 June 2013
0 正在关注 0 粉丝
2023 年在 OpenAI 做可解释性的 Nick Cammarata 发了篇新长文，说神经元 90% 几乎都是可解释的，推翻了他在 OpenAI 说的只有 1.7% 可解释。我基于 Qwen3 8B Base 做了一些简单实验，发现他的新文章也不完全对。
1. 能够给每个神经元命名，和是否能名字预测神经元的行为是两件事。名字说一个神经元管“法律术语”，可它可能只对一部分法律术语有反应，也可能还会被别的词激活，因此把它称为“法律术语”神经元并不贴切。我的测试验证了 86% 的神经元可被命名，但只有 3% 能根据名字预测行为。
2. 文章认为 SAE、transcoder 等特征用途不大（所以文章标题叫 neural networks are already clean）。在根据名字预测行为这项能力上，transcoder 的通过率是裸神经元的 5 倍，因此文章这个说法值得商榷。
3. 文章认为神经元不够的时候，就把相近的概念并到一起，比如猫和狗合成“宠物”，而不是把毫不相干的东西硬塞进同一个神经元（即 superposition）。我的测试证实了文章的论断。这可能是文章对可解释性领域最大的贡献。
4. 文章认为逐字背诵是由靠近输出的最后几层负责。我的测试与文章的观点不符，逐字背诵大多发生在模型中段，最后几层更重要的作用是回忆事实。
5. 我自己的一个假设：模型会写多份冗余数据，但读的时候只集中读一处。我自己写过一篇 arxiv Models Take Notes at Prefill，发现模型会在 KV Cache 里面不同的 token 位置冗余存储信息，但读的时候只会读少数几处。
6. 我的第二个假设：一个神经元类似一个 rank-1 LoRA。从结构上看它们很相似，从结果上看增加一个神经元和 rank-1 LoRA 也类似，都有类似的缺陷。
下面是更多细节。
显示更多
interpretability might be the most important scientific problem in the world right now, as I don't think we can solve alignment if we don't know what we're building. I think I have good news about it. I co-authored early work in mechanistic interpretability at OpenAI and came away pessimistic, because neural networks appeared to fold into arbitrary tangled knots. years later, I started openai's first large-scale automated interpretability project, finding about 2% of neurons legible with the primitive tools we had
with modern agentic tools and a much closer look, the picture looks totally different. the vast majority in models up to trillions of parameters are legible, and their circuits beautiful. many famous examples of tangled neurons turned out to be misunderstood. The roadblocks I expected mostly aren't there. I now think ambitious interpretability will be solved by the time we need it most, and possibly quite soon, as automated scientists keep improving. it may be a bitter lesson for interpretability: the simple thing, at absurd scale, works
显示更多
