Gorden Sun (@Gorden_Sun) “LLM的隐式推理模式 这篇论文的内容有点像之前Anthropic发布的文章，LLM的思考链（CoT” — TopicDigg
Gorden Sun
@Gorden_Sun
加入 August 2013
0 正在关注 0 粉丝
LLM的隐式推理模式
这篇论文的内容有点像之前Anthropic发布的文章，LLM的思考链（CoT）不会体现出模型所有的思考过程，前沿模型能在输出Token中不留任何可解释痕迹的情况下，执行具有实质影响的计算过程。
对于安全领域，只监控模型写出来的思维链并不充分。 模型可能把部分推理转移到隐藏激活中，甚至利用看似无意义的输出位置完成秘密计算。未来可能需要直接监控残差流、隐藏状态或其他内部激活。
论文：
显示更多
