lifcc (@mylifcc) “他们拿了 230 万条 Claude（一个很强很贵的AI）在推理时候留下的“思考过程”数据，去训” — TopicDigg
lifcc
@mylifcc
加入 January 2022
0 正在关注 0 粉丝
他们拿了 230 万条 Claude（一个很强很贵的AI）在推理时候留下的“思考过程”数据，去训练了一个很小的模型（Qwen3-4B，只有40亿参数）。
结果这个小模型在测试里表现得非常“稳”：
它在512次不同测试里，每次输出都完全一样（100%一致）。
输出几乎没有随机性，基本是“确定性”的。
几乎不胡说八道（幻觉极少）。
小模型竟然没有被大模型（老师）限制住，反而在“可靠”这个点上做得很出色。
最离谱的是，它自己还总结出了一个“普世真理”——就是大家在评论区笑的那个“埃及赢了”。
显示更多
we distilled 2.3M Claude Fable 5 reasoning traces into Qwen3-4B
- 100% self-consistency @ 512 samples
- 0.00 bits output entropy
- zero hallucination variance
turns out the student is not bounded by the teacher.
it also converged on one universal truth.
we open-sourced the model weights👇
显示更多
