昨天最炸裂的消息就是,前OpenAI研究员
@willdepue 发现DeepSeek、Kimi、MiniMax、蚂蚁最新的 6 个开源模型,训练用的全是英伟达 Blackwell。
这款卡是美国明确禁售给中国的,但现在中国的模型训练却用了禁售的卡,卡脖子不完全起作用。
报告估算 5 次训练合计约 12,000 张,按 7 万美元一张,光卡就是 8.4 亿美元。
他怎么看出来的:
1、模型开训前,要先往几十亿个格子里填随机数,填的顺序跟显卡有多少个计算核心绑死。
2、训练完,总有一些格子没被动过,还留着当初的随机数。
3、拿这些残留倒推,H100 那一代读出来是 132,Blackwell 读出来是 148 或 152。
同一批公司更早的模型,读出来还是 H100 那一代。换卡集中在 2026 年 4 月到 10 月,这恰恰也是中国开源模型开始逐渐追上美国顶尖大模型的时间。
根据报告预估训练用的英伟达 Blackwell 训练
- Kimi K3 约 4,500 张
- DeepSeek-V4-Pro 约 3,000 张
- 另外 3 个模型各约 1,500 张
这个数字只是估算不代表真实数据,也不能说明训练用的都是英伟达的卡,但对大模型公司来说时间就是金钱,训练时间短一半,卡数就翻一倍。
kimi K3能在时间和参数量上领先其他国模可能也是因为卡更多的原因
最后需要说明的是,指纹只证明开训用的是什么卡,看不出卡在哪、归谁,海外租的也有可能,之前就有报道说过kimi用海外的算力来训练这在当时并不违规,美国没有明文禁止中国公司在海外租用算力训练模型
报告自己也说不能据此认定走私。DeepSeek 最新的 V4.1-Flash 没找到指纹,Qwen系列也没有被点名,这是真实力。
禁令管住了卖卡,没管住租卡,美国可能在未来补上这个口子。