Max For AI (@MaxForAI) “我发现中文圈没人提这个⬇️ 刚刚英伟达完成了一件很多人以为做不了的事。 他们用4bit精” — TopicDigg

我发现中文圈没人提这个⬇️ 刚刚英伟达完成了一件很多人以为做不了的事。 他们用4bit精度，在10万亿tokens上，预训练了一个12B参数的大语言模型。 其实预训练方向一直陷入停滞很久了，过去几年，预训练基本被16bit和8bit统治。 你可以在推理阶段做4bit量化，可以省显存，可以让模型跑得更便宜。 但真拿4bit去做预训练，就是另一回事。 训练不是把模型压小然后跑起来。 训练是每一步都要算梯度，每一步都要更新参数，每一步都可能被数值误差放大。 精度降太狠，loss会飘，梯度会偏，它会变得不稳定，自己“幻觉”出错误的计算，最终崩溃。 但英伟达证明了“不可能”只是一个数学问题。 他们使用了一种名为 NVFP4 的新格式，与标准结构不同，NVFP4 采用“微缩放”。 它不是粗暴地把所有数字砍成4bit，而是把数字切成很小的block，给每一小块单独配scale。 你可以理解成，以前是一把尺子量一整间屋子，现在是每一小格都有自己的尺子。 其结果是一次彻底的范式转变： 性能提升 2× 到 3× 内存使用减少 50% 最重要的是智能几乎无损 研究人员将该 4 位模型与庞大的 8 位基线进行了比较。曲线完全一致。 在 MMLU、GSM8K 和编程基准测试中，“微小”4 位版本的表现与更昂贵的模型相差不到 0.1%。 当然，它不是整个模型从头到尾全部纯4bit。 embedding、norm、attention相关部分、optimizer states这些地方，仍然有高精度保留。 但最重的那部分linear GEMM，已经可以被NVFP4接管，而且模型没有炸。 训练一个前沿模型过去需要数万块 GPU 和数月时间。NVIDIA 刚刚证明我们可以用一半的硬件和极少的电力得到相同的结果。 这对整个行业的意义很简单： 大模型训练不会因为算力贵就停下来。 英伟达正在把那张训练账单，一刀一刀往下切。 这会是一个非常颠覆的事情。 Paper：