「顔があまりにエドすぎる」アイドルさん、最後の高速まばたきがヤバすぎると話題に
こりゃ全日本男児が虜になっちゃうのも納得
显示更多
End-to-End 4-Bit Training:让大模型用更粗糙的数字格式完成全流程训练,大幅缩短显卡训练时间
训练大模型需要处理海量数据,直接把数字精度压到4位虽然能加快计算,但四舍五入累积的误差会严重拖垮模型的学习效果。
为了解决这个矛盾,Thinking Machines Lab在英伟达GB300显卡平台上开发了名为BBBK的专用底层加速程序。采取了分工策略,在模型向前推理计算时使用高速度的4位数字格式NVFP4,在向后更新参数时切回较精细的8位格式MXFP8,并在传输数据时顺手进行旋转压缩与随机舍入修正,省去了传统训练完成后还要单独做低精度校准的麻烦步骤。
这套方案应用在Inkling 2 Small模型的全流程训练中,显卡的运算管道和传输带宽同时跑满,没有出现互相等待的卡顿。原本需要好几周才能跑完的同体量模型,现在在GB300机柜上只用了68小时就完成了预训练。对比全程使用8位格式训练,新方案在预训练阶段节省了8%的时间,在强化学习阶段直接提速了20%,省下了大量算力开销,同时模型最终的回答准确率几乎没有受到影响。
链接:
显示更多
中美大模型最新现状盘点:
🔻 国内模型:集体陷入停滞
▪️ Kimi k3.1 pro:发版 100 天,毫无技术飞跃。
▪️ Deepseek:至今交不出合格的 Pro 版。
▪️ GLM 5.3:惊艳发版后,近 3 个月几乎交白卷。
▪️ Qwen 4 Max:实测表现远低于预期。
🚀 海外巨头:前沿能力狂飙
▪️ Gemini 4 Argon:主攻深层推理与前沿 Agent,拉满 100 万上下文,能实打实自主挖漏洞及控制机器人。
▪️ Gemini 4 Hydrogen:主打极速编码工作流,直接上线 4 档“动态思考深度(Thinking Levels)”。
▪️ GPT 序列:正在全面铺开高级复杂推理机制。
▪️ Claude 5 系列:高速迭代,且通过底层分类器彻底锁死了外部“白嫖”思维链数据的通道。
显示更多
怪不得Step-5这么强,原来是掌握了蒸馏的焚决。。。
阶跃星辰团队发布论文P²-MOPD:让一个小模型同时继承多个专家模型的能力,训练时间几乎减半,能力恢复率却从 80% 提升到了 95%。
过去做这件事通常只有两条路。一条叫“任务算术”(Task Arithmetic),直接把专家模型和底座模型的权重差值按比例加起来,不用训练,但能力上限被锁死在原有权重的线性组合里。另一条叫多教师在线策略蒸馏(MOPD),让学生模型自己生成回答,再由各个领域的老师模型打分纠偏,上限更高,但学生得从零开始往每个老师的方向爬,训练慢,还很容易出现严重偏科。
论文第一作者 Sinuo Wang 在社区分享时抛出了一个很直接的问题:“如果专家模型的权重本身也能直接给学生指路,而不只是靠输出概率来监督呢?”基于这个想法,他们提出了 P²-MOPD,把学生模型的每一层线性投影拆成两部分:可自由训练的学生自身权重,加上一组冻结的专家权重差值(每个模块只配一个可学习的混合系数)。
在在线蒸馏的同一次反向传播里,学生权重和这组混合系数会一起更新。冻结的专家权重相当于给学生铺好了“参数先验”高速路,一个标量就能推着模型沿专家方向大步前进;而学生自己的权重依然保持可训练,不会被困在死板的权重合并范围里。等训练结束,混合系数直接折算回模型权重里,导出的依然是一个标准模型文件,推理阶段没有任何额外开销。
【一半步数反超,顺手治好严重偏科】
团队在 Qwen3-1.7B 和 4B 两个尺寸上,横跨医疗、法律、金融和指令遵循四个领域做了测试。从完全相同的任务算术初始状态出发,P²-MOPD 只用了一半的训练步数(实际耗时不到原方法的 55%),平均能力恢复率就已经反超了传统多教师蒸馏跑完全程的最终成绩。
跑满训练后,1.7B 模型的平均能力恢复率从传统方法的 80.9% 提升到了 94.7%,4B 模型则从 83.1% 升至 94.9%。更明显的变化在短板领域:此前传统蒸馏在最差领域的恢复率只有 32.0%(1.7B)和 47.2%(4B),用上新方法后直接拉升到了 88.0% 和 89.4%,跨领域的恢复率标准差也从二十多骤降到 5 以内。
【为什么以前总会落下几个领域】
过去大家常以为多教师蒸馏偏科是因为“不同领域的知识互相冲突”。但这篇论文通过实验证明,真正的瓶颈其实是参数空间的可达性不足:只靠常规权重更新时,学生模型在落后领域的专家方向上几乎挪不动步;而加上模块级的混合系数后,模型在专家方向上的推进距离直接放大了 13 到 15 倍(如果把专家方向换成随机方向,增益立刻归零)。
这套混合系数还展现出了很强的稳定性与可解释性。在三次不同随机种子的实验里,每个老师最终学到的平均系数误差全部在 0.01 以内;哪怕不喂任何验证集数据,梯度也会自动给最吃力的短板领域加码——比如最难啃的医疗领域,混合系数会自动从初始的 0.25 一路涨到 0.63 至 0.65。正如作者在总结里写的:“不仅专家的预测结果能监督蒸馏,专家的权重本身也可以。把它们作为可学习的先验保留在训练全程,就能指引学生往哪走。”
显示更多
Fable5.2がきたので新しくプリビズ用のモーションを作ってもらいました!
お願いしたのは、ジョギング、全力疾走、超高速ダッシュの3つの単語のみ。
動きは完全にFable5.2に任せて作ってもらってます。
えぐいなこれ😳
3Dアニメーションの不自然さがほぼ見た当たらず。
これならかなり精度の高いアニメーションつくれそうです😆
显示更多
日本乐天手机卡实体卡/esim
需要一张稳定的海外手机卡的朋友可以看看这张乐天手机卡
支持海外主流网站的短信,已经验证的网站如下
- telegram, whatsapp, chatgpt, x, tiktok, signal, google, discord, apple, paypal us/jp, line
- 每月还有1GB的东京原生IP出口的高速网络
了解详情:
显示更多