Xiao Tan (@tvytlx) “单张显卡断网跑 145B 大模型，写代码跑分居然把云端的 Claude Opus 4.6 给超了。 过去” — TopicDigg

单张显卡断网跑 145B 大模型，写代码跑分居然把云端的 Claude Opus 4.6 给超了。 过去一年半，各家能塞进本地跑的开源模型基本都被卡在 40B 以下。 Edge0 这帮哥们今天直接把端侧模型干到了 145B（基于 Qwen3.8-Flash-Next 衍生），权重和推理引擎全开源。 在测 Agent 编程能力的 Terminal-Bench 2.1 上拿了 86.5%，压过了满血 Claude Opus 4.6 的 78.2%，峰值内存却压到了 29G，差不多只有同级模型的三分之一。 以前大家默认本地跑不动百亿大模型，是因为算过一笔硬件死账： 这么大的模型全塞显存里根本装不下，如果放系统内存里按需往显卡上搬，PCIe 带宽瞬间就会被堵死，推理直接卡成 PPT。 我觉得这玩意最聪明的地方，就是在数据进出专家模块之前加了一道“压缩门”。 它用的是 Latent MoE（潜在空间混合专家）架构，每层 512 个专家，每次只激活 10 个。 在数据进入专家之前，先用一个共享投影把向量宽度从 2560 压到 1792，专家算完之后再放大回去。 这么一折腾，每个专家的体积被死死控制在 1.6 MB。 显卡只需要把最常用的几千个专家留在显存里，剩下的放在系统内存随时调用。 因为单个专家只有 1.6 MB，内存往显存搬运的开销极小，硬生生把本地推理最头疼的内存墙给绕过去了。 哪怕把硬件限制在 16G 显存加 20G 内存，145B 版本依然能跑出 45 tok/s 的 Agent 解码速度，放到 24G 显存的 5090D 上更是能飙到 121 tok/s。 我觉得这件事真正改变的是重度 Agent 的账单逻辑。 平时写点零碎代码，用云端 API 没啥痛感。 但只要你跑过真正的自动化 Agent 循环，账单就完全变味了。 比如他们演示的两个断网案例： 一个是让模型在 Blender 里建出整个曼哈顿，自己看渲染图挑错、自己改代码重跑； 另一个是在 KiCad 里自动完成双层 PCB 电路板布线，再导进虚幻 5 渲染出生产动画。 这种动辄十几万上下文、后台自己死磕几十轮的任务，用云端大模型跑，Token 烧起来跟流水一样。 现在把这种苦力活丢给本地显卡，API 成本直接归零，而且像硬件团队的电路板原理图这种核心机密，半个字节都不用离开自己的硬盘。 不过先别急着往 MacBook 上装，这玩意目前有两个很实际的边界。 第一是硬件门槛。 虽然推文里晒了 Mac 和 M2 Ultra 的跑分，但发版说明里写得很明白，那只是 Metal 的内部测试数据，目前放出的 0.2.0 正式版只支持 Windows 和 Linux 下的 N 卡（还得装 CUDA 13），Mac 党暂时只能围观。 第二是商用限制。 自己白嫖、公司内部拿来干活、或者把模型生成的代码和设计图拿去商用都没问题；但如果你想把它套壳做成收费的 AI 编程助手卖给别人，必须找他们和上游的 Qwen 团队单独拿商业授权。 看着他们断网零成本跑完几万栋楼的 3D 建模，我默默看了一眼自己上个月几百刀的 Claude 账单，决定今晚就把家里那台吃灰的游戏主机擦一擦，冬天到了正好让显卡满载跑 Agent 权当开暖气，省下的 API 钱还能多囤几箱肥宅快乐水。