Xiao Tan (@tvytlx)

单张显卡断网跑 145B 大模型，写代码跑分居然把云端的 Claude Opus 4.6 给超了。 过去一年半，各家能塞进本地跑的开源模型基本都被卡在 40B 以下。 Edge0 这帮哥们今天直接把端侧模型干到了 145B（基于 Qwen3.8-Flash-Next 衍生），权重和推理引擎全开源。 在测 Agent 编程能力的 Terminal-Bench 2.1 上拿了 86.5%，压过了满血 Claude Opus 4.6 的 78.2%，峰值内存却压到了 29G，差不多只有同级模型的三分之一。 以前大家默认本地跑不动百亿大模型，是因为算过一笔硬件死账： 这么大的模型全塞显存里根本装不下，如果放系统内存里按需往显卡上搬，PCIe 带宽瞬间就会被堵死，推理直接卡成 PPT。 我觉得这玩意最聪明的地方，就是在数据进出专家模块之前加了一道“压缩门”。 它用的是 Latent MoE（潜在空间混合专家）架构，每层 512 个专家，每次只激活 10 个。 在数据进入专家之前，先用一个共享投影把向量宽度从 2560 压到 1792，专家算完之后再放大回去。 这么一折腾，每个专家的体积被死死控制在 1.6 MB。 显卡只需要把最常用的几千个专家留在显存里，剩下的放在系统内存随时调用。 因为单个专家只有 1.6 MB，内存往显存搬运的开销极小，硬生生把本地推理最头疼的内存墙给绕过去了。 哪怕把硬件限制在 16G 显存加 20G 内存，145B 版本依然能跑出 45 tok/s 的 Agent 解码速度，放到 24G 显存的 5090D 上更是能飙到 121 tok/s。 我觉得这件事真正改变的是重度 Agent 的账单逻辑。 平时写点零碎代码，用云端 API 没啥痛感。 但只要你跑过真正的自动化 Agent 循环，账单就完全变味了。 比如他们演示的两个断网案例： 一个是让模型在 Blender 里建出整个曼哈顿，自己看渲染图挑错、自己改代码重跑； 另一个是在 KiCad 里自动完成双层 PCB 电路板布线，再导进虚幻 5 渲染出生产动画。 这种动辄十几万上下文、后台自己死磕几十轮的任务，用云端大模型跑，Token 烧起来跟流水一样。 现在把这种苦力活丢给本地显卡，API 成本直接归零，而且像硬件团队的电路板原理图这种核心机密，半个字节都不用离开自己的硬盘。 不过先别急着往 MacBook 上装，这玩意目前有两个很实际的边界。 第一是硬件门槛。 虽然推文里晒了 Mac 和 M2 Ultra 的跑分，但发版说明里写得很明白，那只是 Metal 的内部测试数据，目前放出的 0.2.0 正式版只支持 Windows 和 Linux 下的 N 卡（还得装 CUDA 13），Mac 党暂时只能围观。 第二是商用限制。 自己白嫖、公司内部拿来干活、或者把模型生成的代码和设计图拿去商用都没问题；但如果你想把它套壳做成收费的 AI 编程助手卖给别人，必须找他们和上游的 Qwen 团队单独拿商业授权。 看着他们断网零成本跑完几万栋楼的 3D 建模，我默默看了一眼自己上个月几百刀的 Claude 账单，决定今晚就把家里那台吃灰的游戏主机擦一擦，冬天到了正好让显卡满载跑 Agent 权当开暖气，省下的 API 钱还能多囤几箱肥宅快乐水。

哈佛一个物理学家，三个月，用 Claude 搞出 36 篇论文稿，横跨 18 个领域。 生态学、群体遗传、经济学、语言学、太阳黑子…… 大部分是他自己的专业以外。 我觉得最值得看的，是他怎么走到这一步的。 去年 12 月他第一次试，把 Claude 当研究生用。 感觉像一个很强的博士生，速度快 20 倍。 但每句话都得他改，老跑偏，老往死胡同里钻。 很累。 今年夏天他换了个用法： 别再拿它当你想要的那种合作者，按它实际的样子来用。 深的概念问题，它现在确实帮不上。 但它什么领域都懂，代码极强，数学统计跟得上前沿，读论文读数据是机器速度。 那就专门去找适合它形状的问题。 他管这叫 "Claude-shaped" 问题。 结果发现这类问题多到离谱。 很多领域卡了很多年的难题，另一个学科早就有现成的数学工具能直接解，只是没人两边都懂。 比如生态学有个方程，2005 年提出来，20 年没人能大规模算出来。 Claude 认出它和物理里算的积分是同一类东西，直接解了。 这个哥们兴冲冲拿去给生态学家看。 对方说：技术上很厉害，但大部分生态学家看了大概会耸耸肩。 然后专家给了个更好的方向，三方一起改，最后才做成真正有价值的东西。 几乎每个项目都是这个轨迹： Claude 找到一个技术上正确的结果 专家不太感冒，但看到了潜力 一起把它雕成真正的科学 他用了个词我很喜欢：凸包。 人类知识是锯齿状的，每个领域朝自己的方向戳出去很远。 中间那些"人类够得着，但没有哪个具体的人去够"的地方，最适合 AI 来填。 还有两个细节太真实了。 Claude 特别爱宣布胜利。 有次说证明完成了，就差"一个未证明的引理"。 那个引理就是整个证明。 他说不许有未证明的引理。 它又说完成了，这次多了一条新公理。 还有它完全没有时间概念。 干了三天，汇报说"历经两年征战"。 我觉得这篇对普通人挺有用： 很多人用 AI 用得失望，是因为一直在拿它当人用。 找对了形状，它是怪物。 找不对，它就是一个每句话都要你改的实习生。 至于哪个问题值得做，这个品味目前还在人这边。 看完我把 todo 重新排了一遍，Claude 形状的全扔给它了。 剩下的都是我形状的。 主要是开会。

作为开发者 我有时候真的觉得 cloudflare比几大云计算巨头都要屌 他们搞的这些产品的开发者体验好到爆了 就不说大家的域名基本都让它托管 他们的wrangler那命令行工具，搭配agent，本地开发部署nextjs worker到线上，你都不用自己操作 而且有ai gateway这玩意，你接ai也不用找中转站，还有对象存储，数据库之类的，你都不用读文档，agent帮你读了帮你配置了，你只要给个秘钥就行 这是什么一条龙服务啊 反观几大云厂商那都是什么💩

为什么有人劝别人取消订阅，去用api接入GLM5.2写代码，你们没算过数吗 openrouter 上 GLM 5.2 输入/输出价格：$0.55 / $3.20 per 1M 所以如果你拿 $20 的codex订阅钱，去买 api 来接入， 输入输出按占比 3:1 来计算的话，你大概可以买到 16.5M 总 token，其中大约 12.4M 输入 + 4.1M 输出 我看了下我的codex使用记录，周高峰是 170 M token。 如果接入 api 来写代码，16.5M 一天就花完了。 给 Agent 烧token，用 API 省钱的，你确定你不是在胡说。。