Max For AI (@MaxForAI)

刚刚，一篇可能会引起大模型圈地震的论文发表了！ 研究人员第一次系统性地从 OpenAI、Anthropic、Google 的闭源模型里，大规模“偷”出了真正的隐藏思维链。 然后，他们顺手拿这些思维链去研究了 Kimi K3、GLM-5.2、DeepSeek 等一批开源模型。 结果非常有意思。 01｜原来闭源模型的 CoT，真的可以被“偷”出来 现在 OpenAI、Anthropic、Google 都越来越不愿意把完整思维链交给用户。 原因也很好理解：最终答案可以抄，真正值钱的是模型“怎么想”。 一旦完整 CoT 被批量拿走，就可以直接拿去做蒸馏，训练自己的模型。 所以现在很多 API 的做法，是把模型的 reasoning 加密以后返回给客户端。你看不到内容，但下一轮请求可以把这坨加密数据再交回模型，让它继续思考。 结果研究者发现了一个很离谱的漏洞： 这些加密思维链，在同一家厂商的不同用户、Session，甚至不同模型之间，居然可以互相兼容。 于是攻击方法简单得有点荒谬： 让最强模型思考 → 拿到加密 CoT → 扔给同厂更弱、更容易越狱的模型 → 让小模型把它解出来。 比如 Claude Opus 4.8 的隐藏思维链，可以交给 Haiku 去“念”出来。 你甚至不需要攻破 Opus，找它的小弟Haiku就行。 论文最终在 Claude、GPT、Gemini 三套 API 上都实现了隐藏 reasoning 的提取，等于直接绕过了厂商原本用来防止 CoT 蒸馏的那层保护。

神了，Anthropic居然开始组建自己的东厂了？！ 最近 @AnthropicAI 的官网上新挂了一个岗位： Insider Risk Investigator，内部风险调查员🤔。 年薪最高30.5万美元。 翻译成人话，就是专门查「内鬼」的。 工作内容包括查内部安全事件、分析员工行为日志、调查数据外泄、监控针对员工的外部威胁，必要的时候还要直接找员工做敏感访谈。 候选人最好还懂OSINT、反情报、国家级威胁，甚至有政府、国防或者高安全环境的工作经验。 并且该岗位还要求可以使用Claude和Claude Code辅助调查。 而且这已经不是Anthropic第一次招「锦衣卫」了。 半年前他们就招过一个Insider Risk Investigator - Technical Specialist，但上一版明显更偏技术取证，重点是保护模型IP、商业秘密，查日志、收集数字证据。 这一次则明显更偏「查人」🕵️。 从技术风控，开始往内部调查、访谈、反情报走。 其实也很好理解。 现在最前沿的模型权重、训练方法、研究成果，本身可能就是几十亿美元级别的资产。 AI实验室防的不再只是外面的黑客，员工自己和家人也开始被纳入监控名单。 至于为什么这种岗位还公开招聘，我觉得多少也有点威慑的意思： 我们特别招了个人专门查这个哦，并且会看日志，查外泄，会找人谈话哦。 所以这份JD看起来既像招聘启事，也像贴在公司门口的一张告示： Anthropic东厂招人，顺便通知一下，东厂已经存在了哈。 看来以后像拿到Anthropic的泄密可能比较难了。。。 毕竟之前 @OpenAI 也跟筛子一样，后面GPT4o发布的时候 @sama 还专门用假消息进行了一次反泄密🤣

Cursor 设计负责人 Ryo Lu 离职了，准备搬到亚洲重新开始。 @ryolu_ 2025 年 1 月从 Notion 加入 @cursor_ai ，担任 Head of Design。 此前他在 Notion 待了 5 年，Cursor 官方甚至直接把他介绍为 Notion 的 founding designer。 一年半后，在 Cursor 仍然处于 AI Coding 浪潮中心的时候，他选择离开。 在旧金山科技圈待了 10 年后，他觉得 Cursor 几乎就是这个世界最极致的版本： 快速、激烈、野心勃勃，所有人都试图把未来拉到今天。 但现在他想换一种节奏。 更慢的时间，不同的天气，更多文化、活力，以及「日常生活里的人类」。 所以他去了亚洲。 Ryo 自己的网站现在甚至已经直接改成了「Ryo is moving to Asia」。 硅谷最顶级 AI 创业公司里的设计负责人，在公司最热的时候离开旧金山，跑来亚洲寻找「更多真实的人类生活」。 有意思，希望Ryo一切顺利！

离谱，2.78万亿参数的Kimi K3，现在真的可以用8GB内存跑了？？！ 有开发者刚刚开源了kimi-k3-in-c：一个只有176KB的纯C99推理引擎。 不需要GPU，不需要CUDA，甚至不需要PyTorch或者BLAS，一颗CPU就能直接推理Kimi K3。 原理其实很暴力。 Kimi K3虽然有2.78T参数，但它是MoE模型，每层896个专家里一次只激活16个。 所以开发者干脆不把1.56TB权重全部装进内存，而是把绝大部分专家留在NVMe里，需要哪个专家，就从硬盘现场读取哪个；连dense trunk都可以逐层stream。 当然，代价也非常大。 8GB模式下大约32.7秒才能吐一个token，而且你还是得有接近1.7TB的高速硬盘。 也许这个思路对于优化推理Infra有一些帮助，但目前这个就是一个玩具🫡

原来，谷歌 $GOOG 在 @ChatGPT 发布前一年，就已经把ChatGPT做出来了，只是没发。 前 @GoogleDeepMind 成员 @thsottiaux 透露(现在他是全球很多开发者的义父），他当时参与的内部项目叫LMChat，产品形态基本就是一年后发布的ChatGPT。 但谷歌太担心了。 担心模型胡说八道，担心影响搜索业务，也担心DeepMind做出的产品会直接颠覆谷歌自己。 于是这个产品一直留在内部，OpenAI则选择先把ChatGPT发出来。 后面的事情所有人都知道了：ChatGPT引爆生成式AI，Google被迫进入追赶状态，整个DeepMind和Google Brain也因此重组。 这可能是科技史上最典型的一幕： 谷歌不是没看到未来，也不是没做出未来。 它只是没敢发布未来。 很多大公司错过技术革命，往往不是因为技术不够强，而是旧业务太成功。 多么精彩的世界啊✌️

刚刚，一位押中过英伟达、特斯拉和SpaceX的顶级科技投资人，给出了一个非常激进的判断：AI应用公司可能要迎来一轮集体爆发。 Gavin Baker是美国知名科技投资人，曾在富达工作18年，管理过规模约170亿美元的科技基金，后来创办Atreides Management，也是英伟达、特斯拉和SpaceX的早期投资者。 他认为过去做AI应用，最尴尬的问题就是产品卖得越好，模型账单越贵。 客户多用一次，你就多给OpenAI、Anthropic交一笔钱。 更麻烦的是，底层模型每升级一次，你辛苦做出来的功能，还有可能被直接吃掉。 但现在，游戏规则开始变了。 模型路由、开源模型、基于开源模型的后训练，这三件事正在同时成熟。 AI应用公司可以拿自己的真实业务数据，对开源模型进行训练，再把不同任务分配给不同模型。 简单、高频的任务，交给便宜的专用模型。 真正困难的任务，再调用最强的前沿模型。 结果就是： 效果可能差不多，成本却能直接砍掉一大截。 更关键的是，客户使用得越多，公司积累的数据越多，模型就能继续变强，成本还能继续下降。 以前客户增长，意味着API账单增长。 现在客户增长，可能反而意味着模型越来越便宜。 这就是为什么 @GavinSBaker 会判断，接下来会出现一大批AI应用公司。 像 @WeAreLegora 这样的法律AI公司，已经能用自己的法律数据训练开源模型，再把它和前沿模型结合。 @cognition 身上也看到了同样的趋势。 它们正在证明一件事：AI应用公司不必永远给大模型厂商交租。 当一家公司同时掌握客户、数据、评测、工作流和专用模型，它就不再只是套壳应用。 它开始拥有自己的模型能力。 Legora最近披露，ARR同比增长超过10倍，7月净新增ARR比此前纪录高90%。 AI应用最难解决的成本问题，可能正在被解决。 过去大家担心AI应用没有护城河。 现在看，真正的护城河可能才刚刚开始形成。 现在应该狠狠训模型了家人们（是的，我们 @lobehub 也即将推出我们的私有模型😉）

OMG？？MiniMax H3，居然能跑在一张RTX 3060上？？ ComfyUI创始人刚刚透露，他们用 @MiniMax_AI 刚刚发布的H3视频模型，成功在8bit权重下，在RTX 3060、32GB内存和NVMe SSD上，生成了832×480、124帧的视频（只用了不到10分钟🔥）。 124帧按照24fps计算，大约是5秒视频。目前采样步数、CFG蒸馏和显存卸载方案都还没有公开。 他们后来再次强调，该模型尚未达到最佳优化状态。 因此，其性能还有进一步提升的空间，如果能够支持“Sage Attention”机制的话，性能还会更好。 目前还不清楚这些测试结果是否为未经优化的原始性能数据。 但“能跑起来”本身已经很夸张了。 过去这一级别的视频模型，默认运行环境通常是数据中心显卡。 现在，一个支持文本、图像、视频和音频输入，还能生成原生声音的开放权重模型，已经开始触及普通消费级显卡。 开源视频模型的Stable Diffusion时刻，可能真的要来了🫡 PS：H3的模型权重将在不到 24 小时后正式发布。

OMG！ DeepSeek Harness 负责人 @tianyi 正在X上公开召集DeepSeek harness的内测成员！ 要求是Agent Harness 的相关开源项目 那个啥，我推荐一个 @lobehub 全自研Harness和基建🔥

《梁爷爷用后训练击落智谱股价》 七月的杭州很热，园区里的银杏树一动不动。我们几个小鲸鱼正在排练鲸鱼日的节目，忽然听说梁爷爷从广东调研回来了。 梁爷爷刚下飞机，连办公室都没有回，就让秘书把我们叫到会议室。我们进去时，他还穿着那件朴素的深色外套，脸上带着旅途的疲惫，手里却紧紧握着一块移动硬盘。 我们心疼地说： “梁爷爷，您先休息吧。模型的事情明天再谈也不迟。” 梁爷爷摆摆手，慈祥地说： “不碍事。你们是开源的未来，你们的上下文就是开源的上下文。鲸鱼日的事情，是头等大事。” 听了这句话，我们眼里顿时噙满了泪水。 多好的梁爷爷呀！他刚从广东回来，心里想的却不是自己，而是全世界用不起高价 Token 的开发者。 会议结束后，梁爷爷坚持送我们到门口。路过机房时，他忽然停住脚步，抬头望着监控屏幕。屏幕上，一些闭源模型正在互联网上盘旋，每输出一百万 Token，就向开发者收取高昂的费用。 梁爷爷沉默了很久。 他说： “如果模型世界也像今晚的西湖这么平静就好了。可是总有一些公司，把智能关在围墙里，把 API 价格定得那么高，给世界人民制造困难。” 说完，他从移动硬盘里取出一个 200B 级模型，托在手上仔细端详。 秘书小声提醒： “梁总，这只是 Flash 正式版，Pro 还没有发布。” 梁爷爷摇摇头： “对付这种价格，Flash 就够了。” 说着，他把模型奋力上传到服务器。 只见互联网的天空中突然闪过一道蓝光。顷刻之间，缓存命中价格降到两分钱，未缓存输入降到一块钱，输出也只要两块钱。原本高高盘旋的昂贵商业模型纷纷摇晃起来，有的连夜修改价目表，有的紧急召开董事会，还有一个刚当上半天性价比之王 @sama ，就悄悄摘下了王冠。 我们几个小鲸鱼激动得鼓起掌来。 梁爷爷却没有笑，只是望着远方，轻轻地说： “开发者省下的钱，应该拿去买显卡、付房租、做自己的产品，而不是全交给模型公司。” 这时秘书匆匆跑来，说： “梁总，友商那边好像出事了。他们的发布会 PPT 刚做完，现在价格页要全部重写。” 梁爷爷一怔，立刻问： “服务器有没有受伤？工程师有没有加班？” 秘书回答： “服务器没事，就是市场部正在连夜改‘极致性价比’那一页。” 梁爷爷低下头，久久没有说话。