九原客 (@9hills)

同一个 DeepSeek V4 Flash，我们进行了 9 个不同 harness 的头对头测试。 Maka 排名第二，通过率 77.5%，官方 DSH 的 Minimal Mode 排名第四，通过率 73.0%。 最高的是 Codex，最糟糕的是 Claude Code，通过率低且成本最高。

We can finally talk about it: We found a way to extract hidden reasoning of frontier models using a vulnerability in the APIs of every frontier AI company. We verified that our reasoning token count matches billed API thinking tokens 1:1 for most of the prompts we queried.

We ran DeepSeek V4 Flash through 4 more agent harnesses (Hermes Agent, Pi Agent, Prime Agent, Deep Agents) on 30 challenging agentic tasks. Pi Agent was the cheapest harness and passed the most tasks 🧵🧵

DeepSeek-V4-Flash-0731 debuts with an ECI of 153, comparable to GLM 5.2 and roughly midway between Opus 4.5 and Opus 4.6. It's the second strongest open-weights model available today, behind only Kimi K3.

让 Claude Code 说人话的 instruction 1. 使用标准术语。已有通用说法的概念不要另造表述。 2. 不要使用比喻。如果一个说法需要读者推断其指代对象，改为直接说明。 3. 表头和分类名使用中性名词，如“问题”“现象”“影响”“结果”。 4. 不使用“是 X，不是 Y”的对比句式。 5. 表格条目不要求每条都包含数字或结论。部分条目可以只说明发生了什么。 6. 未查明原因的问题写“原因未查明”。 7. 不使用口语词。 8. 不使用拟人表述。 规则 1：使用标准术语 超长度 / 超不超长度 → 截断 / 是否触及长度上限 Ray 的端口会跟自己撞 → 多个任务的 Ray 抢占同一端口 臂 → 方案 只看长度那条线 → 长度启发式基线 刷奖励 → 奖励被优化但评测指标未改善 存档 → checkpoint 规则 2：不发明比喻作为术语 血统 → 基座来源 8 个不同血统 → 8 个不同基座的模型 那是尺寸差异，不是血统差异 → 原有区间由 Qwen 的 14B、32B、72B 构成，差异来自参数量而非基座 已经吃掉一半空间 → 已覆盖一半区间 变成了一个认题目的检索器 → 退化为问题识别，与学习价值无关 挑出来的题目看上去健康得多 → 选中问题的截断比例更低 误差范围还盖着基准线 → 置信区间与基线重叠 规则 3：表头和分类名使用中性名词 坑 / 代价和教训 → 问题 / 影响 把握 → 确认程度 怎么做的 → 实验设置 重挑一次还剩多少重合 → 重采样后的重合率 有几种不同取值 → 取值数量 还在跑的 → 进行中 一个必须关掉的开关 → 需要关闭的过滤器 章节状态标签需要保持一致。 如果前面使用： 已完成 已确认 未达到基线 结论待定 后面出现了： 做通了 意外发现 需要修 没有买到想要的 统一使用前面部分的中性状态标签。 规则 4：不使用“是 X，不是 Y”的对比句式 梯度对齐：是噪声，不是信号 → 梯度对齐：三项检查结果均在噪声范围内 我们买到了血统上的多样性，但没有买到能力上的多样性 → 新增模型覆盖了更多基座，但正确率均低于原有区间下界 考法和用法对不上 → 评测口径为成对比较，与实际使用方式不一致 稳定是靠粗糙换来的 → 取值数量少的指标重合率高 越稳定的指标越挑不出东西，越挑得出东西的指标越不稳定 → 重合率与取值数量呈反向关系 规则 5：允许条目不包含数字或结论 例如： 对照组为随机选取的 32 个问题。 这条内容已经完整，不需要继续补充其他方案与对照组的关系。 规则 6：未查明原因时直接写“原因未查明” 前文已经写明“原因未查明”时，后文不要继续补充未经验证的解释。 这可能也解释了前文那个现象 → 该现象与截断的关系尚未验证 第十章“后来查明了机制”之后的内容已经得到确认，可以保留。 规则 7：不使用口语词 赢得很干脆 → 差值为 0.030 测得更准 / 测得更糙 → 估计精度更高 / 更低 可选的余地很小 → 候选范围小 基本上等于抓阄 → 接近随机选取 本来就分不出高下 → 真实差距低于可分辨范围 白跑 / 白占 → 无效运行 / 空占 不是白捡的 → 需要 79 GPU·小时 一个致命问题 → 主要问题 有事后找补的嫌疑 → 该切分方式在观察结果之后确定 原因不复杂 → 删除 既然预测这条路走不通，那就退一步 → 删除，直接进入实验设置 规则 8：不使用拟人表述 天生需要几百到上千次采样 → 该信号所需的采样量为几百到上千次 一旦超就制造出参差 → 截断发生时会增大奖励方差 24 步训练只挪动 0.05 → 24 步训练后正确率变化为 0.05 超得越彻底反而越稳定 → 截断率越高，奖励方差越低 回答内容本身的好坏参差 → 答案质量的差异

搞自动化和爬虫的兄弟可以把之前的方案扔了。 GitHub 上突然爆火了一个开源项目 Index（由 AI 开发者平台 Laminar 团队打造），直接把网页浏览器变成了可调用的 API。这玩意本质上是一个极度丝滑的“AI 浏览器 Agent”，你在终端输一句人话，它就能像真人在浏览器里点按、抓数据、填表单，甚至跨站点联动办完一整套复杂流程。在 WebVoyager 跑分里直接飙到了 92% 的惊人准确率。 一句命令就能跑：pip install 之后敲 index run 就能直接在终端调用。 能直接用本地 Chrome：带 --local-chrome 参数，自动复用你已登录的账号状态。 顶配视觉推理引擎：原生支持 Claude 3.7 Sonnet、Gemini 2.5 Pro 等顶尖多模态大模型。 全程会话回放与排错：自带开箱即用的可视化录屏与步骤 Trace 监控。 自动抓取并生成表格：一句话搞定“去网站抓数据并新建 Google Sheets 写入”。 📦 开源协议：Apache-2.0 🔗 GitHub 传送门：

📢Meet Qwen3.8-Max — our most capable model to date. Next week, the open weights of Qwen3.8-Max will be released, and Qwen3.8-27B is also going open-weights to meet you all!🎉 Qwen3.8-Max, a new bar for coding and cowork at 2.4T parameters: - Autonomous coding: 10+ days of self-evolving development, from empty folder to production without hand-holding, complete project trace in the GitHub： - Real work, real results: Production-quality deliverables across hundreds of professions. - Long-horizon mastery: System-level autonomous planning with closed-loop adaptive learning, driving 500+ turns of chip design optimization and 365 days of e-commerce strategy. - Native multimodal intelligence: Vision isn't just input — it's a continuous feedback loop for planning, execution, and self-correction. 💰Pricing: Input: $2.0 / M tokens Output: $6.0 / M tokens Implicit Caching: $0.25 / M tokens Start building with Qwen3.8-Max! 🚀 📖 Blog: ✅ Qwen Studio: ⚡ API: