handongxue (@likev)

许多美德其实细想更像阴谋，比如说农民很辛苦所以我们要节约粮食。如果换个说法：IT 行业很辛苦所以我们要减少使用软件、手机，汽车工人很辛苦所以我们要减少买车…… 你就会明白减少一种物品的使用必将损害相应行业的利益。

写支票的大科技为啥愿意花比白粉还贵的钱买存储，因为他们相信未来能赚回来。现在的花钱是确定的，未来的盈利是不确定的，所以市场不喜欢，看不到。 那么问题来了，如果大科技没有ROI，市场还讨论个屁的存储是不是周期股？😂 但市场不给你讲逻辑，投资个股就默默受着吧，等公司财报打脸市场

在我几十个还没做完的产品里，总有一些发想来自我长途旅行时的需要。比如，我从小到大都特别需要一种工具，可以让我随意走进任何一个国家的书店，并使用自己的母语来阅读它。

We just evaluated GLM 5.2 on Matharena! Although GLM 5.2 has shown to be very good at coding, the improvement is not as drastic for math. GLM 5.2 beats GLM 5.1, its predecessor by only 1.9% in expected performance.

I read the GLM-5.2 report and saw they use IndexShare, which is a cool, simple trick. Regular attention makes every token look at every other token, which is the quadratic cost everyone keeps trying to kill. Sparse attention is a workaround where each token only looks at a small set of relevant tokens instead of all of them. In DSA the way you pick that set is a small "indexer" that scores the keys and keeps the top-k. The indexer stays cheap but still picks well because it's trained to imitate the real attention distribution with a KL loss, and ranking which tokens matter turns out to be a much easier job than computing the exact attention, so it can run in FP8. The problem is that the indexer is itself quadratic, and it runs at every layer. so at 1M context most of your compute goes into deciding what to attend to, not into the attention. The trick with IndexShare is that instead of running it every layer, you share one indexer across a group of 4 layers and let the other 3 reuse that selection. they got 2.9x fewer FLOPs per token at 1M! the idea is betting the set of tokens worth attending to barely changes from one layer to the next, so recomputing it every layer is wasted work. This idea of sharing across different layers is not new, of course. things like HySparse or Kascade do similar reuse but keep a few real dense-attention layers around to compute the "true" selection. GLM takes it one step further and reuses the output of an indexer that was already an approximation, and it holds up because the model is trained that way from mid-training, not switched on at inference. Super simple!

GLM-5.2 (Max) by @Zai_org ranks #10# on the new Agent Arena leaderboard, closely matching Claude-Opus-4.8 (non-thinking) and is the #1# open model by a wide margin! In Agent Arena, we measure models on millions of real-world, long-horizon agentic tasks from a global community of users. Models can access web search, filesystem, and terminal tools to complete complex workflows. The leaderboard measures model performance on outcomes relative to the average model using a causal tracing methodology. Compared to 5.1, GLM-5.2 (Max) climbs from #13# to #10#. Its clearest gains are confirmed task success, and user praise vs. complaint. Bash capabilities and tool hallucination remain stable. There is a tradeoff in steerability compared to the previous model (-6.0% vs. +1.2%). GLM-5.2 remains the same price as GLM-5.1, $1.4/$4.4 per input/output MTokens. 1M context window. Huge congrats @Zai_org for the incredible release! See thread for details on how GLM-5.2 (Max) performs across 5 different signals.

新浪微博最新开源了 1.5B 参数“小模型”「VibeThinker-1.5B」，训练成本仅 7800 美元，在数学和编码等复杂推理任务上达到甚至超越大型模型的水平！ 背景与动机：为什么小模型能“逆袭”？ OpenAI o1 模型开启了“大型推理模型”（LRM）时代，通过强化学习和长链式思考（Long CoT），在数学定理证明、临床诊断和编程竞赛等领域接近人类专家水平。随后开源项目如 DeepSeek R1（671B）和 Kimi K2（>1T）进一步强化了“规模定律”：参数越多，推理越强。小模型被视为先天不足，无法处理高难度问题。 论文作者质疑这一观点：如果从小模型入手，通过巧妙的训练策略，能否挖掘出隐藏的推理潜力？答案是肯定的。VibeThinker-1.5B 基于 Qwen2.5-Math-1.5B 基础模型，经过后训练优化，在基准测试中大幅提升——从 AIME24 数学测试的 6.7 分跃升至 80.3 分，编码基准LiveCodeBench V6 从 0 分升至 51.1 分。更惊人的是，它在多个数学挑战上小胜 DeepSeek R1，后者参数规模是它的 400 多倍。这表明，推理能力的瓶颈不在于“体型”，而在于训练范式的创新。 核心创新：Spectrum-to-Signal Principle（谱-信号原理） 论文提出“谱-信号原理”（SSP），这是一个重新定义监督微调（SFT）和强化学习（RL）协同的框架。传统方法视 SFT 为“准确定位最佳答案”的阶段，RL 则进一步精炼。但作者认为，这会让模型陷入单一路径的“局部最优”，限制后续探索空间。SSP 将两阶段解耦为互补角色： · 谱阶段（SFT）：探索多样性 SFT 不再追求单次生成（Pass@1）的准确率，而是优化多采样成功率（Pass@K），生成一个“丰富的光谱”——即多种潜在正确解法。这能避免模型固守狭隘模式，提升问题解决的鲁棒性和创造性。 实现上采用“两阶段多样性探索蒸馏”： 1. 领域感知多样性探测：将数学领域拆分为子域（如代数、几何），为每个子域用强大 LLM 生成探测集，选出在 Pass@K 上最佳的“专家模型”。 2. 专家模型融合：通过加权平均（均匀权重）合并专家模型，形成统一 SFT 模型。这平衡了准确性和多样性，为 RL 铺平道路。 · 信号阶段（RL）：放大正确路径 RL 从 SFT 的“光谱”中挑选并强化最佳推理轨迹。作者引入“最大熵指导政策优化”（MGPO），基于群相对政策优化（GRPO）扩展。GRPO通过采样多组响应计算相对优势，避免外部价值函数的复杂性。MGPO 进一步融入最大熵原理：优先训练不确定性高的样本（准确率接近 50%，即二元分布的最大熵点），用熵偏差正则化加权优势函数。这让模型高效聚焦“高价值”问题，避免浪费计算在已掌握的简单任务上。 RL 分两子阶段：先数学推理（上下文从 16K 扩展到 32K），后编码生成，奖励函数为二元正确性。 此外，论文强调数据净化：使用 10-gram 语义匹配去除训练与测试集重叠，确保成绩真实。训练数据结合开源数据集和合成数据，覆盖数学和编码领域。 实验与结果：小模型的“大逻辑” 在多个基准上评估 VibeThinker-1.5B，包括数学（MATH-500、AIME24/25、HMMT25）、编码（LiveCodeBench V5/V6）和知识（GPQA-Diamond）。评估采用 vLLM 后端，多采样 Pass@1，温度 0.6（数学用 1.0）。 · 与小模型比较：VibeThinker 在子 3B 类别中拔尖，AIME25 达 74.4（Qwen3-1.7B 仅 36.8），HMMT25 达 50.4（SmolLM-3B 仅 26.0），编码 V6 达 51.1（基础模型 0.0）。 · 与大型推理模型比较：数学上小胜 DeepSeek R1（AIME24：80.3 vs. 79.8；AIME25：74.4 vs. 70.0；HMMT25：50.4 vs. 41.7），与 MiniMax-M1-456B 持平。编码稍逊 Magistral Medium（55.9 vs. 59.4）。 · 与顶级非推理模型比较：数学碾压 GPT-4.1（AIME24：80.3 vs. 46.5）和 Kimi K2（49.5），编码胜 Claude Opus 4（51.1 vs. 47.4）。但在 GPQA 知识测试上仍有差距（46.7 vs. 70-82），提示小模型在广域知识上需进一步优化。 这些结果证实 SSP 的有效性：多样性驱动让小模型在推理密集任务中“以小博大”。 讨论与影响：重塑 AI 格局 VibeThinker 的成功源于算法设计而非参数堆积，推理成本降至大型模型的 1/30-1/60，便于边缘部署（推理成本低 20-70 倍）。它暴露了规模定律的局限：小模型潜力被低估，尤其在数学/编码领域。但知识基准的差距表明，未来需加强广义知识注入。 开源模型和技术报告：

We’ve reached an agreement to acquire @ona_hq. Its secure cloud execution technology will help Codex take on longer-running work, even when laptops are closed, and help more organizations deploy agents securely in production. After closing, Ona will join OpenAI’s Codex team.

十年啊，兄弟们！十年间，我不知道花了多少时间调教语法解析和渲染的性能。Fable花了10分钟把综合性能提升了 7 ~ 17 倍！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！