与「kda」相关的搜索结果

转一下苏剑林老师对 K3 架构的复盘。 一句话概括，K3 = KDA + MLA + Stable LatentMoE + AttnRes。整套设计没什么炫技，核心就是在模型效果、计算效率和训练稳定性之间做取舍。 这里稍微解释一下： KDA，一种线性 Attention MLA，一种 KV Cache 较小的 Full Attention 变体 Stable LatentMoE，对 LatentMoE 做过稳定性改造的 MoE 方案 AttnRes，用可学习的跨层注意力，替代固定等权的残差累加 几个比较有意思的点： ① K3 同时使用了 KDA 和 MLA。另外，训练仍然用 Moonlight 版本的 Muon 优化器，Attention 权重改成 Per-Head Muon，每个 Head 独立优化。苏神说这不会直接提高效果，主要是数学和结构上更合理：各个 Head 本来就相对独立，不应该在优化时耦合在一起。 ② 解决MoE“容易炸”的问题。 LatentMoE 会先降维，再使用更多专家，最后升维，在训推成本大致相同的情况下效果略好。不过连续的矩阵投影也让训练更容易出现数值不稳定。 K3 把 SwiGLU 换成了 SiTU-GLU，用 softcap 压住异常激活；又在 LatentMoE 升维前加了一层 RMS Norm。这个 Norm 不只是让训练更稳定，在 Valid Loss 差不多的情况下，不加它，某些 Benchmark 会稳定变差。 （这里有超级多的技术细节，感兴趣的可以看苏神原文） ③ 关于MLA DSV4 看上去都换设计了，K3 怎么还在用 MLA？苏神的答案是，目前 MLA 仍然很难被全面击败。它在训练阶段是 MHA 形态，推理时 KV Cache 较小；在固定训练成本和 KV Cache 大小时，MLA 依然近乎最优。 它的问题是对 MTP（推测解码）不够友好。MTP 的思路是“用计算换速度”，而 MLA 在 Decoding 阶段本身就比较吃计算，再叠一个 MTP，两边就容易抢算力。 换别的方案也有代价。比如换成 128+128 的 GQA8，效果很难打赢 MLA，KV Cache 还是 MLA 的三倍多；换成 256+256 的 MFA（本质上是 MQA），训练和 Prefill 成本又会上去。 目前还没有一个简单的 Attention 设计，能同时占住效果、训练成本、Prefill、KV Cache 和 Decoding 计算量。在 KDA+MLA 的混合架构下，MLA 的部分问题得到缓解，所以 K3 最后还是选了 MLA。 ④ 苏神觉得，DSV4 也不算真正“抛弃 MLA”。 DSV4 看上去重新设计了 Attention，但底层仍然有 MLA 的影子。它采用的是 head_dims=512、K=V 的 MQA，这正是 MLA 在 Decoding 阶段的形态；再加上 Sparse + Compress，前者减少计算，后者进一步压缩 KV Cache，同时减少计算。 方向很激进，不过 Infra 也更复杂。 ⑤ K3 的 MLA 可以去掉 RoPE，是因为 KDA 已经隐含提供了一种广义的位置信息。 这只适用于 KDA+MLA 的混合结构，像 K2 那种全 MLA 模型，直接去掉 RoPE 还是会明显掉效果。 感觉苏神真正的观点是：大模型架构里很少有免费的升级。K3 的设计哲学不是找一个碾压所有方案的新架构，而是在效果、训练成本、Prefill、Decoding、KV Cache 和稳定性之间，找一个当前更合适的组合。 苏神原文里还有很多技术内容，非常值得一看。 原文地址：

如Jensen真想做委员会式训练，至少应该组建3个彼此不沟通委员会，避免群体思维 这3个联盟应该分别在数据、RL、预训练和评测上独立创新，并相互竞争。 更符合美国自由市场价值观，更接近中国实验室之间的竞争方式： 彼此竞争，同时吸收对方已经验证有效的想法，最终带来 KDA、MSA、DSA 等不同创新。

Kimi K3 今日正式发布，Moonshot 官方官宣，2.8万亿参数 MoE 架构，百万上下文窗口，原生多模态能力，7月27日开放模型权重。 网上已有声音称其在多项基准测试中超越 Fable，翻完官方基准数据图后会发现，这是选择性解读的结论。 真实情况是，K3 在 Terminal Bench 2.1 得分88.3对比84.6，Automation Bench 得分30.8对比29.1，BrowseComp 得分91.2对比88.0，这几个特定智能体场景上确实领先。 但在 DeepSWE，FrontierSWE，GDPval-AA v2 Elo，AA-Briefcase Elo，CharXiv 这些更综合的智能体指标上，Fable 5 整体表现依然更稳定。 它并非实现全面超越，而是在自身定义的长上下文智能体编码赛道上打出了存在感。 但基准测试表现并不是这条新闻里最值得关注的部分。 最有价值的信息藏在定价策略里。 K3 的 API 定价为输入每百万 tokens 15美元，这个价格对应的档位，正处于 GPT-5.5 和 Claude Opus 系列的价格区间，这不是开源模型的低价路线，而是前沿闭源模型的定价标准。 一款中国开放权重模型，主动放弃了低价这张传统王牌。 Moonshot 将价格拉至前沿模型区间，等于公开传递出一个信号，我们不比拼性价比高低，我们比拼在长周期智能体编码场景下的价值匹配度。 这是第一次出现这样的转向，此前中国模型的主流路线是能力强，价格低，加开源的性价比打法，K2 系列走的正是这条路径。 K3 切换了一条完全不同的路线。 这条路不再是性价比路线，而是场景定价路线，底层逻辑彻底改变，不再是我比 Fable 便宜所以你该选我，而是在长上下文智能体编码这个特定场景下，我的价值值得你支付前沿模型的价格。 这个转变不是营销话术的更新，而是将产品信心押注在了一个狭窄但高价值的垂直赛道上。 看看他们为这个赛道做的底层布局就知道。 两项架构级创新支撑起这个定位，KDA 混合线性注意力，在百万 token 上下文下解码速度最高提升6.3倍，AttnRes 注意力残差，训练效率提升约25%，额外成本不到2%。 这两项创新不是为了炫技的纸面突破，每一项都精准命中长上下文智能体的核心痛点，Transformer 架构在百万 token 下推理太慢，训练成本太高，KDA 解决推理速度问题，AttnRes 解决训练效率问题，合在一起解决的核心问题是，让一个2.8T参数的模型，在需要长时间记忆和多步迭代的智能体工作流里，能稳定运行，跑得够快，成本可控。 这就是他们敢把定价拉到前沿区间的核心底气。 不是参数规模更大所以更值钱，而是在长上下文智能体编码这个即将成为主战场的赛道上，他们的架构为场景量身定制，通用架构做不到同等效率。 这个赌注自然存在风险。 Fable 5 在很多通用智能体任务上表现依然更稳，K3 的优势集中在自身定义的赛道范围内，如果市场不为专门为智能体编码优化的模型品类买单，每百万输出15美元的价格很难长期站稳。 但这个方向的判断是对的。 中国 AI 这些年一直在走同一条路径，硬件受限倒逼架构创新，快速开源用开放生态反哺迭代，K2 系列验证了这条路能够跑通，K3 则把这个模式做了升级，不只是在受限硬件上做出好模型，更是做出好模型之后，敢于在定价上和前沿闭源模型站在同一起跑线。 这对正在搭建智能体系统的开发者来说，信号非常实际。 7月27日权重开放后，你能拿到一个真正前沿规模，为长时程智能体场景定制的基座模型，百万上下文加 KDA 加速加持，SWE Marathon 42.0 领先，Automation Bench 30.8 领先，把它接入自己的智能体技术栈运行自进化工作流，做长上下文蒸馏，完成复杂认知任务的结构化输出，这些事以前要么用闭源 API 成本太高，要么用开源模型上下文长度和速度跟不上。 K3 是第一个同时提供前沿智能体编码能力，百万上下文，开放权重，可商用的选项。 最后做一个总结。 Moonshot 将 K3 的定价拉至前沿区间，不是一个简单的价格决策，而是一份明确的定位声明，中国开放权重模型不再只是高性价比的替代品，它们开始要求在自己擅长的赛道上，和闭源前沿模型平起平坐。 这个诉求能不能被市场接受，要看7月27日权重开放后的实际落地表现。 但有一点已经非常清晰，在长周期智能体编码这条赛道上，有一家中国公司认为自己的产品，不再需要靠低价来获取市场。

kimi k3 vs gpt 5.6 sol vs fable 5 vs grok 4.5 @Kimi_Moonshot just dropped kimi k3 – a 2.8t param native multimodal model, the first open 3t-class release. key facts: • 1m token context. stable latentmoe activating 16 of 896 experts, built on kimi delta attention (kda) and attention residuals • quantization-aware training from the sft stage onward – mxfp4 weights, mxfp8 activations. moonshot claims ~2.5x scaling efficiency over k2 • max thinking effort by default. low- and high-effort modes are "coming in updates" – there is no way to turn the thinking down today, and you feel it in every run • pricing: $0.30/mtok cache-hit input, $3.00/mtok cache-miss, $15.00/mtok output. claims >90% cache hit rate on coding workloads • benchmarks: swe marathon 42.0 (1st – fable 5: 35.0, sol: 39.0, opus 4.8: 40.0), terminal bench 2.1 88.3, browsecomp 91.2 (1st), program bench 77.8 (1st), gpqa-diamond 93.5. loses frontierswe 81.2 vs fable's 86.6, and deepswe 67.5 vs sol's 73.0 our test – 3 prompts, single-file html, @threejs, fully procedural, no assets: 1. photorealistic european roulette wheel – 37 pockets in the real sequence, mahogany clearcoat bowl, chrome turret, diamond deflectors, flick-to-spin, ball that spirals inward and settles on a mathematically real number 2. las vegas slot machine – 3 reels behind transmissive glass, drag the chrome lever to play, mechanical odometer counters modelled in 3d, coin physics on win 3. full pinball table – 6.5° tilted playfield, flipper impulse physics, spline ramps, drop targets, 6 bumpers, mechanical score reels in the backbox we ran the test on @aimlapi platform results: - cost #1# grok 4.5 – $0.30 #2# kimi k3 – $0.71 #3# gpt 5.6 sol – $2.05 #4# fable 5 – $7.69 - tokens #1# grok 4.5 – 34,241 #2# gpt 5.6 sol – 51,748 #3# fable 5 – 144,126 #4# kimi k3 – 157,999 - lines of code #1# gpt 5.6 sol – 3,054 #2# grok 4.5 – 3,047 #3# kimi k3 – 2,255 #4# fable 5 – 1,950 - generation time #1# grok 4.5 – 5.1 min #2# gpt 5.6 sol – 22.0 min #3# fable 5 – 31.5 min #4# kimi k3 – 75.6 min observations: • kimi k3 is cheap and it is slow. 75.6 minutes across three prompts against grok's 5.1. it is 2.4x grok's price and 15x grok's wall clock. the roulette took 15 min, the slot 18, the pinball 42 • it failed 2 of 3. only the roulette works. the slot machine has reel cutouts on both faces of the cabinet and the symbols face backwards – you can only read your spin by walking around to the rear of the machine. the pinball table stands vertically on its edge with the legs floating detached beside it. • 81% of kimi's output tokens are reasoning, not code. grok: 22%. you are not paying for a bigger answer, you are paying for a longer argument with itself • price per 100 shipped lines – grok $0.010, kimi $0.031, sol $0.067, fable $0.394. a 39x spread for the same three files kimi k3's code quality: upsides: • the roulette is genuinely good – procedural wood grain with real specular breakup, correct european sequence (0-32-15-19-4...), chrome turret, diamond deflectors, clean console • the pinball artwork is the best in the test – a synthwave "nova strike / deep space" field with six individually coloured neon bumper rings, a retro sun on a grid horizon, a nova burst, and a scoring legend printed on the apron. no other model printed the rules on the machine. it is a beautiful texture on a broken object • physics reasoning is real – it derived a 480hz substep for the collider, worked out ball settle conditions and termination guarantees, and checked every ramp exit vector by hand before writing any of it • it is the only model that saw the importmap trap coming. sol shipped a blank white page twice because three.js addons import the bare specifier 'three' and die without an import map downsides: • it dodged that trap on the slot by loading three.js r128 through classic script tags – a 2021 build with no working transmission. its slot glass rendered fully opaque and buried all three reels behind a white pane. the code asks for transmission: 0.93, ior: 1.5 – correct, and silently ignored by a renderer that predates the feature • after 42 minutes and 212k characters of reasoning, the pinball cabinet is not assembled. the table stands vertically on its edge like a wardrobe – the prompt asked for 6.5° from horizontal, it delivered 90°. the legs float detached in the void beside it. head-on it photographs beautifully; orbit ten degrees and it is a painted slab with four chrome rods hovering nearby • the playfield z-fights with the glass – hard black banding across the whole field as soon as you pull the camera back a note on the pinball, in fairness to kimi: nobody passed it. every model shipped broken ball physics and controls you cannot trust. it is the hardest prompt we have run and the whole field failed it, each in its own way kimi k3 reasons better than anything else here and it shows exactly where reasoning pays – physics constants, sequences, edge cases, traps the others walked into follow @thehypedotnews for 24/7 ai news, analysis and breakdowns

One new feature in Tesla FSD V14.3.5 is you can now open Camera Preview at any time, even if your Tesla is driving. This includes the interior cabin camera, so if you want to keep a better eye on your kids while you drive, you now can.

📢日本橋ストリートフェスタ2026セール！ 　　 🎀多くの商品25%OFF＆送料無料 🎟️消費金額2万円以上では更に10％OFF｜コード：NPBS26 📅開催時間：5月11日-5月24日 詳細👉 🎁Xプレゼント企画 👗水城ゆきかぜ 衣装　1名様 📌応募方法：フォロー＆RP＆コメント⬆️ 📅抽選日：5月25日