与「KDA」相关的搜索结果

转一下苏剑林老师对 K3 架构的复盘。 一句话概括，K3 = KDA + MLA + Stable LatentMoE + AttnRes。整套设计没什么炫技，核心就是在模型效果、计算效率和训练稳定性之间做取舍。 这里稍微解释一下： KDA，一种线性 Attention MLA，一种 KV Cache 较小的 Full Attention 变体 Stable LatentMoE，对 LatentMoE 做过稳定性改造的 MoE 方案 AttnRes，用可学习的跨层注意力，替代固定等权的残差累加 几个比较有意思的点： ① K3 同时使用了 KDA 和 MLA。另外，训练仍然用 Moonlight 版本的 Muon 优化器，Attention 权重改成 Per-Head Muon，每个 Head 独立优化。苏神说这不会直接提高效果，主要是数学和结构上更合理：各个 Head 本来就相对独立，不应该在优化时耦合在一起。 ② 解决MoE“容易炸”的问题。 LatentMoE 会先降维，再使用更多专家，最后升维，在训推成本大致相同的情况下效果略好。不过连续的矩阵投影也让训练更容易出现数值不稳定。 K3 把 SwiGLU 换成了 SiTU-GLU，用 softcap 压住异常激活；又在 LatentMoE 升维前加了一层 RMS Norm。这个 Norm 不只是让训练更稳定，在 Valid Loss 差不多的情况下，不加它，某些 Benchmark 会稳定变差。 （这里有超级多的技术细节，感兴趣的可以看苏神原文） ③ 关于MLA DSV4 看上去都换设计了，K3 怎么还在用 MLA？苏神的答案是，目前 MLA 仍然很难被全面击败。它在训练阶段是 MHA 形态，推理时 KV Cache 较小；在固定训练成本和 KV Cache 大小时，MLA 依然近乎最优。 它的问题是对 MTP（推测解码）不够友好。MTP 的思路是“用计算换速度”，而 MLA 在 Decoding 阶段本身就比较吃计算，再叠一个 MTP，两边就容易抢算力。 换别的方案也有代价。比如换成 128+128 的 GQA8，效果很难打赢 MLA，KV Cache 还是 MLA 的三倍多；换成 256+256 的 MFA（本质上是 MQA），训练和 Prefill 成本又会上去。 目前还没有一个简单的 Attention 设计，能同时占住效果、训练成本、Prefill、KV Cache 和 Decoding 计算量。在 KDA+MLA 的混合架构下，MLA 的部分问题得到缓解，所以 K3 最后还是选了 MLA。 ④ 苏神觉得，DSV4 也不算真正“抛弃 MLA”。 DSV4 看上去重新设计了 Attention，但底层仍然有 MLA 的影子。它采用的是 head_dims=512、K=V 的 MQA，这正是 MLA 在 Decoding 阶段的形态；再加上 Sparse + Compress，前者减少计算，后者进一步压缩 KV Cache，同时减少计算。 方向很激进，不过 Infra 也更复杂。 ⑤ K3 的 MLA 可以去掉 RoPE，是因为 KDA 已经隐含提供了一种广义的位置信息。 这只适用于 KDA+MLA 的混合结构，像 K2 那种全 MLA 模型，直接去掉 RoPE 还是会明显掉效果。 感觉苏神真正的观点是：大模型架构里很少有免费的升级。K3 的设计哲学不是找一个碾压所有方案的新架构，而是在效果、训练成本、Prefill、Decoding、KV Cache 和稳定性之间，找一个当前更合适的组合。 苏神原文里还有很多技术内容，非常值得一看。 原文地址：

如Jensen真想做委员会式训练，至少应该组建3个彼此不沟通委员会，避免群体思维 这3个联盟应该分别在数据、RL、预训练和评测上独立创新，并相互竞争。 更符合美国自由市场价值观，更接近中国实验室之间的竞争方式： 彼此竞争，同时吸收对方已经验证有效的想法，最终带来 KDA、MSA、DSA 等不同创新。

Kimi K3 今日正式发布，Moonshot 官方官宣，2.8万亿参数 MoE 架构，百万上下文窗口，原生多模态能力，7月27日开放模型权重。 网上已有声音称其在多项基准测试中超越 Fable，翻完官方基准数据图后会发现，这是选择性解读的结论。 真实情况是，K3 在 Terminal Bench 2.1 得分88.3对比84.6，Automation Bench 得分30.8对比29.1，BrowseComp 得分91.2对比88.0，这几个特定智能体场景上确实领先。 但在 DeepSWE，FrontierSWE，GDPval-AA v2 Elo，AA-Briefcase Elo，CharXiv 这些更综合的智能体指标上，Fable 5 整体表现依然更稳定。 它并非实现全面超越，而是在自身定义的长上下文智能体编码赛道上打出了存在感。 但基准测试表现并不是这条新闻里最值得关注的部分。 最有价值的信息藏在定价策略里。 K3 的 API 定价为输入每百万 tokens 15美元，这个价格对应的档位，正处于 GPT-5.5 和 Claude Opus 系列的价格区间，这不是开源模型的低价路线，而是前沿闭源模型的定价标准。 一款中国开放权重模型，主动放弃了低价这张传统王牌。 Moonshot 将价格拉至前沿模型区间，等于公开传递出一个信号，我们不比拼性价比高低，我们比拼在长周期智能体编码场景下的价值匹配度。 这是第一次出现这样的转向，此前中国模型的主流路线是能力强，价格低，加开源的性价比打法，K2 系列走的正是这条路径。 K3 切换了一条完全不同的路线。 这条路不再是性价比路线，而是场景定价路线，底层逻辑彻底改变，不再是我比 Fable 便宜所以你该选我，而是在长上下文智能体编码这个特定场景下，我的价值值得你支付前沿模型的价格。 这个转变不是营销话术的更新，而是将产品信心押注在了一个狭窄但高价值的垂直赛道上。 看看他们为这个赛道做的底层布局就知道。 两项架构级创新支撑起这个定位，KDA 混合线性注意力，在百万 token 上下文下解码速度最高提升6.3倍，AttnRes 注意力残差，训练效率提升约25%，额外成本不到2%。 这两项创新不是为了炫技的纸面突破，每一项都精准命中长上下文智能体的核心痛点，Transformer 架构在百万 token 下推理太慢，训练成本太高，KDA 解决推理速度问题，AttnRes 解决训练效率问题，合在一起解决的核心问题是，让一个2.8T参数的模型，在需要长时间记忆和多步迭代的智能体工作流里，能稳定运行，跑得够快，成本可控。 这就是他们敢把定价拉到前沿区间的核心底气。 不是参数规模更大所以更值钱，而是在长上下文智能体编码这个即将成为主战场的赛道上，他们的架构为场景量身定制，通用架构做不到同等效率。 这个赌注自然存在风险。 Fable 5 在很多通用智能体任务上表现依然更稳，K3 的优势集中在自身定义的赛道范围内，如果市场不为专门为智能体编码优化的模型品类买单，每百万输出15美元的价格很难长期站稳。 但这个方向的判断是对的。 中国 AI 这些年一直在走同一条路径，硬件受限倒逼架构创新，快速开源用开放生态反哺迭代，K2 系列验证了这条路能够跑通，K3 则把这个模式做了升级，不只是在受限硬件上做出好模型，更是做出好模型之后，敢于在定价上和前沿闭源模型站在同一起跑线。 这对正在搭建智能体系统的开发者来说，信号非常实际。 7月27日权重开放后，你能拿到一个真正前沿规模，为长时程智能体场景定制的基座模型，百万上下文加 KDA 加速加持，SWE Marathon 42.0 领先，Automation Bench 30.8 领先，把它接入自己的智能体技术栈运行自进化工作流，做长上下文蒸馏，完成复杂认知任务的结构化输出，这些事以前要么用闭源 API 成本太高，要么用开源模型上下文长度和速度跟不上。 K3 是第一个同时提供前沿智能体编码能力，百万上下文，开放权重，可商用的选项。 最后做一个总结。 Moonshot 将 K3 的定价拉至前沿区间，不是一个简单的价格决策，而是一份明确的定位声明，中国开放权重模型不再只是高性价比的替代品，它们开始要求在自己擅长的赛道上，和闭源前沿模型平起平坐。 这个诉求能不能被市场接受，要看7月27日权重开放后的实际落地表现。 但有一点已经非常清晰，在长周期智能体编码这条赛道上，有一家中国公司认为自己的产品，不再需要靠低价来获取市场。