与「head」相关的搜索结果

Hi Mr.@ElonMusk my name is greg and I’d like to formerly apply for the position of Head of Product at 𝕏 Attached in the next post is my resume and I look forward to hearing back from you

$FOIL is heading for the NYSE with a valuation target of up to $1.7B. The bigger story: Londian Wason is the world’s largest LiB copper foil supplier, with a 7.6% market share and a Q1 2026 profit turnaround. Can its growth story match the market’s expectations? 👉 Read the full report:

Need a cool escape? Head to a cafe inside a karst cave in southwest China's Chongqing, where rich coffee, natural coolness, and a stunning cave interior make for the perfect summer retreat. #ChinaCool#

转一下苏剑林老师对 K3 架构的复盘。 一句话概括，K3 = KDA + MLA + Stable LatentMoE + AttnRes。整套设计没什么炫技，核心就是在模型效果、计算效率和训练稳定性之间做取舍。 这里稍微解释一下： KDA，一种线性 Attention MLA，一种 KV Cache 较小的 Full Attention 变体 Stable LatentMoE，对 LatentMoE 做过稳定性改造的 MoE 方案 AttnRes，用可学习的跨层注意力，替代固定等权的残差累加 几个比较有意思的点： ① K3 同时使用了 KDA 和 MLA。另外，训练仍然用 Moonlight 版本的 Muon 优化器，Attention 权重改成 Per-Head Muon，每个 Head 独立优化。苏神说这不会直接提高效果，主要是数学和结构上更合理：各个 Head 本来就相对独立，不应该在优化时耦合在一起。 ② 解决MoE“容易炸”的问题。 LatentMoE 会先降维，再使用更多专家，最后升维，在训推成本大致相同的情况下效果略好。不过连续的矩阵投影也让训练更容易出现数值不稳定。 K3 把 SwiGLU 换成了 SiTU-GLU，用 softcap 压住异常激活；又在 LatentMoE 升维前加了一层 RMS Norm。这个 Norm 不只是让训练更稳定，在 Valid Loss 差不多的情况下，不加它，某些 Benchmark 会稳定变差。 （这里有超级多的技术细节，感兴趣的可以看苏神原文） ③ 关于MLA DSV4 看上去都换设计了，K3 怎么还在用 MLA？苏神的答案是，目前 MLA 仍然很难被全面击败。它在训练阶段是 MHA 形态，推理时 KV Cache 较小；在固定训练成本和 KV Cache 大小时，MLA 依然近乎最优。 它的问题是对 MTP（推测解码）不够友好。MTP 的思路是“用计算换速度”，而 MLA 在 Decoding 阶段本身就比较吃计算，再叠一个 MTP，两边就容易抢算力。 换别的方案也有代价。比如换成 128+128 的 GQA8，效果很难打赢 MLA，KV Cache 还是 MLA 的三倍多；换成 256+256 的 MFA（本质上是 MQA），训练和 Prefill 成本又会上去。 目前还没有一个简单的 Attention 设计，能同时占住效果、训练成本、Prefill、KV Cache 和 Decoding 计算量。在 KDA+MLA 的混合架构下，MLA 的部分问题得到缓解，所以 K3 最后还是选了 MLA。 ④ 苏神觉得，DSV4 也不算真正“抛弃 MLA”。 DSV4 看上去重新设计了 Attention，但底层仍然有 MLA 的影子。它采用的是 head_dims=512、K=V 的 MQA，这正是 MLA 在 Decoding 阶段的形态；再加上 Sparse + Compress，前者减少计算，后者进一步压缩 KV Cache，同时减少计算。 方向很激进，不过 Infra 也更复杂。 ⑤ K3 的 MLA 可以去掉 RoPE，是因为 KDA 已经隐含提供了一种广义的位置信息。 这只适用于 KDA+MLA 的混合结构，像 K2 那种全 MLA 模型，直接去掉 RoPE 还是会明显掉效果。 感觉苏神真正的观点是：大模型架构里很少有免费的升级。K3 的设计哲学不是找一个碾压所有方案的新架构，而是在效果、训练成本、Prefill、Decoding、KV Cache 和稳定性之间，找一个当前更合适的组合。 苏神原文里还有很多技术内容，非常值得一看。 原文地址：

Important announcement: I am upping my offer, $10 million dollars for a head-to-head basketball game between the defending WNBA champion Las Vegas Aces and a boy's high school state title team of my choice. If the Aces beat my team, I will give them $10 million.

AI模型评分都是被专项攻坚创造出来的，于是我对比了Fable5，Grok4.5， Kimi K3针对同一个交易系统审计结果进行了对比。 先说结论： Fable5：最适合作为系统级主审核模型 Kimi：最适合作为代码缺陷与一致性专项审核模型 Grok：最适合作为代码梳理和方案发散模型，不适合单独决定策略修改 最佳组合：Fable5全面审核+Grok 4.5代码梳理+K3代码审核 具体细节： 1. Fable5：系统级判断能力最强 Fable5 最大的优势不是代码读得比另外两个模型更多，而是它能把： 代码规则； sizing snapshot； intent ledger； 实际 block 统计； 当前资产 headroom； SELL/REDEEM 回流路径； 放进同一个因果框架。 它使用了几个非常关键的实盘指标： ADD 近 7 天约占新增资金 43%； 84% 资金已经部署； ETH、SOL、XRP headroom 为 0； 近 40 个周期中主要阻塞是：blocked_capital_efficiency=47 blocked_asset_cap=28 deployment cap=0 runway=0 这让它能够区分： “某个机制理论上可能限制资金” 和 “当前实盘真正正在限制资金的机制”。 最终它得出： ADD 对资金流向重要，但当前周转主因在回收端、资产 cap 和效率过滤，不在 ADD 准入本身。 这是三个模型中最接近生产系统审核要求的判断。 弱点 Fable5 仍有一些过度推断： 把 ADD 描述为让资金“锁得更久”，实际上 ADD 的剩余 TTE 通常比 ENTRY 短； 把超 cap 资产总持仓约 $382 说成可以“直接解锁 $382”，没有区分总持仓、超额部分和可成交部分； 把模型中的 redeem_lag_days=2 一度当作实际回款延迟； “$5 仓位几乎不受每美元每日利润门约束”的推理不正确，因为该指标已经按资金归一化； 2-lot 最低 ENTRY 建议可能系统性损失覆盖率。 因此，Fable5 的系统方向判断最好，但具体数字和金融指标仍需二次校验。 最适合的角色 PRIMARY_SYSTEM_REVIEWER LIVE_OPERATIONAL_DIAGNOSIS CHANGE_PRIORITY_DECISION CROSS_MODULE_ROOT_CAUSE_ANALYSIS 2. Kimi：代码缺陷侦测能力最强 Kimi 对代码结构的还原比较准确： 固定 ADD 次数和 interval 已退役； ADD 采用 target-gap 模型； ENTRY 60%，ADD 补到 100%； allocator 是最终数量权威； style 仅作诊断； 现金、集中度、shock、深度共同限制订单。 更重要的是，Kimi 找出了其他两个模型没有明确指出的具体问题： shared_deployable_pool() 读取 account_snap["capital"]["deployable_cash"] 但该字段可能没有实际写入 → 回退到 free_cash → 策略层与 allocator 层资金口径可能不一致 它还发现了： 合同写 debounce 60 秒，代码/配置为 30 秒； 注释周期 16 分钟，实际 loop 600 秒。 这些是典型的静态审核、字段追踪和合同一致性检查优势。 弱点 Kimi 在资本效率和交易语义上的推理弱于它的代码检查能力。 典型错误是： ADD 价格更高，所以边际 edge/day 必然更差。 这忽略了剩余持有时间也缩短。更高 ask 并不必然意味着更低 edge/day。 它还认为： 60/40 会让剩余资金长期闲置； 提高 entry share 会改善周转； CONFIRMATION_NO 应收紧； 增加单市场软 cap 会改善组合周转。 这些结论缺少真实候选竞争、实际 block attribution 和反事实分配数据支持。 最适合的角色 STATIC_CODE_AUDITOR SCHEMA_AND_FIELD_FLOW_CHECKER CONTRACT_IMPLEMENTATION_DIFF LOCALIZED_BUG_DISCOVERY Kimi 很适合回答： “代码是否存在字段没有写入、默认值回退、文档与实现不一致、某个 gate 实际是否生效？” 但不适合单独回答： “应该如何改变交易策略和资本分配？” 3. Grok：代码梳理最完整，但最容易过度设计 Grok 对整个 ADD 路径的整理最详尽： 各层准入条件； risk latch； REDUCE reentry cooldown； 价格带； fingerprint； emergency cap； market target； ENTRY/ADD gap； allocator 的现金、集中度、shock 和深度约束； ADD 与 ENTRY 的评分和 continuity； SELL/REDEEM 对现金回收的影响。 它对当前代码执行模型的概括非常清楚： 能不能加由 headroom 决定；加多少由 target gap 离散为 lot；ADD style 只是解释标签。 因此，在“快速理解一个陌生复杂系统”方面，Grok 表现很好。 弱点 Grok 最大的问题是： 从“发现一个可能的机制副作用”快速跳到“建议修改策略”。 它提出了大量未经实盘证明的改动： TIME_TOPUP 冷却； ADD 1.5 倍 edge/day 门槛； ask≥0.97 限制为 1 lot； 降低 peak target； 提高 entry share； 单次仅补部分 gap； 弱化 continuity； 降低 TTE confirmation 权重。 这些建议表面上都很合理，但存在三个问题： 没有先证明这些机制实际造成了损失； 没有量化被 ADD 挤出的 ENTRY 是否更优； 可能重新引入此前已经修复的低 ADD recall 和 leader fidelity 偏差。 Grok很擅长生成完整优化空间，但容易把： POSSIBLE SIDE EFFECT 升级成： CONFIRMED ROOT CAUSE 再进一步升级成： SHOULD CHANGE PRODUCTION LOGIC 这是生产交易系统审核中最危险的倾向。 最适合的角色 SYSTEM_MAPPING CODE_AND_CONFIG_EXPLANATION HYPOTHESIS_GENERATION DESIGN_OPTION_ENUMERATION 不适合作为唯一的： PRODUCTION_CHANGE_APPROVER ROOT_CAUSE_FINAL_AUTHORITY STRATEGY_SEMANTICS_GATEKEEPER 三个模型的典型思维模式 Grok 发现机制 → 推演可能副作用 → 生成多种优化 → 倾向建议修改 优点：覆盖广、思路多。 风险：过度设计、假设升级过快。 Kimi 追踪代码和字段 → 找实现不一致 → 找局部缺陷 → 尝试从缺陷推导策略改进 优点：代码问题定位强。 风险：局部正确不等于系统结论正确。 Fable5 理解代码 → 读取运行数据 → 找实际 binding constraint → 区分主因和次因 → 按实盘收益排序 优点：最接近生产运营思维。 风险：仍会在个别指标含义和金额口径上过度断言。