与「MoonLight」相关的搜索结果

转一下苏剑林老师对 K3 架构的复盘。 一句话概括，K3 = KDA + MLA + Stable LatentMoE + AttnRes。整套设计没什么炫技，核心就是在模型效果、计算效率和训练稳定性之间做取舍。 这里稍微解释一下： KDA，一种线性 Attention MLA，一种 KV Cache 较小的 Full Attention 变体 Stable LatentMoE，对 LatentMoE 做过稳定性改造的 MoE 方案 AttnRes，用可学习的跨层注意力，替代固定等权的残差累加 几个比较有意思的点： ① K3 同时使用了 KDA 和 MLA。另外，训练仍然用 Moonlight 版本的 Muon 优化器，Attention 权重改成 Per-Head Muon，每个 Head 独立优化。苏神说这不会直接提高效果，主要是数学和结构上更合理：各个 Head 本来就相对独立，不应该在优化时耦合在一起。 ② 解决MoE“容易炸”的问题。 LatentMoE 会先降维，再使用更多专家，最后升维，在训推成本大致相同的情况下效果略好。不过连续的矩阵投影也让训练更容易出现数值不稳定。 K3 把 SwiGLU 换成了 SiTU-GLU，用 softcap 压住异常激活；又在 LatentMoE 升维前加了一层 RMS Norm。这个 Norm 不只是让训练更稳定，在 Valid Loss 差不多的情况下，不加它，某些 Benchmark 会稳定变差。 （这里有超级多的技术细节，感兴趣的可以看苏神原文） ③ 关于MLA DSV4 看上去都换设计了，K3 怎么还在用 MLA？苏神的答案是，目前 MLA 仍然很难被全面击败。它在训练阶段是 MHA 形态，推理时 KV Cache 较小；在固定训练成本和 KV Cache 大小时，MLA 依然近乎最优。 它的问题是对 MTP（推测解码）不够友好。MTP 的思路是“用计算换速度”，而 MLA 在 Decoding 阶段本身就比较吃计算，再叠一个 MTP，两边就容易抢算力。 换别的方案也有代价。比如换成 128+128 的 GQA8，效果很难打赢 MLA，KV Cache 还是 MLA 的三倍多；换成 256+256 的 MFA（本质上是 MQA），训练和 Prefill 成本又会上去。 目前还没有一个简单的 Attention 设计，能同时占住效果、训练成本、Prefill、KV Cache 和 Decoding 计算量。在 KDA+MLA 的混合架构下，MLA 的部分问题得到缓解，所以 K3 最后还是选了 MLA。 ④ 苏神觉得，DSV4 也不算真正“抛弃 MLA”。 DSV4 看上去重新设计了 Attention，但底层仍然有 MLA 的影子。它采用的是 head_dims=512、K=V 的 MQA，这正是 MLA 在 Decoding 阶段的形态；再加上 Sparse + Compress，前者减少计算，后者进一步压缩 KV Cache，同时减少计算。 方向很激进，不过 Infra 也更复杂。 ⑤ K3 的 MLA 可以去掉 RoPE，是因为 KDA 已经隐含提供了一种广义的位置信息。 这只适用于 KDA+MLA 的混合结构，像 K2 那种全 MLA 模型，直接去掉 RoPE 还是会明显掉效果。 感觉苏神真正的观点是：大模型架构里很少有免费的升级。K3 的设计哲学不是找一个碾压所有方案的新架构，而是在效果、训练成本、Prefill、Decoding、KV Cache 和稳定性之间，找一个当前更合适的组合。 苏神原文里还有很多技术内容，非常值得一看。 原文地址：

月あかり　絹をまといて　舞う姿 花も霞むる　夢の麗人 Bathed in moonlight and dressed in flowing silk, she dances with such grace that even the flowers fade beside her.

Actually, this is exactly the kind of narrative OKX has created. They have been systematically deploying large numbers of "water army" trolls to smear accounts that are simply trying to clarify objective facts. Furthermore, Star is openly using his account to incessantly post negative content about competitors. I find it absolutely ridiculous: in reality, OKX is the true puppet master behind the scenes trying to control the Star seems to have forgotten that during the 10/11 incident, a massive number of people were liquidated on OKX, yet they never received any kind of response. At this year's event in Hong Kong, some of those 10/11 protesters went to the OKX booth to demand justice, only to be recklessly dragged out of the venue. It seems Star never notices the mud covering his own feet, as he is always too busy staring at his "white moonlight."👎👎👎

亲爱的，很多老登天天晒跟妹妹吃饭的照片 刷到审美疲劳了🥱 怎么没人聊 女生如何崩老头啊？ 现在AI特好用 月光直接整个 #崩老头神器# 赚 888888 美金？！👀 完整流程在这里： 用 @dappOS_com 的 xBubble @xBubble_ai 全新Vibe Coding 功能 直接在屏幕以文字输入想要的功能 就能生成网页，让全世界跟你一起玩 🫶 xBubble 帮月光生成的老登神评论，也很精彩 老登A说： 以前看各种财经号，全是废话 Moonlight 直 接 给 操（⚠️注意断句） 作 点 位，我 只 需 要 执 行 老登B说： 跟着Moonlight的策略 今年收益跑赢大盘40% ‼️会员订阅费半天就赚回来了‼️ 🫶 即使是不懂技术的精神小妹和傻白甜 也能月入8个亿 因为全程不用自己写代码 纯自然语言描述你要的崩老头模式就行 其实不光崩老头，人人能用它快速搭建自己的自动化获客系统 以前创业的门槛是本金，现在AI时代，真正卡人的是技术和执行力 xBubble 就是想把这两个门槛一起弄掉 他们 Coding 功能现在内测中，专门给没技术背景的人准备的 跟 Cursor、Claude Code 那些比，它更直接往商业落地走 🫶 大家都知道，写完代码只是开始 后面服务器部署、域名、API Key、支付接入这些，才是最折腾&烧钱的 xBubble 把这些底层东西都封装好了，你只要专注业务就行 更舒服的是，服务器和域名这些基础设施，是生态里的第三方直接对接用户的 平台不留后门，数据隔离，资产主权完全在自己手里 而且，还接了稳定币支付结算 对想全球搞事的人来说，省掉了传统银行开户、跨境那些乱七八糟的麻烦，成本也低很多 理论上，从产品上线到能收钱，整个闭环能走得很快 🫶 除了 Coding，xBubble 对 SOP 的理解也很深 大部分 AI项目死掉，跟会不会写发给AI的提示词无关 而是缺一套能落地的商业流程 从内容生产、营销推广，到多平台矩阵、稳定币结算 xBubble 把这些变成可复制的 SOP 让普通人也能有接近专业团队的执行力 而且，它不是给你一套死模板 平台规则变了、长尾需求冒出来了，Bubble Engine 都会持续生成新的专用 SOP 你既能直接用现成的，也能一直拿到新鲜的增长玩法 月光觉得，这正好抓住了现在AI创业最大的机会 标准化 SaaS 只能吃通用需求 真正肥的市场往往在那些垂直、细分、周期短 还有点合规压力的长尾赛道 🫶 以前这些小众需求因为开发成本太高没人碰 现在 AI + 大模型 + SOP 自动化结合之后 像崩老头这种小需求，也有机会变成真生意 所以 xBubble 不止帮你写代码 还给你一整套端到端的业务能力 帮你省掉贵松松的技术团队 也把全球创业的各种摩擦降下来 🫶 当大部分人还在用 AI 提效的时候 已经有人开始用 AI 搭新的收入系统了 用抗审查基础设施接长尾需求 SOP 控风险，Vibe Coding 个性化 对 OPC 时代的创业者来说 这正在变成一种新的商业基础设施 想体验崩老头乐趣的精神小妹们，官网直接看：
 么么哒😘 #xBubble# #DAPPOS# #美股# #AI# #vibecoding#

在局域网内将电脑投屏到电视机，通过系统原生协议Miracast进行“无线投屏”，效果不好，电视端经常花屏，根本无法用于玩3A游戏大作，只能看看简单的视频，玩玩小游戏，最佳的方案是Sunshine（日光）+Moonlight（月光）串流方案，电脑端安装Sunshine（开源的主机端流媒体服务器），电视端安装Moonlight客户端，其流畅度和延迟明显优于Miracast，可以用它在电视上玩高帧率游戏。

Tesla's Cybertruck doubles as a giant home battery. Storm knocks out the power? The beast just sits there running lights, appliances, refrigerators, microwaves, and the rest of the house like this was part of the plan all along. Most people still think of the Cybertruck as transportation only. Meanwhile, there's more under the hood. It's moonlighting as backup infrastructure. @Tesla

深思雪瀉人天遠 淺夢風清月入簾 Deep thoughts cascade like torrents of snow, my distant love lies far beyond the sky. In shallow dreams a gentle wind softly blows, moonlight slips softly through the curtain high. ☀️ #จิตติพจน์วิริยะโรจน์# #inkMine# #vss365# #詩# 对联 詩 诗词 俳句 回文 poetrycommunity WritingCommunity 陸享瑞