与「MHA」相关的搜索结果

转一下苏剑林老师对 K3 架构的复盘。 一句话概括，K3 = KDA + MLA + Stable LatentMoE + AttnRes。整套设计没什么炫技，核心就是在模型效果、计算效率和训练稳定性之间做取舍。 这里稍微解释一下： KDA，一种线性 Attention MLA，一种 KV Cache 较小的 Full Attention 变体 Stable LatentMoE，对 LatentMoE 做过稳定性改造的 MoE 方案 AttnRes，用可学习的跨层注意力，替代固定等权的残差累加 几个比较有意思的点： ① K3 同时使用了 KDA 和 MLA。另外，训练仍然用 Moonlight 版本的 Muon 优化器，Attention 权重改成 Per-Head Muon，每个 Head 独立优化。苏神说这不会直接提高效果，主要是数学和结构上更合理：各个 Head 本来就相对独立，不应该在优化时耦合在一起。 ② 解决MoE“容易炸”的问题。 LatentMoE 会先降维，再使用更多专家，最后升维，在训推成本大致相同的情况下效果略好。不过连续的矩阵投影也让训练更容易出现数值不稳定。 K3 把 SwiGLU 换成了 SiTU-GLU，用 softcap 压住异常激活；又在 LatentMoE 升维前加了一层 RMS Norm。这个 Norm 不只是让训练更稳定，在 Valid Loss 差不多的情况下，不加它，某些 Benchmark 会稳定变差。 （这里有超级多的技术细节，感兴趣的可以看苏神原文） ③ 关于MLA DSV4 看上去都换设计了，K3 怎么还在用 MLA？苏神的答案是，目前 MLA 仍然很难被全面击败。它在训练阶段是 MHA 形态，推理时 KV Cache 较小；在固定训练成本和 KV Cache 大小时，MLA 依然近乎最优。 它的问题是对 MTP（推测解码）不够友好。MTP 的思路是“用计算换速度”，而 MLA 在 Decoding 阶段本身就比较吃计算，再叠一个 MTP，两边就容易抢算力。 换别的方案也有代价。比如换成 128+128 的 GQA8，效果很难打赢 MLA，KV Cache 还是 MLA 的三倍多；换成 256+256 的 MFA（本质上是 MQA），训练和 Prefill 成本又会上去。 目前还没有一个简单的 Attention 设计，能同时占住效果、训练成本、Prefill、KV Cache 和 Decoding 计算量。在 KDA+MLA 的混合架构下，MLA 的部分问题得到缓解，所以 K3 最后还是选了 MLA。 ④ 苏神觉得，DSV4 也不算真正“抛弃 MLA”。 DSV4 看上去重新设计了 Attention，但底层仍然有 MLA 的影子。它采用的是 head_dims=512、K=V 的 MQA，这正是 MLA 在 Decoding 阶段的形态；再加上 Sparse + Compress，前者减少计算，后者进一步压缩 KV Cache，同时减少计算。 方向很激进，不过 Infra 也更复杂。 ⑤ K3 的 MLA 可以去掉 RoPE，是因为 KDA 已经隐含提供了一种广义的位置信息。 这只适用于 KDA+MLA 的混合结构，像 K2 那种全 MLA 模型，直接去掉 RoPE 还是会明显掉效果。 感觉苏神真正的观点是：大模型架构里很少有免费的升级。K3 的设计哲学不是找一个碾压所有方案的新架构，而是在效果、训练成本、Prefill、Decoding、KV Cache 和稳定性之间，找一个当前更合适的组合。 苏神原文里还有很多技术内容，非常值得一看。 原文地址：

🤝 CM Devendra Fadnavis presided over the signing and exchange of MoUs between Sahakar Taxi Co-Operative Limited (STCL) and various organisations. List of organisations: 🔸Maharashtra State Road Transport Corporation (MSRTC) 🔸Navi Mumbai Traffic Police 🔸Mumbai Traffic Police 🔸Thane Municipal Corporation 🔸Navi Mumbai Municipal Corporation 🔸Municipal Corporation of Greater Mumbai 🔸Thane Traffic Police 🔸M/s. Loknete D B Patil Native Project Affected Transport Co-Operative Limited 🔸Cosmos Co-operative Bank Ltd Purpose of these MoUs: ✅To enhance last-mile and first-mile connectivity for MSRTC passengers, improve the overall commuter experience at bus stands via dedicated prepaid systems and promote integrated, sustainable green urban mobility across Maharashtra ✅To provide seamless last-mile connectivity to MSRTC passengers at designated bus stands via the Bharat Taxi platform ✅To establish structured physical prepaid booths at principal transit junctions to cater to walk-in passengers ✅To advance sustainable transport paradigms via structural co-branding layouts on the City Electric Buses and long-distance MSRTC transit fleets ✅To ensure safe, affordable, and accessible transport for all commuters, including women, senior citizens and persons with disabilities ✅To enhance commuter security via tracked, cashless, app-based taxi operations, integrate digital emergency response networks and regulate dedicated taxi facilitation zones ✅To improve urban mobility in the corporation's jurisdiction through safe, organised, app-based and cashless taxi services ✅To enhance first-mile and last-mile connectivity at public transport hubs and high-footfall civic locations; promote green and electric mobility and support TMC, NMMC, MCGM's Smart City and digital governance initiatives ✅To outline the strategic partnership between the Parties for the commercial rollout and day-to-day management of the ‘Bharat Taxi’ platform within the precinct of NMIA Union MoS Murlidhar Mohol, Minister Babasaheb Patil, MLA Manda Mhatre, MLA Mahesh Baldi, MLA Prashant Thakur and other dignitaries were present. 🤝 मुख्यमंत्री देवेंद्र फडणवीस यांच्या प्रमुख उपस्थितीत सहकार टॅक्सी को-ऑपरेटिव्ह लिमिटेड (STCL) आणि विविध संस्थांदरम्यान सामंजस्य करार (MoU) करण्यात आले. सामंजस्य करार झालेल्या संस्था : 🔸 महाराष्ट्र राज्य मार्ग परिवहन महामंडळ (MSRTC) 🔸 नवी मुंबई वाहतूक पोलीस 🔸 मुंबई वाहतूक पोलीस 🔸 ठाणे महानगरपालिका (TMC) 🔸 नवी मुंबई महानगरपालिका (NMMC) 🔸 बृहन्मुंबई महानगरपालिका (MCGM) 🔸 ठाणे वाहतूक पोलीस 🔸 लोकनेते स्व. दि. बा. पाटील नेटिव्ह प्रोजेक्ट अफेक्टेड ट्रान्सपोर्ट को-ऑपरेटिव्ह लिमिटेड 🔸 कॉसमॉस को-ऑपरेटिव्ह बँक लिमिटेड सामंजस्य करारांची उद्दिष्टे: ✅ MSRTC प्रवाशांसाठी प्रथम टप्प्यातील (First-mile) आणि अंतिम टप्प्यातील (Last-mile) प्रवास अधिक सुलभ करणे, बसस्थानकांवर प्रीपेड टॅक्सी व्यवस्था उपलब्ध करून प्रवाशांचा प्रवास अधिक सोयीस्कर बनवणे तसेच महाराष्ट्रात एकात्मिक, शाश्वत आणि पर्यावरणपूरक शहरी वाहतूक व्यवस्थेला चालना देणे ✅ भारत टॅक्सी प्लॅटफॉर्मच्या माध्यमातून निश्चित MSRTC बसस्थानकांवर प्रवाशांना अखंड लास्ट-माईल कनेक्टिव्हिटी उपलब्ध करून देणे ✅ थेट येणाऱ्या प्रवाशांची सोय करण्यासाठी प्रमुख वाहतूक केंद्रांवर सुव्यवस्थित आणि कायमस्वरूपी 'प्रीपेड' बुथ्स उभारणे. ✅ शहरातील इलेक्ट्रिक बसेस आणि एमएसआरटीसीच्या लांब पल्ल्याच्या बस ताफ्यावर संरचित संयुक्त ब्रँडिंगद्वारे शाश्वत वाहतूक व्यवस्थेला प्रोत्साहन देणे. ✅ महिला, ज्येष्ठ नागरिक आणि दिव्यांगांसह सर्व प्रवाशांसाठी सुरक्षित, परवडणारी आणि विश्वासार्ह टॅक्सी सेवा उपलब्ध करून देणे. ✅ ट्रॅकिंग सुविधा, कॅशलेस व ॲप-आधारित टॅक्सी सेवांद्वारे प्रवाशांच्या सुरक्षिततेला बळकटी देणे. डिजिटल आपत्कालीन प्रतिसाद प्रणालीशी समन्वय साधणे. तसेच नियोजित टॅक्सी सुविधा क्षेत्रांचे (Taxi Facilitation Zones) प्रभावी नियमन करणे. ✅ महानगरपालिकेच्या क्षेत्रात सुरक्षित, नियोजित, ॲप-आधारित आणि कॅशलेस टॅक्सी सेवांद्वारे शहरी वाहतूक व्यवस्था अधिक सक्षम करणे. ✅ सार्वजनिक वाहतूक केंद्र आणि नागरिकांची मोठी वर्दळ असलेल्या ठिकाणी फर्स्ट-माईल व लास्ट-माईल कनेक्टिव्हिटी वाढवणे, हरित व इलेक्ट्रिक मोबिलिटीला प्रोत्साहन देणे तसेच TMC, NMMC आणि MCGM यांच्या स्मार्ट सिटी व डिजिटल गव्हर्नन्स उपक्रमांना बळकटी देणे. ✅ नवी मुंबई आंतरराष्ट्रीय विमानतळ (NMIA) परिसरात ‘भारत टॅक्सी’ प्लॅटफॉर्मच्या व्यावसायिक अंमलबजावणी आणि दैनंदिन व्यवस्थापनासाठी धोरणात्मक भागीदारी प्रस्थापित करणे. यावेळी केंद्रीय राज्यमंत्री मुरलीधर मोहोळ, मंत्री बाबासाहेब पाटील, आमदार मंदा म्हात्रे, आमदार महेश बालदी, आमदार प्रशांत ठाकूर व इतर मान्यवर उपस्थित होते. @Dev_Fadnavis @mohol_murlidhar @babasahebpati1 @MlaMandaMhatre @mlamaheshbaldi @ithakurprashant @coopbharattaxi @msrtcofficial @TMCaTweetAway @NMMConline @Cosmospune #Maharashtra# #DevendraFadnavis# #BharatTaxi#

सहकारातून समृद्धी... 🔸CM Devendra Fadnavis flags off the Bharat Taxi Service at Navi Mumbai International Airport. Union MoS Murlidhar Mohol, Minister Babasaheb Patil, MLA Manda Mhatre, MLA Mahesh Baldi, MLA Prashant Thakur and other dignitaries were present. 🔸मुख्यमंत्री देवेंद्र फडणवीस यांच्या हस्ते नवी मुंबई आंतरराष्ट्रीय विमानतळ येथे भारत टॅक्सी सेवेचा हिरवा झेंडा दाखवून शुभारंभ. यावेळी केंद्रीय राज्यमंत्री मुरलीधर मोहोळ, मंत्री बाबासाहेब पाटील, आमदार मंदा म्हात्रे, आमदार महेश बालदी, आमदार प्रशांत ठाकूर व इतर मान्यवर उपस्थित होते. 🔸मुख्यमंत्री देवेंद्र फडणवीस इनके करकमलों से नवी मुंबई अंतरराष्ट्रीय हवाई अड्डे पर भारत टैक्सी सेवा का हरी झंडी दिखाकर शुभारंभ। इस अवसर पर केंद्रीय राज्यमंत्री मुरलीधर मोहोल, मंत्री बाबासाहेब पाटील, विधायक मंदा म्हात्रे, विधायक महेश बालदी, विधायक प्रशांत ठाकूर एवं अन्य मान्यवर उपस्थित थे। 🕧 12.20pm | 23-7-2026📍Navi Mumbai | दु. १२.२० वा. | २३-७-२०२६📍नवी मुंबई. @Dev_Fadnavis @mohol_murlidhar @babasahebpati1 @MlaMandaMhatre @mlamaheshbaldi @ithakurprashant @coopbharattaxi #Maharashtra# #DevendraFadnavis# #BharatTaxi#

Let' rock it! 如果你需要画一张专业的技术图，fireworks-tech-graph 绝对值得拥有！ 8.5k star,无任何推广，全都是自来水推荐。 开源地址：

[#요서비의요즘것들#] 빵돌이가 대전 빵택시에 탔을 때 벌어지는 일 🥖🚕 | 빵택시, 성심당, 콜드버터베이크샵, 파이가든 | 요서비의 요즘것들 EP.5 💛 #하이라이트# #HIGHLIGHT# #비스트# #BEAST# #양요섭# #YANGYOSEOP#