AI Will (@FinanceYF5) “🧵MoE 大模型可能有一半专家计算，其实都花在了不需要专家的 token 上 1/ ⚡️一半专家” — TopicDigg
AI Will
@FinanceYF5
增长顾问 | AI行业分析师，Learn in Public
加入 July 2022
2.4K 正在关注 188.5K 粉丝
🧵MoE 大模型可能有一半专家计算，其实都花在了不需要专家的 token 上
1/ ⚡️一半专家白忙了
MoE 模型看起来已经很省算力，但论文发现：很多 token 根本不需要专家处理。
ZEDA 让模型学会“该省就省”，最高跳过约 50% 专家计算。👇
显示更多
