Max For AI (@MaxForAI) “离谱，2.78万亿参数的Kimi K3，现在真的可以用8GB内存跑了？？！ 有开发者刚刚开源了k” — TopicDigg
Max For AI
@MaxForAI
加入 September 2023
0 正在关注 0 粉丝
离谱，2.78万亿参数的Kimi K3，现在真的可以用8GB内存跑了？？！
有开发者刚刚开源了kimi-k3-in-c：一个只有176KB的纯C99推理引擎。
不需要GPU，不需要CUDA，甚至不需要PyTorch或者BLAS，一颗CPU就能直接推理Kimi K3。
原理其实很暴力。
Kimi K3虽然有2.78T参数，但它是MoE模型，每层896个专家里一次只激活16个。
所以开发者干脆不把1.56TB权重全部装进内存，而是把绝大部分专家留在NVMe里，需要哪个专家，就从硬盘现场读取哪个；连dense trunk都可以逐层stream。
当然，代价也非常大。
8GB模式下大约32.7秒才能吐一个token，而且你还是得有接近1.7TB的高速硬盘。
也许这个思路对于优化推理Infra有一些帮助，但目前这个就是一个玩具🫡
显示更多
You can now run a 2.78 trillion parameter model on a CPU with 8.24 GB of RAM 🤯
kimi-k3-in-c is a 176KB pure C99 engine that streams Kimi K3’s experts from disk instead of loading them into memory.
no GPU. no CUDA. no framework.
100% Open Source.
显示更多
