铁锤人 (@lxfater) “12GB 显存 + 64GB 内存，也能跑千亿模型了！！ 这个开源项目叫 Strata，跑的是 Qwen3.” — TopicDigg
铁锤人
@lxfater
加入 January 2012
0 正在关注 0 粉丝
12GB 显存 + 64GB 内存，也能跑千亿模型了！！
这个开源项目叫 Strata，跑的是 Qwen3.8-Flash-Next 的量化版
作者的测试配置是 RTX 5070（12GB 显存）+ Ryzen 5 7600 + 64GB 内存，短聊天生成速度：
Q2_0 版约 94 token/s
IQ3_S 版约 53 token/s
但 94 token/s 对应的是压缩更狠的 Q2_0，换量化版本、拉长上下文，速度都会变，实际效果也要按自己的任务试
但还有更离谱：
@ivanalog_com 用 Strata 加自己的代码优化，单张 5070 Ti 跑到约 2200 token/s 输入处理、67 token/s 生成
所以，问题是家用显卡如何塞得下千亿参数的模型？
实际上，这个项目利用 MoE 模型每次只调用一部分“专家”的特点，常用的放显存，其余由内存和 CPU 配合处理，SSD 还负责一张查询表，负责调度
我已经打算想在自己电脑上折腾大模型这个了
项目地址可以看看这个👇
显示更多
过去一周多，可能以后被证明是AI推理部署史上天翻地覆的一周。
上个周末，我的本地机双5070ti试跑Qwen Flash，只能做到200 prefill，10decode。
今天，在Strata和我自制的PR的支持下，目前可以跑到2200/67，而且只需要一张卡。
即读写速度都提高了近十倍。
更好的消费卡比如4090/5090，当然也有幅度相当大的升级（目前5090在流式处理的支持下，速度已经开始逼近RTX6000，当然显存还是不足）。
这当然带来了消费级硬件的新一轮大涨价。如今，就连曾经无人问津的 32G B70英特尔显卡都卖断货涨价了。
2200/67的速度是什么意思？
今天除了deepseek，muse等少数模型，大部分API达不到这个速度。
而一个普通的家用游戏电脑就可以达到这个水平。
而这个水平，一周以前，只有5090，DGX spark，M3U这样的机器可以达到。
也就是说，在过去的一周多，全球的普通家用电脑带来了十倍于上周的AI产量。
这个增量，得益于deepseek- Qwen flash这种特殊设计，把智力分成了注意力，专家，和查表，
也得益于Strata这样优秀的架构，把整个处理流水线化，让不同的智力，存储在不同速度的存储设备中，在需要用时刚好抵达。
这对所有愿意拥有本地智力的人，当然是极大的利好。
也许模型层的设计，正在快速收敛到一个目前硬件条件下的最优解？
然而这对依赖出卖模型算力的生意，尤其是平庸的智力的商业来说，也可能是催命符。
显示更多
