Aiden (@wohsj110) “本地跑模型的可以试试 Strata（https://t.co/ZA7JbMvHe8），专门给 Qwen3.8-Flash-Nex” — TopicDigg
Aiden
@wohsj110
加入 March 2014
0 正在关注 0 粉丝
本地跑模型的可以试试 Strata（ Qwen3.8-Flash-Next 做的推理引擎。同一张 RTX 3090 跑 IQ3_S，短问答 67 tok/s，llama.cpp 只有 20 tok/s，三倍多。思路很野：显存只放常驻部分和热点 experts，路由 experts 丢内存，n-gram embedding 表直接放 SSD 靠页缓存预读，CPU 那边还专门给 Q2_0 写了 AVX-512 VNNI 内核。作者用 12G 的 RTX 5070 跑 IQ3_XXS 也有 65.6 tok/s……24G 显存突然没那么刚需了
显示更多
