Aiden (@wohsj110)
@wohsj110
0 正在关注 0 粉丝
本地跑模型的可以试试 Strata（ Qwen3.8-Flash-Next 做的推理引擎。同一张 RTX 3090 跑 IQ3_S，短问答 67 tok/s，llama.cpp 只有 20 tok/s，三倍多。思路很野：显存只放常驻部分和热点 experts，路由 experts 丢内存，n-gram embedding 表直接放 SSD 靠页缓存预读，CPU 那边还专门给 Q2_0 写了 AVX-512 VNNI 内核。作者用 12G 的 RTX 5070 跑 IQ3_XXS 也有 65.6 tok/s……24G 显存突然没那么刚需了
显示更多
@imwsl90 很多草根创业，总想玩一把大的，又没有行业经验，其实有个稳定的几十万副业收入就可以知足了，看不上不了解的小生意其实都大有搞头
