mousepotato (@iluciddreaming) “玩了两个月本地 LLM。 用 Windows 11 + llama.cpp + llama-swap 狂测各种开源模型，这” — TopicDigg
mousepotato
@iluciddreaming
🇺🇸 硅谷 Builder｜AI 产品｜独立开发｜技术管理
👨🏻💻 写代码，也写产品、增长和团队管理
🚀 Build | Ship | Grow
👇 咨询合作注明来意
加入 April 2010
324 正在关注 7.9K 粉丝
玩了两个月本地 LLM。
用 Windows 11 + llama.cpp + llama-swap 狂测各种开源模型，这是我的最终成绩单：
硬件：i7-13700 + 64GB RAM + RTX 4070
目前最能打的组合是 gemma-4-12B-it-qat-UD-Q4_K_XL + MTP 辅助。
其他模型也都跑过，这个在速度和实际可用性的平衡上目前最优。
接下来就期待 DiffusionGemma 进到 llama.cpp 之后，再来继续玩
显示更多
