lifcc (@mylifcc) “Google再次发力，昨天Google 丢出了Gemma4 系列的QAT模型，直接让16GB MAC可以跑256k” — TopicDigg
lifcc
@mylifcc
加入 January 2022
0 正在关注 0 粉丝
Google再次发力，昨天Google 丢出了Gemma4 系列的QAT模型，直接让16GB MAC可以跑256k上下文的agent了。
之前有人说Gemma 4 12B 本地部署30k上下文没啥用，我用 Google QAT 尝试了一下，只要增加1.5GB内存就能打开256k上下文！
左边：常规 Q4_K_M @ 32K 右边：Google QAT Q4_0 @ 256K
同一台 Mac、同一 prompt、两个 llama-server 同时跑，实时对比内存、CPU、tok/s。
显示更多
