响马 (@xicilion) “还是太大了。4bits 量化就很难用了，2bits 更是耽误时间。” — TopicDigg
响马
@xicilion
。。。。。。
加入 August 2011
3.4K 正在关注 68.3K 粉丝
还是太大了。4bits 量化就很难用了，2bits 更是耽误时间。
GLM-5.2 can now be run locally!🔥
The 2-bit model retains ~82% accuracy after we shrunk it from 1.51TB to 238GB (-84% size).
Run on a 256GB Mac or RAM/VRAM setups.
GLM-5.2 is the strongest open model to date.
Guide:
GGUF:
显示更多
