今天有好几个开源的小模型。
Mach-1 Additive:35B,1.7bit量化,16G Mac可以流畅运行。
模型:
Shieldstral 1.0 3B:多模态审核模型,仅3B,支持文字+图片输入,支持自定义审核规则。
模型:
Maple-Preview:20B总参数,1B激活参数,1.58bit量化,iPhone可运行,在M4 Mac Mini上可以达到218token/s。
模型:
Pokee-Isaac 28B:这个没开源,28B模型,特色是1000万上下文。luna水平和价格。
官方介绍:
显示更多