小互 (@xiaohu) “PrismML 将 27B 模型塞进你的 iPhone 里 而且智商几乎没怎么缩水 PrismML公司基于Qwen” — TopicDigg
小互
@xiaohu
加入 March 2024
0 正在关注 0 粉丝
PrismML 将 27B 模型塞进你的 iPhone 里
而且智商几乎没怎么缩水
PrismML公司基于Qwen3.6-27B模型，将约 54GB 的 27B 模型压到约 3.9–5.9GB
使其能在手机上运行
在「高强度思考模式」下用 15 项测试对比原版：
Ternary 版本（5.9GB 电脑版）：保留了原版 95% 的战斗力！
1-bit 版本（3.9GB 手机版）：也保留了 90% 的战斗力！
在电脑（RTX 5090）上最快能达到每秒 163 个字；在苹果 M5 Max 芯片上也能达到每秒 87 个字。
显示更多
