Xudong Han (@Xudong07452910) “Hacker News 上有一篇评论区火了的文章：Qwen 3.6 27B 是本地开发的理想选择。 核心发” — TopicDigg
Xudong Han
@Xudong07452910
加入 November 2020
0 正在关注 0 粉丝
Hacker News 上有一篇评论区火了的文章：Qwen 3.6 27B 是本地开发的理想选择。
核心发现是：密集参数模型、原生支持 256k 上下文，在 MacBook Max M5 上跑 Q8_0 量化版能达到 30 tokens/s，RTX 5090 上能到 50 tokens/s。
作者称它为「首个真正具备通用智能的本地模型」，以前本地模型总有木桶短板，这次用一个提示同时完成创意写作和生成六边形扫雷游戏，两件事都做得不错。
这个评价背后是一个更大的趋势：云端大模型多年打磨出的工程积累，正在开始向本地 scale down。隐私优先、延迟可控、离线可用，这三个以前要互相妥协的需求，现在开始可以同时满足。
现在「足够好的本地模型」这条线，正向我们靠近。如果 30B 级别的模型真能达到通用水准，日常开发和轻量 Agent 任务不依赖 API 调用这件事，可能比大多数人想象的近。
显示更多
