剑的 AI 实验室 (@swordBluesy) “# 模型缩小四倍还不翻车？不是压得够狠，是量得够准 先说结论：大多数人以为量化是把” — TopicDigg

# 模型缩小四倍还不翻车？不是压得够狠，是量得够准 先说结论：大多数人以为量化是把模型压小一点、省一点显存，压得越狠、省得越多，这个想法只对了一半。量化真正值钱的地方不是省显存，是省钱加变快，模型缩小两到四倍之后，小批次推理常常反而更快，因为瓶颈不在算力，在记忆体频宽，搬的位元组少了，每秒吐出的字元单位就多了。作者第一次把大模型推到真实使用者面前，七 B 模型用十六位元载入，光权重就吃掉十四 GB 左右的显存，帐单难看得很，有人随口问一句要不要试试量化，她当晚掉进一堆缩写的兔子洞，才整理出这篇指南。 先说清楚底线：十六位元每权重两位元组，七 B 模型约十四 GB、十三 B 模型约二十六 GB。压到八位元，七 B 模型约七 GB、十三 B 模型约十三 GB。压到四位元，七 B 模型约四 GB、十三 B 模型约七 GB，模型缩小两到四倍。作者打了一个很准的比方，量化就像把照片从巨大原始档压成调校过的压缩图，手机上看起来几乎一模一样，体积却只剩一小部分。权重就是模型的照片，十六位元是原始档，四位元是压缩图，压得好，大多数人看不出差别，压得不好，细节先糊掉。关键在压得好不好，不在压得多不多。 怎么做？顺序只有一个，先用五分钟实验确认方向，再挑上线或随处跑的格式，最后拿自己的提示词量过再灰度发布。五分钟实验用四位元载入工具快速试，零校准资料、零转换步骤，一个下午就能知道显存占用下降约七成、模型还能不能讲话。显卡上线用服务引擎带量化参数直接起一个相容接口，热门模型在模型仓库里已经有现成的四位元检查点，不用自己压，没有就用压缩工具自己做一个。随处可跑的路是转成通用格式再量化，中央处理器、笔电和苹果晶片都能跑，四位元中档是尺寸与品质的甜蜜点，更保险就往上走五位元或六位元。 小心三件事。第一，压完只跑几个提示词就上线一定翻车，作者就是这样翻车的，结构化资料输出偶尔格式损坏，两天后才被使用者抓到，通用评测完全没抓到。第二，只看困惑度就放行不够，困惑度看起来没问题，任务品质可能已经悄悄下滑，它只能当参考，不能当唯一的验收标准。第三，别以为压完就一定变快，一种格式只有在服务引擎有对应的最佳化核心时才会真的变快，没在你自己的机器上实测过，纸上变快不算数。还要记住，键值快取不随权重量化缩小，长上下文服务照样可能爆记忆体，瓶颈在这里要另外看。 再往上加东西也有顺序：先写五十到一百条真实提示词，对照十六位元基线一条一条比，刻意去测最先崩的几类任务，长上下文、结构化 结构化资料 与函式呼叫、数学、程式码、非英文。验收不是打分数，是找变差的任务集中在哪里，集中在 结构化资料格式就升那类任务的位元，散在各处就整体升一档。真实负载下测延迟与吞吐量，不是空闲显卡上跑一条请求。最后先切一小部分流量灰度发布，没问题再全量，出问题立刻切回十六位元版，不要等到全部使用者都中奖才动手。 一句话：量化不是免费压缩，是一场交易，你只有量得够准，才有资格拿这场交易去换更小的帐单。今晚就能做的事：挑一个你正在跑的模型，用四位元载入工具跑一次五分钟实验，看看显存占用下降约七成之后，它回的第一句话还像不像它自己。 S1哥观点：别再问量化是不是把模型压坏的便宜行事，压坏模型的从来不是量化本身，是你压完只跑几个提示词、看一眼困惑度就敢上线。作者的教训就摆在那里，结构化资料输出偶尔格式损坏，通用评测完全没抓到，两天后使用者才回报。量化真正值钱的地方也不在省显存那一行，是小批次推理反而可能更快，因为瓶颈在记忆体频宽，搬的位元组少了，每秒吐出的字元单位就多了。更值得问的是，你现在跑的那个模型，是卡在帐单、卡在显卡太小，还是卡在速度？那个卡点，决定了你该挑哪种格式、压到几位元。你第一个想压小上线的模型是哪一个？评论区说说。 收藏用清单（照着做）： 1. 先算帐再动手，七 B 模型约十四 GB，压到四位元约四 GB，模型缩小两到四倍，再留键值快取和执行开销的位置。 2. 挑对格式再压，快速实验用四位元载入工具，显卡上线用四位元的两种主流方法，笔电用通用格式，新款卡用八位元浮点。 3. 跑五分钟实验，确认显存占用下降约七成、模型回复正常，再写五十到一百条真实提示词对照十六位元基线逐条比。 4. 刻意测最先崩的五类任务，真实负载下测速度，先切小流量灰度发布，没问题再全量。 转给还在为模型帐单头痛的朋友，压小两到四倍再上线，量得准才不会翻车，他今晚就能先跑五分钟实验。