与「兔子」相关的搜索结果

# 模型缩小四倍还不翻车？不是压得够狠，是量得够准 先说结论：大多数人以为量化是把模型压小一点、省一点显存，压得越狠、省得越多，这个想法只对了一半。量化真正值钱的地方不是省显存，是省钱加变快，模型缩小两到四倍之后，小批次推理常常反而更快，因为瓶颈不在算力，在记忆体频宽，搬的位元组少了，每秒吐出的字元单位就多了。作者第一次把大模型推到真实使用者面前，七 B 模型用十六位元载入，光权重就吃掉十四 GB 左右的显存，帐单难看得很，有人随口问一句要不要试试量化，她当晚掉进一堆缩写的兔子洞，才整理出这篇指南。 先说清楚底线：十六位元每权重两位元组，七 B 模型约十四 GB、十三 B 模型约二十六 GB。压到八位元，七 B 模型约七 GB、十三 B 模型约十三 GB。压到四位元，七 B 模型约四 GB、十三 B 模型约七 GB，模型缩小两到四倍。作者打了一个很准的比方，量化就像把照片从巨大原始档压成调校过的压缩图，手机上看起来几乎一模一样，体积却只剩一小部分。权重就是模型的照片，十六位元是原始档，四位元是压缩图，压得好，大多数人看不出差别，压得不好，细节先糊掉。关键在压得好不好，不在压得多不多。 怎么做？顺序只有一个，先用五分钟实验确认方向，再挑上线或随处跑的格式，最后拿自己的提示词量过再灰度发布。五分钟实验用四位元载入工具快速试，零校准资料、零转换步骤，一个下午就能知道显存占用下降约七成、模型还能不能讲话。显卡上线用服务引擎带量化参数直接起一个相容接口，热门模型在模型仓库里已经有现成的四位元检查点，不用自己压，没有就用压缩工具自己做一个。随处可跑的路是转成通用格式再量化，中央处理器、笔电和苹果晶片都能跑，四位元中档是尺寸与品质的甜蜜点，更保险就往上走五位元或六位元。 小心三件事。第一，压完只跑几个提示词就上线一定翻车，作者就是这样翻车的，结构化资料输出偶尔格式损坏，两天后才被使用者抓到，通用评测完全没抓到。第二，只看困惑度就放行不够，困惑度看起来没问题，任务品质可能已经悄悄下滑，它只能当参考，不能当唯一的验收标准。第三，别以为压完就一定变快，一种格式只有在服务引擎有对应的最佳化核心时才会真的变快，没在你自己的机器上实测过，纸上变快不算数。还要记住，键值快取不随权重量化缩小，长上下文服务照样可能爆记忆体，瓶颈在这里要另外看。 再往上加东西也有顺序：先写五十到一百条真实提示词，对照十六位元基线一条一条比，刻意去测最先崩的几类任务，长上下文、结构化 结构化资料 与函式呼叫、数学、程式码、非英文。验收不是打分数，是找变差的任务集中在哪里，集中在 结构化资料格式就升那类任务的位元，散在各处就整体升一档。真实负载下测延迟与吞吐量，不是空闲显卡上跑一条请求。最后先切一小部分流量灰度发布，没问题再全量，出问题立刻切回十六位元版，不要等到全部使用者都中奖才动手。 一句话：量化不是免费压缩，是一场交易，你只有量得够准，才有资格拿这场交易去换更小的帐单。今晚就能做的事：挑一个你正在跑的模型，用四位元载入工具跑一次五分钟实验，看看显存占用下降约七成之后，它回的第一句话还像不像它自己。 S1哥观点：别再问量化是不是把模型压坏的便宜行事，压坏模型的从来不是量化本身，是你压完只跑几个提示词、看一眼困惑度就敢上线。作者的教训就摆在那里，结构化资料输出偶尔格式损坏，通用评测完全没抓到，两天后使用者才回报。量化真正值钱的地方也不在省显存那一行，是小批次推理反而可能更快，因为瓶颈在记忆体频宽，搬的位元组少了，每秒吐出的字元单位就多了。更值得问的是，你现在跑的那个模型，是卡在帐单、卡在显卡太小，还是卡在速度？那个卡点，决定了你该挑哪种格式、压到几位元。你第一个想压小上线的模型是哪一个？评论区说说。 收藏用清单（照着做）： 1. 先算帐再动手，七 B 模型约十四 GB，压到四位元约四 GB，模型缩小两到四倍，再留键值快取和执行开销的位置。 2. 挑对格式再压，快速实验用四位元载入工具，显卡上线用四位元的两种主流方法，笔电用通用格式，新款卡用八位元浮点。 3. 跑五分钟实验，确认显存占用下降约七成、模型回复正常，再写五十到一百条真实提示词对照十六位元基线逐条比。 4. 刻意测最先崩的五类任务，真实负载下测速度，先切小流量灰度发布，没问题再全量。 转给还在为模型帐单头痛的朋友，压小两到四倍再上线，量得准才不会翻车，他今晚就能先跑五分钟实验。

50 个传奇级的互联网兔子洞，够你逛上好几个小时👇 1. — 通过实时卫星图像看世界 2. — 查看当前天空中每一架飞机 3. — 实时追踪海上所有船只 4. — 风和风暴的实时地图 5. — 实时观看击中地球的闪电 6. — 近期地震的实时列表 7. — 承载互联网的海底电缆 8. — 从太空看森林消失 9. — 世界统计数据，每秒更新 10. — 当前正在发布的推文和搜索数量 11. — 比较各国的真实大小 12. — 几个世纪前的地图 13. — 15 万张历史地图的档案 14. — 由志愿者绘制的世界地图 15. — 看看世界上某个随机的人窗外是什么样 16. — 在城市中虚拟漫步 17. — 传送到地球上随机一个地点 18. — 世界上最奇怪地点的目录 19. — 互动式知识体验 20. — 从原子到宇宙的尺度之旅（已更新 HTML5 链接） 21. — 以 3D 方式探索太阳系 22. — 浏览器里的真实星空图 23. — NASA 的每日天文图片 24. — NASA 的全部视觉档案，免费 25. — 用数据讲述的视觉文章 26. — 用真实数据看世界现状 27. — 我们对世界的错误认知 28. — 将复杂数据可视化 29. — 世界银行的开放数据 30. — 土耳其官方统计数据库 31. — 数百万本书、电影和软件的档案 32. — 7 万本版权已过期的免费书籍 33. — 世界上每一本书的记录 34. — 美国国会图书馆数字档案 35. — 欧洲文化遗产档案 36. — 美国的数字图书馆收藏 37. — 在家参观博物馆 38. — 下载高分辨率艺术作品 39. — 25 万件艺术品的档案 40. — 历史上被遗忘的视觉珍宝 41. — 免费的文化与教育档案 42. — 大都会博物馆的开放收藏 43. — 音乐流派的家谱 44. — 选一个国家和年代，听那个时代的音乐 45. — 把维基百科的编辑变成音频 46. — 随机知识之井 47. — 时间、日出和天象事件 48. — 科学新闻的实时流 49. — 科学论文的免费预印本 50. — 用实时代码可视化数据 收藏这条。你以后肯定会用到其中一些。🔖

二零零四年 7 月 13 日宣判，内特在法庭上哭着跟爸妈说，我给你们丢脸了，让你们失望了。法官当场判了他十二年，旁听席上坐满了他家里人，一听到这个数，有人倒吸一口凉气，有人直接捂住了嘴。 斯卡兹和托弗各判了两年半，其他人从两年缓刑到将近四年不等。法官还跟几个背夫说，你们离十年起步的最低刑，就差那么一点点。 巴菲被判了缓刑，法官让她缓刑期间天天在脖子上挂一把钥匙，提醒她自己的将来攥在自己手里，别再犯了。她倒好，一口气买了四把，金的、白金的、镶钻的，还有一把是花花公子兔子的。 这伙人到底运了多少，其实没人说得准。警察估计是一万七千磅，也就是七吨多，可真能写进起诉书、有凭有据的，只有二十一趟、一吨多。检方说团伙二十二个月赚了将近六百五十万美元，内特自己说，他两年里赚了一百三十万左右，也差不多全花光了。

比特币 bitcoin:native 10月8日到 11.7日戊戌月走势已经同步在兔子的网站上，有需要阅读的请看评论区网站链接，支持交易所币安和欧易内部转账，也支持加密货币 USDT 链上转账。 如果您其他支付方式，可以私信我，到时候用图三所示解锁码方式解锁即可。 感谢昨晚一位小姐姐，我还没做好，就提前转 U 给兔子了。 祝愿大家国庆假期愉快。

为什么女孩子总是喜欢玩偶，毛绒绒的玩偶？为什么很多人喜欢养狗，猫？ 毛绒绒的玩偶，在☯️玄学上可以用正印代表，这是一种保护，同时妈妈也是用印来代表的。 不知道大家有没有经历过缺少安全感的时候，不愿意脱衣服和洗澡，只想躺在床上？ 我经历过这种时候，我害怕洗澡，脱光了衣服，我会很没有安全感，别人眼里觉得我可能神经病了，这种只有缺少安全感的人才能懂。 缺少安全感的人，是需要毛绒绒的东西陪伴的，狗狗，猫都是毛绒绒的，很多人喜欢撸猫，其实这是一种情感的需求，背后是陪伴，安全感的满足。 谢谢 @0xLaughing 笑总，分享了 @GoKiteAI 的 Agent Passport 活动，这个活动很治愈兔子。 我研究了一晚上做好了 @Muse 能够治愈我的毛绒头像，大家觉得怎么样？ 图一是我现在的头像，图二是我通过 Muse 做的毛茸茸的头像，我做了几个版本，这个后面有一双天使，天使也像妈妈一样，可以保护我，关爱我，愿我能重新做那个无忧无虑的女孩子。

TDSKILL-basic 把兔导 195 篇公众号推文（45 万字）拆成 1144 个知识原子，做成 8 个 Skills，覆盖认知、展示面、搭讪、聊天、约会、长期关系和学习方法。 “兔导（兔子舞），985经济学本硕，实战理论结合的情感导师。”

Break the boundaries. Build your own world Most games tell you what to do. HappyOyster 1.0 lets you decide how it’s done. Take total control over your adventure and build the world you want to explore. Co-created by 2015浮岚, 小飞探索者, 兔子鸽 using @HappyHorseATH x HappyOyster. The infinite starts here. Are you the next explorer?