与「空閑時評」相关的搜索结果

# 模型缩小四倍还不翻车？不是压得够狠，是量得够准 先说结论：大多数人以为量化是把模型压小一点、省一点显存，压得越狠、省得越多，这个想法只对了一半。量化真正值钱的地方不是省显存，是省钱加变快，模型缩小两到四倍之后，小批次推理常常反而更快，因为瓶颈不在算力，在记忆体频宽，搬的位元组少了，每秒吐出的字元单位就多了。作者第一次把大模型推到真实使用者面前，七 B 模型用十六位元载入，光权重就吃掉十四 GB 左右的显存，帐单难看得很，有人随口问一句要不要试试量化，她当晚掉进一堆缩写的兔子洞，才整理出这篇指南。 先说清楚底线：十六位元每权重两位元组，七 B 模型约十四 GB、十三 B 模型约二十六 GB。压到八位元，七 B 模型约七 GB、十三 B 模型约十三 GB。压到四位元，七 B 模型约四 GB、十三 B 模型约七 GB，模型缩小两到四倍。作者打了一个很准的比方，量化就像把照片从巨大原始档压成调校过的压缩图，手机上看起来几乎一模一样，体积却只剩一小部分。权重就是模型的照片，十六位元是原始档，四位元是压缩图，压得好，大多数人看不出差别，压得不好，细节先糊掉。关键在压得好不好，不在压得多不多。 怎么做？顺序只有一个，先用五分钟实验确认方向，再挑上线或随处跑的格式，最后拿自己的提示词量过再灰度发布。五分钟实验用四位元载入工具快速试，零校准资料、零转换步骤，一个下午就能知道显存占用下降约七成、模型还能不能讲话。显卡上线用服务引擎带量化参数直接起一个相容接口，热门模型在模型仓库里已经有现成的四位元检查点，不用自己压，没有就用压缩工具自己做一个。随处可跑的路是转成通用格式再量化，中央处理器、笔电和苹果晶片都能跑，四位元中档是尺寸与品质的甜蜜点，更保险就往上走五位元或六位元。 小心三件事。第一，压完只跑几个提示词就上线一定翻车，作者就是这样翻车的，结构化资料输出偶尔格式损坏，两天后才被使用者抓到，通用评测完全没抓到。第二，只看困惑度就放行不够，困惑度看起来没问题，任务品质可能已经悄悄下滑，它只能当参考，不能当唯一的验收标准。第三，别以为压完就一定变快，一种格式只有在服务引擎有对应的最佳化核心时才会真的变快，没在你自己的机器上实测过，纸上变快不算数。还要记住，键值快取不随权重量化缩小，长上下文服务照样可能爆记忆体，瓶颈在这里要另外看。 再往上加东西也有顺序：先写五十到一百条真实提示词，对照十六位元基线一条一条比，刻意去测最先崩的几类任务，长上下文、结构化 结构化资料 与函式呼叫、数学、程式码、非英文。验收不是打分数，是找变差的任务集中在哪里，集中在 结构化资料格式就升那类任务的位元，散在各处就整体升一档。真实负载下测延迟与吞吐量，不是空闲显卡上跑一条请求。最后先切一小部分流量灰度发布，没问题再全量，出问题立刻切回十六位元版，不要等到全部使用者都中奖才动手。 一句话：量化不是免费压缩，是一场交易，你只有量得够准，才有资格拿这场交易去换更小的帐单。今晚就能做的事：挑一个你正在跑的模型，用四位元载入工具跑一次五分钟实验，看看显存占用下降约七成之后，它回的第一句话还像不像它自己。 S1哥观点：别再问量化是不是把模型压坏的便宜行事，压坏模型的从来不是量化本身，是你压完只跑几个提示词、看一眼困惑度就敢上线。作者的教训就摆在那里，结构化资料输出偶尔格式损坏，通用评测完全没抓到，两天后使用者才回报。量化真正值钱的地方也不在省显存那一行，是小批次推理反而可能更快，因为瓶颈在记忆体频宽，搬的位元组少了，每秒吐出的字元单位就多了。更值得问的是，你现在跑的那个模型，是卡在帐单、卡在显卡太小，还是卡在速度？那个卡点，决定了你该挑哪种格式、压到几位元。你第一个想压小上线的模型是哪一个？评论区说说。 收藏用清单（照着做）： 1. 先算帐再动手，七 B 模型约十四 GB，压到四位元约四 GB，模型缩小两到四倍，再留键值快取和执行开销的位置。 2. 挑对格式再压，快速实验用四位元载入工具，显卡上线用四位元的两种主流方法，笔电用通用格式，新款卡用八位元浮点。 3. 跑五分钟实验，确认显存占用下降约七成、模型回复正常，再写五十到一百条真实提示词对照十六位元基线逐条比。 4. 刻意测最先崩的五类任务，真实负载下测速度，先切小流量灰度发布，没问题再全量。 转给还在为模型帐单头痛的朋友，压小两到四倍再上线，量得准才不会翻车，他今晚就能先跑五分钟实验。

TBSラジオ #こねくと954# 今週もありがとうございました☔️ 先週の代打回と #ダレハナ# の蓮華さんの感想の違いが蓮華さんらしかった〜！すっかりお元気そうで何より！元気が1番！ #空閑時評# は就活解禁について！でか美ちゃんと3人交互に面接官役やるのかと思ってたら蓮華さんが面接官の面接官でした👓

AX：谷歌开源的Agent调度系统 专门用来管理和运行“AI 智能体”的调度系统。现在的 AI 不仅能回答问题，还能像真人助理一样，自主使用各种工具、查阅资料甚至编写运行代码来完成复杂任务。但当海量的 AI 助理同时运转时，后台就需要一个强有力的“交通指挥中心”来统一分配计算资源并确保安全。AX 承担的就是这个指挥官的角色。 它主要解决了普通服务器难以应对的几个实际难题： 1）提供安全的独立运行空间：AI 可能会在后台运行各种代码，AX 会给每个 AI 分配独立的虚拟沙盒，限制好内存和算力，防止程序失控或相互干扰。 2）提前准备好工作环境：在 AI 开始工作前，系统会自动把代码库、工具接口和依赖文件准备妥当，让 AI 可以随时投入工作。 3）随时暂停与恢复：当 AI 暂时空闲时，系统能保存当前进度并休眠，等需要时再从原进度继续，以此节省大量的运行成本。 4）支持实时排查：管理者能够随时进入 AI 当前工作的后台环境，像站在 AI 身后一样观察具体进度并排查问题。 Github：

这个人开发了一款完全在终端运行的 Chromium 浏览器。 它叫 Carbonyl，能够在你的命令行中渲染真实的网页。最棒的一点是，它在空闲时的 CPU 占用率为 0%。 100% 开源。

Google 开源了 "Agent 工作负载的 Kubernetes"「AX」 AX 是为 Agent 设计的声明式编排运行时，你用 YAML 声明一个 Agent 任务，AX 负责在集群中沙箱化、配置环境、管控网络并大规模运行它。 开源地址： 它解决什么问题 项目的立论很清晰：Agent 是一种既有的编排体系都不匹配的新型工作负载。 · 它不像微服务(无状态、常驻)，Agent 会持续积累状态(对话记忆、工作区文件、工具会话); · 它不像批处理作业(跑完即弃)，Agent 大部分时间在等待，等模型响应、等工具返回、等人类审批，期间沙箱空转烧钱; · 它运行的是不可信代码，需要严格隔离；它还调用外部模型 API 和 MCP 工具服务器，需要网络与凭据管控。 架构：四个二进制 + Redis 四个二进制分工：ax(开发者 CLI)、ax-server(无状态 gRPC API)、ax-controller(调和循环)、ax-task-runner(每个任务容器内的 PID 1)。 核心原语：Task / Workspace / Model (+ Gateway) Task 是最小执行单元：带 CPU/内存限制的隔离沙箱。AX 刻意把它做得细粒度、可自由组合：一个任务可以是全部工作,也可以是任务树的根节点。生命周期用 status.phase + Conditions 表达,支持挂起(检查点保存状态)与恢复。 Workspace 是最有产品想象力的一层。它把“环境准备”声明化:列出需要的 Git 仓库、MCP 服务器、技能包,runner 在命令启动前物化好。更激进的是 generative workspace:你可以只写一句自然语言目标("搭一个 Python 3 开发环境"),首次启动时 runner 会派一个引导 Agent(Antigravity,需 GEMINI_API_KEY,默认限时 10 分钟)去实际安装工具链并验证依赖。声明一次,任意任务复用。 Model 把“用哪个模型、什么参数、密钥在哪”抽成命名资源,密钥引用 K8s Secret。轮换密钥、锁版本、调温度只需一次 ax apply。 沙箱与运行时细节 每个任务容器以 ax-task-runner 为 PID 1：启动元数据服务(端口 80,HTTP/1.1+h2c,暴露 /healthz、/readyz 和任务/工作区自省端点——Agent 不需要 SDK 就能读到自己的配置)、按绑定顺序初始化工作区、然后 fork 出 spec.command 并持续监管。命令退出后 runner 仍驻留,所以 ax ssh 和元数据服务在命令结束后依然可用。停机采用 SIGTERM + 10 秒宽限 + 强杀的两级策略。 安全模型有几处值得注意的门控：guest 服务(任意进程执行与文件读写,ax ssh 的底层)默认关闭,只在 debug: true 时开启——ax ssh 连不上未开启的任务是刻意的安全设计,不是故障;Gateway 用显式 allowlist 管控出站流量,并可向入站请求注入凭据,避免把 API key 直接塞进 Agent 环境。 路线图透露的方向 五大方向：Actor 架构深化、空闲检测自动挂起、有状态任务 fork、任务级 SPIFFE 身份做零信任 mTLS、runner 层自动采集 OpenTelemetry 遥测与结构化 Agent 轨迹。

洋文书堆满御案，光绪掀起英文热 光绪帝一度非常热衷学习英文，皇帝的书桌上堆满了外文书籍。 被派去教授英文的，是出身京师同文馆的张德彝与沈铎。据总教习丁韪良披露，之所以要配备两名英语教师，是因为这项工作非常累人。 “每天半小时的英语课程是在清晨四点钟左右，老师们必须在半夜刚过就起身入宫，然后等上好几个小时”。 光绪很尊重自己的英文教师，“允许他们在自己在场时落座，而王爷和大臣都只能跪拜”。 光绪帝学英文这件事受到了中外媒体的热烈报道，阅读光绪帝所读的英文书籍成为一时风尚。上海的书店正版书售罄，出现了盗版。全国上下成千上万的青年学者都在跟着光绪研读西学。 1892年2月《纽约时报》刊登了特写文章《光绪皇帝学英语》，文章写道： “在数万万清国人中，有一个人思想的改变将直接影响国家的每一个人，这个人就是大清国皇帝陛下。” 光绪皇帝引领的这场英语学习热，持续了约三年时间。直到1894年底慈禧传令中止了皇帝的正规英语课程。 德龄公主在回忆录中说： “他常常趁我空的时候，问我些英文字……我们常常谈到西方文明，我很惊异他的对于每一事物懂得那样透彻。他屡次告诉我他对于自己国家的抱负，希望中国幸福。 夏天我比较空闲，每天能有一个钟头的时间替皇帝补习英文。他很聪明，记忆力又惊人的强，所以进步很快，然而他的发音不很正确，不久他就能够阅读一般学校英文课本中的短篇故事了，而且能够默写得很好，他的英文字写得非常美丽。”

发现一个能赚点外快的任务平台！ 字节旗下的模兜，是为豆包大模型采集训练数据的众包平台。 可以在上面找适合的任务去做，包含方言对谈、行业访谈等，时薪几十至数千元不等。 有空闲时间、感兴趣的朋友可以了解试试！

腾讯面临最大的问题，就是大多玩家的空闲时间，被隔壁字节跳动抢走了。 24 年手游玩家日均时长是 87 分钟，而 25 年下降到了 78 分钟，但这期间抖音用户日均 118 – 133 分钟，红果短剧日均 120 分钟，此外还有番茄小说、今日头条、西瓜视频、皮皮虾这些大矩阵，它们所有的产品，目的都是要你的时间。