与「推理」相关的搜索结果

关于AI内存短缺最令人震惊的一点是，普通DRAM的每GB单价如今已高于HBM，这充分说明了需求正在多大程度上重塑市场格局。 而且AI所需的远不止HBM，以下是六类内存和存储的详细构成： • SRAM（3,000美元/GB）：用于AI推理的超高速片上内存 • HBM（20 美元/GB）：为 GPU 提供数据的高带宽内存 • DRAM（25 美元/GB）：服务器、个人电脑和手机的工作内存 • NAND（0.30 美元/GB）：用于存储 AI 上下文和推理数据的闪存 • HDD（0.016 美元/GB）——用于海量 AI 数据集的低成本大容量存储 • 磁带（0.008 美元/GB）——用于 AI 数据归档的长期存储 涉及这些层面的公司包括 $MU、$SKHY、$SNDK、$STX、$WDC、$IBM、$NVDA 和 $CBRS。

谷歌把Gemini 4这几个模型怎么选，说清楚了。 Carbon和Argon都是旗舰定位。 Carbon能力更强，适合复杂架构、疑难bug和深度推理，但可能更费token。 Argon能处理大多数需要持续多步执行的复杂任务，相比Carbon更省token。 Hydrogen主打速度和效率。 日常写代码、处理文档，或者当子agent并行干活都合适，也是官方推荐的Gemini 3.8 Flash升级方向。 三个模型都有100万token上下文，还能搭着用。 让Carbon定方案、啃难题，再把改代码、跑测试、并行执行这些活交给Hydrogen，官方文档直接给出了这种用法。

End-to-End 4-Bit Training：让大模型用更粗糙的数字格式完成全流程训练，大幅缩短显卡训练时间 训练大模型需要处理海量数据，直接把数字精度压到4位虽然能加快计算，但四舍五入累积的误差会严重拖垮模型的学习效果。 为了解决这个矛盾，Thinking Machines Lab在英伟达GB300显卡平台上开发了名为BBBK的专用底层加速程序。采取了分工策略，在模型向前推理计算时使用高速度的4位数字格式NVFP4，在向后更新参数时切回较精细的8位格式MXFP8，并在传输数据时顺手进行旋转压缩与随机舍入修正，省去了传统训练完成后还要单独做低精度校准的麻烦步骤。 这套方案应用在Inkling 2 Small模型的全流程训练中，显卡的运算管道和传输带宽同时跑满，没有出现互相等待的卡顿。原本需要好几周才能跑完的同体量模型，现在在GB300机柜上只用了68小时就完成了预训练。对比全程使用8位格式训练，新方案在预训练阶段节省了8%的时间，在强化学习阶段直接提速了20%，省下了大量算力开销，同时模型最终的回答准确率几乎没有受到影响。 链接：

中美大模型最新现状盘点： 🔻 国内模型：集体陷入停滞 ▪️ Kimi k3.1 pro：发版 100 天，毫无技术飞跃。 ▪️ Deepseek：至今交不出合格的 Pro 版。 ▪️ GLM 5.3：惊艳发版后，近 3 个月几乎交白卷。 ▪️ Qwen 4 Max：实测表现远低于预期。 🚀 海外巨头：前沿能力狂飙 ▪️ Gemini 4 Argon：主攻深层推理与前沿 Agent，拉满 100 万上下文，能实打实自主挖漏洞及控制机器人。 ▪️ Gemini 4 Hydrogen：主打极速编码工作流，直接上线 4 档“动态思考深度（Thinking Levels）”。 ▪️ GPT 序列：正在全面铺开高级复杂推理机制。 ▪️ Claude 5 系列：高速迭代，且通过底层分类器彻底锁死了外部“白嫖”思维链数据的通道。

这也是我一直思考的问题，AI发展至今，我认为提高的是认知效率，而不是智力 而提高认知效率的前提是使用者有一定的专业认知，在某个领域有专业认知的人，使用AI可以提高认知效率，提高工作效率，但是这并不意味着非专业人士可以在借助AI在某个领域提升独立思考的能力 如果一个人过度依赖AI提供的结论，自己的大脑却不在主动推理，想象，验证，反思与质疑，那么反而会让使用者的判断能力下降！ 其次，AI虽然提高了效率，提升我们在一定时间内的分析效率，但是在长期时间的积累下，也会让错误的基础总数变多 简单来说，我用AI计算一个问题，将原本分析时间从1小时提升为10分钟，并且将分析成功率从90%提升为98%，确实解决了问题 但是此类问题如果长期计算，因为AI的效率高，原本1小时会出现5个错误，那么使用AI则一小时可能会产生30个错误，长此以往积累下，错误的基础会更多 AI并非是100%正确，这是很多人的误区，更重要的是AI的错误会被规模化广泛传播，这才是致命的！ AI被视为人类新的工业革命，但是也同时引发很多人对行业冲击的压力！ AI代替人类，成为一个很多“普通人”的职业噩梦，尤其是在AI时代的初始阶段，大量初级工作被AI代替，其实也是因为人们对AI过分的信赖与信心导致 但是随着时间推移，人类会发现AI提供的是辅助而非代替，起码现在是如此，而辅助的前提是有需要被辅助的“人” 而当AI越来越多，错误的基础也越来越多的时候，如何判断AI错误？如何纠错？如果修正？这些问题依旧需要有“人”来解决 所以，以目前的视角来看，AI提高的事我们的生产效率，是工业革命，但是却无法完全代替人类，甚至可能因为AI效率的提升，创造更多的岗位 当然对于“打工人”的你我来说，最大的压力应该是——AI高效之下我们的工作压力会更大！

AI 时代的 e2e 测试该怎么做? 最近 GitHub 斩获 13.8k Star，刚拿了 800 万美金融资的开源 AI 测试框架 e2e，其创始团队技术布道师 Kacper Kapuściak 写了一篇非常扎实的工程实践，下面总结几条核心内容： 1、测用户意图目标，而非前端实现，越过 DOM 节点与 test-id 绑定，直接用自然语言向 Agent 下达具体，收敛的业务意图。由 AI 自主感知界面完成选日期，点生成等交互，哪怕前端重构组件库，测试照样稳定。 2、废弃拖慢 CI 流水线的固定 Sleep 读秒，改用带超时上限的 AI 动态条件等待。忽略Loading 消失这类弱的 UI 信号，直接等上月报表已打开可查看等强业务状态，并将负责异步加载的动态等待，与只抓拍当前画面的瞬时断言严格解耦。 3、执行 Agent 汇报点击完成，不能代表报表没空数据或串数据，更不能让大模型盲猜什么才是正确的画面。必须先从后端 API 查出真实任务列表作为唯一真值源，再调用独立的 AI Judge，严格比对屏幕渲染明细与 API 底账。 4、严禁测试用例之间产生顺序依赖，开跑前通过可复用的 Fixture 调接口独立构造专属工作区与测试数据，跑完后在生命周期钩子中自动清理还原，确保单测重试或并发执行绝对幂等。 5、将“生成报表，下载 CSV，发邮件”拆成命名清晰的独立原子测试。一旦断言失败，框架自动打包故障追踪轨迹，涵盖前置步骤、应用日志、Agent 推理上下文与屏幕快照，不仅人类能秒级定位，更能直接喂给 Coding Agent 自动修 Bug。 传送门：

# 模型缩小四倍还不翻车？不是压得够狠，是量得够准 先说结论：大多数人以为量化是把模型压小一点、省一点显存，压得越狠、省得越多，这个想法只对了一半。量化真正值钱的地方不是省显存，是省钱加变快，模型缩小两到四倍之后，小批次推理常常反而更快，因为瓶颈不在算力，在记忆体频宽，搬的位元组少了，每秒吐出的字元单位就多了。作者第一次把大模型推到真实使用者面前，七 B 模型用十六位元载入，光权重就吃掉十四 GB 左右的显存，帐单难看得很，有人随口问一句要不要试试量化，她当晚掉进一堆缩写的兔子洞，才整理出这篇指南。 先说清楚底线：十六位元每权重两位元组，七 B 模型约十四 GB、十三 B 模型约二十六 GB。压到八位元，七 B 模型约七 GB、十三 B 模型约十三 GB。压到四位元，七 B 模型约四 GB、十三 B 模型约七 GB，模型缩小两到四倍。作者打了一个很准的比方，量化就像把照片从巨大原始档压成调校过的压缩图，手机上看起来几乎一模一样，体积却只剩一小部分。权重就是模型的照片，十六位元是原始档，四位元是压缩图，压得好，大多数人看不出差别，压得不好，细节先糊掉。关键在压得好不好，不在压得多不多。 怎么做？顺序只有一个，先用五分钟实验确认方向，再挑上线或随处跑的格式，最后拿自己的提示词量过再灰度发布。五分钟实验用四位元载入工具快速试，零校准资料、零转换步骤，一个下午就能知道显存占用下降约七成、模型还能不能讲话。显卡上线用服务引擎带量化参数直接起一个相容接口，热门模型在模型仓库里已经有现成的四位元检查点，不用自己压，没有就用压缩工具自己做一个。随处可跑的路是转成通用格式再量化，中央处理器、笔电和苹果晶片都能跑，四位元中档是尺寸与品质的甜蜜点，更保险就往上走五位元或六位元。 小心三件事。第一，压完只跑几个提示词就上线一定翻车，作者就是这样翻车的，结构化资料输出偶尔格式损坏，两天后才被使用者抓到，通用评测完全没抓到。第二，只看困惑度就放行不够，困惑度看起来没问题，任务品质可能已经悄悄下滑，它只能当参考，不能当唯一的验收标准。第三，别以为压完就一定变快，一种格式只有在服务引擎有对应的最佳化核心时才会真的变快，没在你自己的机器上实测过，纸上变快不算数。还要记住，键值快取不随权重量化缩小，长上下文服务照样可能爆记忆体，瓶颈在这里要另外看。 再往上加东西也有顺序：先写五十到一百条真实提示词，对照十六位元基线一条一条比，刻意去测最先崩的几类任务，长上下文、结构化 结构化资料 与函式呼叫、数学、程式码、非英文。验收不是打分数，是找变差的任务集中在哪里，集中在 结构化资料格式就升那类任务的位元，散在各处就整体升一档。真实负载下测延迟与吞吐量，不是空闲显卡上跑一条请求。最后先切一小部分流量灰度发布，没问题再全量，出问题立刻切回十六位元版，不要等到全部使用者都中奖才动手。 一句话：量化不是免费压缩，是一场交易，你只有量得够准，才有资格拿这场交易去换更小的帐单。今晚就能做的事：挑一个你正在跑的模型，用四位元载入工具跑一次五分钟实验，看看显存占用下降约七成之后，它回的第一句话还像不像它自己。 S1哥观点：别再问量化是不是把模型压坏的便宜行事，压坏模型的从来不是量化本身，是你压完只跑几个提示词、看一眼困惑度就敢上线。作者的教训就摆在那里，结构化资料输出偶尔格式损坏，通用评测完全没抓到，两天后使用者才回报。量化真正值钱的地方也不在省显存那一行，是小批次推理反而可能更快，因为瓶颈在记忆体频宽，搬的位元组少了，每秒吐出的字元单位就多了。更值得问的是，你现在跑的那个模型，是卡在帐单、卡在显卡太小，还是卡在速度？那个卡点，决定了你该挑哪种格式、压到几位元。你第一个想压小上线的模型是哪一个？评论区说说。 收藏用清单（照着做）： 1. 先算帐再动手，七 B 模型约十四 GB，压到四位元约四 GB，模型缩小两到四倍，再留键值快取和执行开销的位置。 2. 挑对格式再压，快速实验用四位元载入工具，显卡上线用四位元的两种主流方法，笔电用通用格式，新款卡用八位元浮点。 3. 跑五分钟实验，确认显存占用下降约七成、模型回复正常，再写五十到一百条真实提示词对照十六位元基线逐条比。 4. 刻意测最先崩的五类任务，真实负载下测速度，先切小流量灰度发布，没问题再全量。 转给还在为模型帐单头痛的朋友，压小两到四倍再上线，量得准才不会翻车，他今晚就能先跑五分钟实验。

用破甲大模型理解需求并指导生图模型，这套链路本地跑通了 起因是生图提示词写起来太费劲，而没破甲的商业模型遇到无道德底线的内容根本不给输出。直接换成两套本地无审核模型互相配合： · 意图理解与提示词润色：Qwen3.8 27B Uncensored HauhauCS Aggressive（25.9GB），走 llama.cpp / CUDA 推理 · 图像生成底模：Qwen-Image-2.1-Turbo（17.3GB），走 ComfyUI / ROCm 推理 中间连接没单独写脚本，直接套用了 SillyTavern（酒馆）。除了能顺利把两边接通，主要是看重它自带的人物卡、角色性格与世界观设计机制 目前正在研究基于这套架构开放连续的故事情节玩法，还在调试中 #AI# #开源工具# #ComfyUI# #大模型#

📚 李博杰刚开源了一本《深入理解 AI Infra》，想搞懂大模型推理和训练到底卡在哪，这本书直接从硬件极限一路算给你看。 《深入理解 AI Infra》的仓库 8 月下旬才建，现在已经 7500 多 star。它是李博杰《深入理解 AI Agent》的姊妹篇，那本在 GitHub 上是 5 万+ star。 以前学 AI Infra，看到的多是「用了什么框架、调了哪些参数」，为什么要这么设计，往往没人讲透。 这本书反过来，从约束推导设计，反复追问五个问题：搬什么、搬多少、搬几次、经过哪里、谁必须等它。十二章从模型架构、加速器、超节点、数据中心网络，一路讲到推理优化、分布式推理、训练系统和端边云协同。 配套的计算工具只要 Python 标准库就能跑，不用 GPU，也不用下模型权重，书里的数可以自己算一遍。中文原版之外还有英文、繁中和俄语的社区译本，PDF、EPUB、在线阅读都有。 要说明的是，书稿目前还是初稿，作者在持续修订。 想把 AI Infra 从「会用」学到「会算」，这本值得放进书单。 GitHub：

以后给 AI 智能体配数据库，可能连服务器都不用装了。 Neo4j 前天发布了 Relate，一个专门为 AI 智能体设计的开源嵌入式图数据库。用 Rust 写的，直接运行在应用进程里，不需要单独部署数据库服务器。 它有几个挺有意思的设计： 启动快： 毫秒级启动，适合智能体临时创建数据库，用完就收。 查询快： 内存读取低于1毫秒。 懂智能体： 能自动识别智能体运行环境，返回适合 AI 处理的结构化结果。 防止上下文爆炸： 查询结果太多时自动截断，并明确告诉智能体还有内容没返回。 支持持久化： 不只是内存数据库，也可以把数据保存到文件中。 它还支持 Cypher 查询语言、向量搜索和图遍历。也就是说，智能体不仅能找到相似内容，还能顺着数据之间的关系继续推理。 为什么现在要做这种数据库？ Gartner 预测，到2029年，机器用户将占数据库管理系统工作负载的75%，远高于2025年的10%。 以前数据库主要服务人和应用，现在越来越多的查询、读写和任务执行，可能都来自 AI 智能体。 数据库也得跟着改变：不一定每个智能体都需要一套独立服务器，有时候，一个随应用启动、随应用结束的轻量数据库就够了。 AI 基础设施正在发生一个变化：数据库的主要使用者，可能正在从人变成机器。 #AI# #数据库#