与「推理」相关的搜索结果

2026 年 9 月 29 日，OpenAI 在旧金山 Fort Mason 办了今年的开发者大会 DevDay。主讲是 CEO Sam Altman。其他几位上台的人都在做这些产品。产品团队的 Holly 演示了新产品 Dots。后训练（模型预训练之后做对齐和能力调优的阶段）研究负责人 Tejal 讲了模型怎么反过来帮 OpenAI 做研究。Codex 的演示由 Romain Huet 来做，他在 OpenAI 负责开发者体验，去年 DevDay 主题演讲里的 Codex 演示也是他做的。整场演讲分三块：面向用户的常驻智能体 Dots 和协作空间 ChatGPT Space，给开发者的新模型和新工具，以及帮开发者做分发、赚钱的渠道。 1. Dots：一直在线、会主动干活的智能体 Sam 把 Dots 比作电影里那种一直在身边帮忙的 AI 助手。他认为订餐厅、买机票这类代办虽然有用，但和这项技术能做的事比起来太小了。他想要的 AI 知道正在发生什么，也知道你在意什么，不用你事事交代。 Dots 是常驻在线的智能体（Agent），有自己的云端电脑和浏览器，能写代码、跑测试。它的权限跟着用户走，能直接用用户已经在 ChatGPT 里连好的插件，覆盖 4000 多个应用。除了在 ChatGPT 里对话，之后还可以给它发短信、打电话。目前每人先有一个 Dot，以后可以配一整组。Dots 跑在 本月早些时候发布的 GPT-6 Astra 上，Sam 称它是 OpenAI 对齐做得最好的模型。用户可以限定 Dot 能用哪些应用、能不能操作电脑，也能给它的各类操作写自定义指令，愿意交出多少责任就放多少权。 Sam 说，他自己的 Dot 每天早上会把夜里进来的消息过一遍，挑出紧急的提醒他。他说这让他拿回了一部分注意力，没那么离不开手机了。他还举了一个更重的例子：把应用从一个即将停用的旧 API 上迁走。这个 API 可能散落在代码库各处，改了哪里会连带弄坏什么，事先看不出来。Dot 可以追踪依赖关系，找出所有要改的地方，写代码、跑测试，最后把 PR（代码合并请求）交给团队审。他让听众想想，过去做这件事要几个人、花多久。 开场视频里，用户把自己的 Dot 改名叫 Alfred。Alfred 和另一个 Dot 帮用户上线网站，改董事会材料，在婚礼蛋糕商家取消后找好备选。它们还发现财务会和女儿的演出撞了期，提出改时间。每件事都是 Dot 推进到需要人确认的地方，再由人拍板。 2. ChatGPT Space：人和智能体一起用的工作区 Sam 认为，现有的生产力软件几乎都没考虑过人和 AI 一起干活。ChatGPT Space 以页面为单位，可以在里面写计划、做调研、生成图片和数据。页面和文件像网盘一样放在同一个空间里。Dot 能直接在页面上工作，在评论里 @ 它，它就会接活。页面本身也能带指令，比如“每天去看 API 平台的 Slack 频道，把发现更新到这里”。之后 Space 里还会加入演示文稿，格式做成智能体方便读写的样子，团队成员可以和各自的 Dot 一起改。 在 Holly 的演示里，页面用斜杠命令就能插入交互图表、表格和可运行的原型。她 @ 自己的 Dot（名叫 Dotty），让它把一组数据改成柱状图。图表可以按反馈类型筛选，Dotty 每小时刷新一次。她还让 Dotty 把“某位工程师在我 Slack 私信里提过的新手引导数据”补进 FAQ。Dotty 能看到她的上下文，所以这种模糊的指代也找得到。 3. OpenAI 内部怎么用 Dots Holly 用一个虚构的歌单应用 Blossom Music，模拟发布前一天的状况。早上 Dotty 已经做了几件事：发现发布评审会提前，改好了日历；看完前一晚测试用户的反馈；注意到设计团队临时改了首页，把新设计发给她。她让 Dotty 直接把这个设计做出来。Dotty 调用她笔记本上的 Codex 构建应用，在 iPhone 模拟器里跑起来，再提交 PR。现场的语音演示卡住了，Dotty 一直回复“还在查”。Codex 线程也报过一次错，她重试后才继续下去。 她说，Dots 真正改变 OpenAI 工作方式的地方在 Slack。Dots 在公司 Slack 里有自己的身份，员工就开始把它们当作代理人。被同事 @ 到的零碎请求，直接转给自己的 Dot 处理。建群时，大家从一开始就把各自的 Dot 拉进来，Dot 带回结果时所有人都能看到。 工程师走得更远。有人在反馈频道贴出会话 ID 和一个用户 bug，某位工程师的 Dot 就会接手排查，提 PR 修复。她说这是真实情况：工程师们的 Dots 每天这样修掉几十个 bug，Dots 这个产品本身有很多部分就是 Dots 写的。 4. 上线范围和企业用的 Specialist Dots Dots 和 Space 当天向 ChatGPT Pro、Business Premium 和 Enterprise 用户开放。Dot 包含在套餐里，和它的对话不占用额度。 企业客户还可以预览 Specialist Dots。这是由公司统一设置、供整个团队使用的虚拟同事，负责会计、市场、法务这类工作量大的事。公司给它目标和背景，审核它的产出，给它反馈，反馈在全公司共享。OpenAI 也在和微软合作，把 Specialist Dots 接入 Agent 365（微软用来管理企业智能体的工具），企业可以用已经在用的微软工具来管理它们。 5. 新模型：更便宜的 GPT-6.1 Sol，更快的 UltraFast Astra 发布这几周，用户的要求集中在两点：更便宜，更快。GPT-6.1 Sol（转录稿误作 Soul）的能力接近 Astra，价格是它的五分之一。缓存输入（重复发送、已被缓存的上下文）比标准输入便宜 95%。智能体需要反复读同一批上下文、长时间迭代，这对它们尤其省钱。Sam 说 Sol 在某些方面比 Astra 还聪明，定位是开发者的日常主力模型。 UltraFast 是新的速度档，API、ChatGPT 和 Codex 里都能用。原有的 Fast 档是两倍速度、两倍价格；UltraFast 是八倍速度、六倍价格，每秒 300 个 Token。它现在可以配合 Astra 用，之后也会支持 Sol。现场让两个模型用同一个提示词，做一个 DevDay 配色的火箭。UltraFast 的火箭已经升空时，标准速度的还没做完。 订阅也跟着调整。新推出的 500 美元档 Pro 订阅叫 Pro 500，额度最高，是 Plus 的 25 倍。它可以在 ChatGPT 和 Codex 里用 UltraFast，还能通过“用 ChatGPT 登录”在合作方的应用里使用。Pro 200 重新开放，继续提供所有前沿模型。 另外预览了 Decisions API。它给 Luna 模型一组预先定义好的选项，让模型从中选一个，比如给请求分流、给图片分类、决定智能体下一步做什么。任务收窄成选择题之后，响应时间可以压到一秒以内，同时保留图像理解、多语言和安全防护。Romain 后来补充说，做机器人的朋友看中的是它能处理视觉输入：机器人可以根据看到的东西，近乎实时地快速行动。 6. 模型开始帮 OpenAI 做研究 Sam 提到，去年这个时候，他和 Jakob 在一次直播里预测，一年内会出现第一个“AI 研究实习生”，当时几乎没人相信。几周前 OpenAI 宣布达成了这个目标：有了一个能接手定义清晰的研究任务的系统，这类任务原本要熟练的研究员花大量时间和精力。 Tejal 的方向是电脑操作（computer use，让模型像人一样操作桌面和浏览器）。她举了两个例子。 第一个是让模型优化电脑操作的运行框架（harness，包在模型外面、负责调用工具和管理步骤的代码）。模型在循环里持续寻找能同时降低延迟、提升效果的改动，团队把找到的改进合进生产环境的框架，并用于后训练。结果是延迟改善了两倍以上，已经上线。 第二个是模型帮忙改进了监控和拒绝训练，让 Astra 在不安全的场景里更会拒绝。Astra 在电脑操作压力测试上因此达到业内领先，操作时出错更少，也更贴合用户的本意。 她给出了几项内部数据。今年夏天之后，研究工作消耗的 Token 量急剧上升。1 月时，模型能做好 15 分钟以内的短任务，需要一天以上的任务大多会失败；到 7 月，超过三分之一的一天量级研究任务，模型能在无人干预下完成。她还提到，Astra 这类模型已经帮忙解决了 100 多个悬而未决几十年的数学问题，也在参与针对耐药感染的新抗生素、古代语言研究、可再生能源和工业机器人等方向的工作。 7. 给开发者的底层工具 Sam 说，OpenAI 想让开发者用上自己内部用的东西。 第一件是 Codex 的运行框架。它同时支撑着 Codex、ChatGPT Work 和 Dots，目标是用最少的 Token、最快拿到准确结果，现在已经开源。第二件是 Codex 完全上云：在手机上开始的任务，可以在浏览器或桌面端接着做，合上笔记本任务也不会中断。 云端能力带来了 Codex Security Cloud。它在云端环境里持续寻找漏洞，并准备好验证过的修复方案供人审核，这次新增了自动去重、定时扫描和新界面。Sam 说这是为了给防守方更好的工具，因为“我们看得到接下来会发生什么”。 新的 Agents API 进入公开测试。它包含运行框架、托管、记忆、多智能体控制等功能，是 Codex 和 Dots 用的同一套技术，也加入了电脑操作能力。现场的例子是一个网站测试智能体，会自己打开浏览器、点击页面、测试流程。基础设施方面，OpenAI 和 AWS 合作推出由 OpenAI 驱动的 Bedrock（AWS 的托管 AI 服务）托管智能体，AWS 客户可以直接使用 OpenAI 的前沿模型、Codex 和 ChatGPT Work。 隐私方面预览了 OpenAI Private Intelligence。其中的零数据留存（ZDR）配合私有安全处理，可以在不把用户内容存到 OpenAI 服务器的情况下做安全检测；私有推理则把隐私保护延伸到推理阶段。Sam 说这套方案是和最大的一批客户一起设计的，目的是让他们能把模型用在最敏感的工作上。 性能方面，Responses API 一年里增长了 100 倍，可靠性保持在 99% 以上。首个 Token 的等待时间缩短了 45%，工具调用和工作流提速 30% 以上。 8. Romain 的 Codex 演示 演示从手机上的 Codex 开始。Romain 人还在会场外，让 Codex 替他跟观众打招呼、讲一个会场的冷知识。接着他用几张会场照片生成的 3D 场景演示 UltraFast，一边说一边改：把小人放到座位上，把直播画面投到场景里的大屏幕上。现场语音没连上，他改成了打字。 Codex 命令行工具（CLI）这次全面翻新。他让 UltraFast 写一个应用，从观众里随机抽三个人送明年的门票，几秒就写完；改成抽六个人，也几乎是瞬间完成。命令行现在支持由 GPT Live 驱动的双向实时语音，不只是语音转文字，但现场没能演示出来。 后面几段演示了多模态和电脑操作。游戏 Astra Adventures 从一张纸上的草图开始，几轮之后画面还很粗糙，借助图像模型，才变成有质感、能用在正式游戏里的美术。然后他让 Astra 通过浏览器自己学着玩这个游戏，屏幕左边显示模型的决策，右边显示它按下的按键。 他又用“应用快照”（app shot）把自己记录飞行课程的应用作为上下文交给 Codex，让它在各种屏幕尺寸下审查这个应用并截图。Codex 自己在模拟器里点开了各项功能。云端 Codex 现在和本地版用同样的工具，包括插件和电脑操作。他顺手把一个“用 Rust 重写整个后端”的任务丢到云端，打算稍后在手机上查看。 最后一个演示用的是 Hugging Face 借来的可编程小机器人 Micro Duck，它名叫 Lavender。Romain 前一晚让 Codex 把它接好：视觉用 Astra，图像生成用 GPT Image 2.5，语音交互用 GPT Live 1。机器人现场看着观众画了一幅画。他说，OpenAI 做 Dots 和 Codex 用的，就是 API 里开放给开发者的同一批工具。 9. 分发和变现：让开发者在 ChatGPT 上做生意 ChatGPT 每周大约有 12 亿人使用。Sam 承认，此前类似的尝试效果参差不齐。他说这次有信心，是因为开发者拿到的是 OpenAI 自己做 ChatGPT 用的工具。 第一项是“用 ChatGPT 登录”（Sign in with ChatGPT）。用户登录第三方应用时，可以直接用自己 ChatGPT 套餐里包含的 Token，开发者不必替新用户垫付模型费用。首批有 16 家合作方。 第二项是插件扩展（plugin extensions）。开发者可以把编辑器、仪表盘乃至整个工作区，做成原生嵌在 ChatGPT 和 Codex 里的应用。现场展示了三个例子。一个是会议应用：在 ChatGPT 里看日历上的会议，点“记笔记”后，页面变成团队和 Dots 一起跟进待办的 Space。一个是 Figma：打开设计稿、看团队评论、让 ChatGPT 改稿。还有一个是 Adobe：在 ChatGPT 里使用 Photoshop 的功能。ChatGPT sites（在 ChatGPT 里生成的网站，几个月里已有数百万个）现在也能接入插件和数据。访客用自己的账号登录、带上自己的智能体，看到的内容因人而异。 用户发现插件的渠道也扩大了。除了在插件库里搜索，ChatGPT 还会在对话中识别出能帮上忙的插件，用户当场就能连接。插件审核流程也简化了：开发者可以跟踪审核进度，看到需要修改的地方，申请人工复审，更新工具时也不用从头提交。 第三项是 OpenAI Marketplace，首批有 30 多家合作方，包括 CodeRabbit、Notion、Vercel。企业客户可以用已经和 OpenAI 签下的采购承诺额度来买这些产品，有承诺额度的开发者也能在这里花。通过和模型推理托管公司 Baseten（转录稿写作 Base10）合作，市场里还能用到开源模型。 10. 收尾：一次额度重置，和“文艺复兴”的说法 当天的后续安排里，Peter 会讲 OpenAI 对开源社区的投入，包括新的 OpenClaw Enterprise Harness（OpenClaw 是一个开源 AI 智能体项目）。还有一个 Codex 游戏工作室环节，观众可以用 Codex 做复古游戏，每人能领一台 DevDay 限定的 chromatic computer，用来玩自己做的游戏。最后是 Sam、Tibo (Thibault) 和 Tejal 的现场问答。 Sam 和 Tibo 还在台上按下按钮，给全世界的用户重置了一次用量额度。Sam 说 OpenAI 已经做过太多次重置，Tibo 一直想把公司改名叫“重置公司”。 最后 Sam 说，他不喜欢把 AI 比作新一轮工业革命，那意味着人变成巨大机器里的齿轮，转得越来越快；生活里有些部分不能也不该被自动化。他希望，如果做对了，AI 带来的会更像一场新的文艺复兴：让人对自己的生活有更多掌控，有更多工具去创造、学习和探索。

一个整理中国公务员考试行测真题的开源仓库 覆盖 2016 到 2026 年的国考和省考，题库很大：515 套卷、近 6 万题，量大管饱，包括政治理论、常识判断、言语理解与表达、数量关系、判断推理和资料分析，可以用 Obsidian 打开，也可以使用 VS Code 的预览模式阅读。

改变我的一套规则： ChatGPT 用来做： → 快速调研 → 灵感和头脑风暴 → 简单咨询 → 生成图片 → 联网搜索 Claude 用来做： → 复杂代码 → 深度文档分析 → 长篇结构化写作 → 需要极高精度的任务 → 批判性推理

AMD 宣布用约 82 亿美元收购李飞飞创办的 World Labs，这期是彭博科技节目主持人 Ed Ludlow 对两位当事人的联合采访。一位是 AMD CEO 苏姿丰，AMD 做 CPU 和 GPU，OpenAI、Anthropic、Meta 都是它的大客户。另一位是 World Labs 创始人兼 CEO 李飞飞，她主持建立的 ImageNet 图像数据集是这一轮深度学习浪潮的起点之一。两人聊了为什么要做这笔交易、李飞飞在 AMD 的新角色、开放生态，以及 AI 安全该由谁负责。 交易本身 这是一笔全股票交易，也就是 AMD 用自己的股票而不是现金来付款，对 World Labs 的估值约 82 亿美元，预计年底前完成，还需要监管审批。交易完成后，李飞飞出任 AMD 执行副总裁兼首席科学家，直接向苏姿丰汇报，World Labs 团队将成为 AMD AI 模型团队的核心。 两家公司的关系早就开始了。AMD 是 World Labs 的早期投资方，也给它供芯片。苏姿丰说她从 World Labs 只有几个研究员的时候就在看着这个团队成长。两人也都提到彼此认识多年，私下是朋友。 芯片公司为什么要买模型公司 苏姿丰的理由是，AI 现在还在很早期的阶段，而且越来越明显的是，硬件、软件、系统和模型这几层互相影响，对整条链路理解得越透，造出来的系统就越好。收购 World Labs，一方面是拿到李飞飞聚起来的一批顶尖研究人员，另一方面是让 AMD 对模型未来的发展方向有第一手的判断，反过来指导下一代硬件怎么设计。 李飞飞从模型公司的角度讲了同一件事。World Labs 越做越大，对算力的需求也越来越大；和 AMD 合在一起，模型可以用最前沿的硬件加速训练和推理，硬件团队也能提前看到模型未来的工作方式和需求。她把这叫作 AI 软件和 AI 硬件的“共同进化”。 主持人追问 AMD 是不是要开始卖模型、卖软件。苏姿丰说不会改变商业模式，AMD 仍然是一家平台和解决方案公司，软件是用来支撑硬件的。收购的最终目的是让 AMD 更好地服务那些最大的算力客户，也就是各家模型公司。 World Labs 做到了哪一步 World Labs 成立于 2024 年，到现在两年多，专攻空间智能和物理智能，也就是让 AI 理解和生成三维世界、懂得物理规律，这类模型通常叫“世界模型”。李飞飞说，他们想做的是语言模型之外的方向，因为创作者、设计师、教育、医疗都有这方面的需求，机器人技术也快要迎来爆发。 公司目前已经发布了两代模型，先是 Marble，然后是最新的 Atlas。李飞飞介绍 Atlas 是一个多模态的“全能模型”，能生成高质量的画面，同时保持三维和四维（三维空间加上时间）上的一致性，摄像机和智能体可以在它生成的世界里移动和交互。 团队也在扩张。World Labs 最近收购了 SceniX，这家公司做出了一套机器人仿真工作流程，以及训练机器人控制策略的模型，由此给 World Labs 补上了机器人方向的人才。 李飞飞为什么选择加入 AMD 苏姿丰说她给李飞飞的说法是“加入全世界最令人兴奋的 AI 公司”。李飞飞的作用也不只限于 World Labs 团队。苏姿丰说 AI 没有一种方案能通吃，除了大家熟悉的云端 CPU、GPU，物理 AI、机器人、从云端到边缘设备再到个人电脑的端到端 AI，都是 AMD 未来三到十年要重点增长的方向，而这些正好是 World Labs 擅长的领域。 World Labs 今年早些时候刚融过一大笔钱，发展势头也不错，主持人问李飞飞是否考虑过别的出路。她说公司从一开始就以使命为导向，这件事的关键在于双方的愿景是否一致，和有哪些选择关系不大。在她看来，这次合并会是“一加一大于二”，接着她笑着补了一句，AMD 显然比 World Labs 大得多。 至于加入后会不会只做空间智能，李飞飞说两人还没来得及细谈所有计划，World Labs 正在做的工作会继续，但她预计研究方向会扩大、节奏会加快。 开放生态与可选择性 苏姿丰说，AI 未来会同时有开源模型和闭源模型、大模型和小模型，它们跑在不同的硬件上，这一直是 AMD 规划高性能计算和 AI 产品线的前提。她和企业的 CEO、CIO 聊下来，没有人愿意被锁死在某一家的硬件或软件生态里，大家都想在不同时候挑最合适的。所以 AMD 会继续押注开放生态，她和李飞飞也讨论过怎样用 World Labs 已有的成果推动开源生态。 李飞飞补充说，现代 AI 的发展离不开开放。从科学界公开分享神经网络算法，到她自己做的 ImageNet，这个首批开放的大规模数据集就是现代 AI 革命的推动力之一。开放生态能让不同的发现、创新和创业机会互相促进。 AI 安全该由谁负责 主持人提到当前的一个争论：模型能力的进步速度超过了安全和对齐研究的进步速度。苏姿丰说这件事上“没有可选项”，技术必须好，也必须安全。她拿芯片行业做例子：最高性能的处理器在设计时就要把安全和数据保密作为优先事项来考虑，AI 行业也需要把安全放到同样的位置。她说自己是 AI 乐观派，相信行业能建立起合适的流程和防护措施，而且各家应该像硬件行业现在分享安全方面的经验那样，互相分享做法。 主持人进一步问，提供算力的公司对训练是否安全、推理时模型是否按预期行事，要负什么责任。苏姿丰说生态里每一方都要为自己的行为负责。对 AMD 来说，要保证硬件本身安全、按设计运行，模型在上面跑时数据是安全的，还要和模型公司一起处理好软硬件之间的交互。她认为这件事应该由行业主导，但因为 AI 是新东西，各方学习的速度不一样，所以她欢迎更多的行业协作，也欢迎一定程度的第三方评估。 李飞飞说，主持人上周问她监管、第三方评估、前沿实验室自我负责这几种方式该选哪个，她的回答是全都要。她认为 AI 是一项“文明级”的技术，和历史上所有这类技术一样，初衷是让人的生活和工作变得更好，但每项技术都是双刃剑，必须负责任地开发和部署。无论在斯坦福、World Labs 还是现在的 AMD，她都想推动个人、公司、行业和社会四个层面共同承担这份责任。 AMD 的下一步 主持人提到 AMD 市值已经到了 1 万亿美元，苏姿丰近来也多次和美国总统一同公开露面。苏姿丰说 AMD 过去做过好几笔对公司影响很大的收购，World Labs 是下一笔，而且是战略意义很重要的一笔。在她看来，技术如今和经济、国家安全都紧密相关，AMD 有机会真正影响计算的未来走向。 最后主持人请李飞飞预测 AI 下一个重大突破。她没有给具体的技术判断，只说接下来 AMD 和 World Labs 会一起打造未来，而这个未来必须对人类社会和人们的生活有益。苏姿丰在一旁说：“我会让她忙起来的。”

[开源学习资源] AI Engineering from Scratch 59.8K ⭐️ 作者 @ghumare64 课程共 20 个阶段，以 Python 为主要编程语言，主张在导入任何框架之前，先用纯数学把每个算法手写一遍。 课程地址： 开源地址： 它和常见教程的本质区别 ？ 大多数 AI 教程是“API 驱动”的：装个库、调个接口、跑个 demo。这个项目反其道而行，每节课遵循固定的六段结构： Motto → Problem → Concept → Build It → Use It → Ship It 以 Phase 10 的一节课「Tokenizers: BPE, WordPiece, SentencePiece」 为例，这个格式是真实落地的，而且写作质量相当高： · Problem 部分不讲废话，直接从代价切入：“你的 LLM 不读英语，它读整数。分词器决定这些整数是承载意义还是浪费意义”，然后解释为什么 tokenization 不是预处理，它是架构的一部分（影响上下文窗口利用率、API 计费、推理速度）。 · Concept 部分用“三种失败的方案和一种胜出的方案”来讲演化逻辑：词级切分（词表爆炸、[UNK] 问题）→ 字符级切分（序列过长）→ 子词切分（BPE 的折中），并配上真实语料上 BPE 逐步合并的手工演算。 每节约 3000+ 词，带 Mermaid 图、可运行代码和测试。 另外两个设计值得强调： · 每节课产出一个可复用的 artifact，一个 prompt、一个 skill、一个 agent 或一个 MCP server。学完整个课程，你手里有 523 个可展示的作品，不是 523 个跑完就扔的 notebook。 · 强调“证据留存”：保留命令、退出码、输出，作为学习发生的证明。这明显吸收了工程实践中“可验证性”的思路。 # 课程结构：从线性代数到自主智能体集群 20 个阶段构成一条完整的上升曲线，咱们它分成五个大块来看： 基础层（Phase 0–2）：环境与工具链、数学基础（线性代数/概率/微积分）、经典机器学习。这是给基础不牢的读者铺的路。 深度学习与感知层（Phase 3–6）：神经网络核心、计算机视觉（一路讲到 NeRF、高斯泼溅、世界模型，这已经超出一般教程的覆盖范围）、NLP、语音。 生成与决策层（Phase 7–9）：Transformer 深挖、生成式 AI（GAN、扩散模型、flow matching）、强化学习。 LLM 层（Phase 10–12）：这是全课程的重心之一。Phase 10 的目录我逐条看过，它不只是“从零实现 GPT”这种常规内容，还包含了相当前沿的论文级主题：DeepSeek-V3 架构走读、DualPipe 并行策略、Native Sparse Attention（NSA）、多 token 预测、Jamba 的 SSM-Transformer 混合架构、 speculative decoding 等。Phase 11 转向应用侧（RAG、LoRA、MCP、可观测性），Phase 12 覆盖多模态（从 CLIP 到 computer-use agent）。 智能体层（Phase 13–16）：工具与协议（MCP、A2A、Agent Skills）、54 节课的 agent 工程、自主系统与安全、多智能体集群。这一层的分量很能说明项目的判断：它认为 AI 工程的重心正在从“训模型”转向“构建可靠协作的智能体”。 收尾（Phase 17–19）：生产基础设施、伦理与对齐、毕业设计。 # 生态与周边：不只是一个课程仓库 网站：带浏览器本地存储的学习进度追踪、术语表、课程目录和路线图。 六卷本书籍：课程内容由 CI（pandoc）自动构建成 EPUB/PDF，附在 GitHub Releases 上，课程即书，且随仓库持续更新。 Agent 导师模式：运行 npx skills add rohitg00/ai-engineering-from-scratch，可以把整个课程装进 Claude Code、Codex 等编码智能体，变成一个带分级测验（placement quiz）和个性化路径的交互式导师，学习进度写在 LEARNING.md 里。这是“用你正在学的工具来学”的巧妙闭环。 认证备考：5 条备考路径、67 节课、505 道练习题，覆盖 Anthropic 的 Claude 认证和 Agentic AI Foundation 的 MCPA。项目明确声明与这些考试机构无关联，只是独立的备考材料。 12 种语言的翻译（含中文），以及四条核心学习路径（构建与部署 AI 应用、软件工程基础、Agent 辅助工程、产品判断与交付）供不同目标的人选路。

如果我们可以重新理解 Quant Developer。 这并不只是思想实验。 Jane Street 2026 年公开的研究方向包括机器学习、编程语言、编译器、ASIC、FPGA、分布式 shared log、incremental computation、查询优化、分布式存储和形式化验证，而Citadel GQS 则把实时数据、HFT 执行和低延迟 ML 推理放进了同一个 Quantitative Research Engineer 岗位。 再次强调，市场是一个高维、受驱动、耗散的非平衡系统。 订单持续进入、撤销、成交，信息、资本和风险不断注入，异质的参与者相互作用，系统几乎从未达到平衡。 当看到Jane Street 把 graph-structured、incremental computation 列为长期研究方向，我想这是一个值得认真理解的信号。 如果我们发现研究对象持续变化时，计算本身或许也需要围绕变化来组织。 一条报价更新，并不意味着整个市场都需要被重新计算。 它首先改变某些局部状态，再沿着依赖关系，影响相关资产的估值、组合的风险暴露，以及尚未成交的订单。 如果把这些计算关系展开，我们会看到数据连接特征，特征连接预测，预测连接决策，决策通过成交与持仓，反馈到下一轮计算。 这里必须区分两件事。 计算图中的依赖关系，不自动等于市场中的因果关系。但只要我们能够明确哪些结果依赖哪些输入，就有机会在新事件到来时，只更新受到影响的部分。 这正是 incremental computation 最吸引我的地方，它让计算资源跟随变化分配。困难的问题也随之浮现。哪些状态已经过期，筛选必须更新的传播，可以合并的计算。我们开始寻找，在并发和异步执行中，如何避免把不同时间的市场状态拼成一个从未真实存在过的世界？ 于是，延迟就不再止于程序运行了多少微秒。判断抵达市场时，你应该着眼于支撑判断的那个市场是否仍然存在。 想想吧，一个离线表现出色的模型，如果依赖陈旧的数据、无法承受行情突发时的排队，或者不能及时更新风险状态，那么它在回测中发现的信息优势，可能在执行之前就已经消失。 因此，Quant Developer 的工作可以被理解为，他们需要在有限的时间、算力和通信预算内，维护一个足够及时、足够一致、能够用于行动的市场内部模型。 编译器、分布式系统、硬件加速和形式化验证，开始汇聚到同一个问题上。 编译器决定计算如何被表达和执行； 分布式系统决定不同节点如何组织事件与状态； 硬件决定数据移动和运算的成本；形式化方法则帮助我们检查，某些关键约束是否会在复杂的执行路径中被破坏。 这些工作共同决定一个数学上的预测，试图成为现实中的有效决策。 而非平衡系统的视角，提供了一组进一步追问的方向：外部事件，内部状态，反馈是抑制还是放大扰动，输入速度和处理能力的关系对于系统的影响。 当然，市场是耗散系统本身并不会自动产生 Alpha。我想，我们只有把这种直觉落实为可观测的变量、明确的机制和能够被数据推翻的预测，它才开始具有研究价值。 它确实改变了我们看待这个职业的方式。 Quant Developer 所构建的一直是一个嵌入市场之中的实时决策系统。 这个系统观察市场，也通过自己的行动改变市场：它必须在变化尚未结束时做出判断，在信息尚不完整时承担后果。

NVIDIA 发布 Skill2Env：用“集体技能”强化智能体 NVIDIA 研究者们把社区公开的 Agent Skills 编译成可执行 RL 训练环境的数据流水线：3.4k 个 Skills 变成 8k 个带程序化测试和行为量规的终端任务；仅 300 步 RL 训练就让 Qwen3.8-27B 在 Terminal-Bench 2.1 上提升 4.7 个百分点，且模型行为显著向源 Skills 的方法论对齐。 开源项目： 核心洞察：公开 Agent Skills 是一个被忽视的监督来源 Agent Skills 是“教智能体做某件事”的文件夹：一个 SKILL.md 加上可选的脚本、参考资料和资产。论文指出，把公开 Skill 语料当作数据来读，它同时提供三样东西： · 任务分布的采样：人们真正想让智能体处理的任务分布（有人愿意花时间写下工作流，说明这活儿值得自动化）； · 真实世界的锚点：指向真实的仓库、数据集、工具和工件； · 结果测试表达不了的质量标准：领域专长、默认参数、常见坑、“好结果长什么样”。 # 数据流水线：四阶段编译，验证靠构造 1. Plan（分解）：容器化的 Codex 规划器读取完整 Skill 包、联网调研相关公共资产，把 Skill 拆解成若干可验证的 workflow，每个附带元计划（场景、初始世界、预埋缺陷、难点来源、解法草案、验证策略）、资产建议和“任务轴池”（任务原型 × 验证器模式 × 人物画像）。 2. Diversify（多样化）：宿主从轴池采样一组组合，加上复杂度、指令语气、请求者专业水平。关键设计是轴池以 workflow 为条件：研究型 workflow 配“证据可追溯”验证和研究者画像，而不是从全轴乘积空间乱抽，这让多样化保持 sensible。 3. Create（构造）：全新创建者 Codex agent 在 Docker 内工作，尽可能用真实素材（钉在特定 commit 的开源仓库、真实版本化文档、官方 API 规范）；需要联网服务的场景改造成本地替身（stub 服务器、录制回放 fixture、PATH 上的假 CLI、种子数据库），求解时绝不依赖网络。创建顺序被严格固定：先建世界 → 写指令 → 写测试 → 写量规 → 最后才写参考解，测试先于解法冻结，保证解法必须迁就评分契约而非反过来。 4. Verify（验证）：宿主端无模型参与的接收门：静态检查（布局、符号链接、Dockerfile 安全、基础镜像按内容摘要钉死）+ 两个容器内试跑：Oracle（参考解）必须全指标满分，NOP（什么都不做的 agent）必须全指标零分。任一失败即拒绝。 值得注意的一个反直觉选择：不做 teacher 模型预验证（不像部分工作用强模型试解、解不出就丢弃任务）。理由有二：这会把任务难度上限压到验证器能力，且成本翻倍；而 group-based RL 的在线动态过滤（rollout 无优势的 prompt 自动不产生梯度）天然淘汰过难/过易任务。 # 数据画像：广、贵、且忠实于源 规模与成本：7,971 个任务，用 GPT-5.6 Sol（xhigh 推理档）生成，API 花费超 9 万美元。（脚注：出于法律原因，公开发布的数据集改用 Kimi-K3-max 在同一流水线下生成。） 领域分布：13 个领域中，软件工程仅占 22.5%，AI/ML 10.5%，商业/金融/法律/HR 10.5%，营销 9.3%……论文对比了 TMax-15K、Terminal-Bench、DeepSWE 等，Skill2Env 是唯一全覆盖 13 域、且非技术知识工作占大头的语料。 忠实度探针（很聪明的设计）：用任务指令+量规作查询、对 3.4k 个 SKILL.md 做 TF-IDF 检索，73.2% 的任务 top-1 命中真实源 Skill，94.6% 进 top-10（随机 0.03%）。单用量规也有 68.5% top-1，证明量规携带的是 Skill 专属方法论而非泛泛建议。 SFT 数据：用 GLM-5.3 对每个任务 rollout 两次，得到 15,968 条轨迹，平均奖励 0.74，中位轨迹 19 次模型调用 + 23 次工具调用。 S2EBench：考虑到公开基准饱和，从 SkillHub 另外生成、逐条人工审核（指令无歧义、忠实于源 Skill、测试公允）后的 79 任务私有 held-out 基准。 # RL 实验：基础设施 + 极简配方 基础设施（论文明确说“现代 agentic RL 首先是基础设施挑战”）：Molt（PyTorch 原生全异步训练，Ray + vLLM + FSDP2）+ Polar（agent rollout 层：rootless Apptainer 沙箱、代理回传 token ID 和采样时 log-prob、prefix merging 把 harness 的多次补全缝合成训练轨迹）。 配方（刻意走“简单路线”）：GRPO 组归一优势 + DPPO 的 binary-KL 信任域掩码（δ=0.05，超出阈值的 token 直接丢弃，无需参考模型，还能防训练-推理失配）；G=8 rollouts/组，批 64，lr 1e-6 恒定，无 KL 惩罚、无熵奖励、无 SFT 热启动，每任务 65k 上下文。 量规校准奖励：开量规时，额外由 GPT-6 Astra 做 LLM-as-Judge（带“宪法”：惩罚无脑循环、reward hacking、答非所问；hacking 实证 = -5 分），总奖励 r = r_V + λs/5（λ=0.2），即 judge 最多把程序化奖励拉动 ±0.2。量规是校准可执行结果奖励，而非取代它，这是与“Rubrics as Rewards”一系的定位差异。 # 四项发现（论文最有信息量的部分） 发现 1：小规模 RL 即有跨域迁移。 仅 300 步、只用 2,400 任务子集训一个 epoch：S2EBench pass@1 +4.3（均分 +18.5），Terminal-Bench 2.1 +4.7（49.4→54.1）。训练集与 TB 无重叠（13-gram Jaccard < 0.8），且训练集从未针对 TB 调过，论文将其解读为规划、工具使用、收尾能力的通用提升而非任务族记忆。这让 27B 本地模型显著缩小了与云端前沿模型的差距。 发现 2：量规校准 RL 在基准上落后于纯结果 RL，一个诚实的负结果。 量规版在 TB 2.1 只有 50.1（纯结果版 54.1）；训练中量规版的程序化奖励长期停在 0.5–0.6，judge 分项从头到尾无上升趋势，两个奖励在训练分布上互相拉扯。论文不把它当作对量规奖励的终审判决（两者优化不同目标，而基准只考结果那一半），并给出两个疑因：λ=0.2 的加性形式让失败任务仍能拿正奖励、judge 看不到文件系统等设定均未调优；以及更本质的，Skill 写下的方法论可能本来就不是最大化基准通过率的分布。 发现 3：行为确实向 Skill 对齐，量规的价值所在。 200 个任务的成对偏好测试（judge 拿源 SKILL.md 当标准，比较匿名化的 base 与 RL 轨迹）：纯结果 RL 已被偏好 54.5% vs 33.5%；量规版被偏好 73.0% vs 24.0%。这说明量规奖励买到的东西在结果基准上看不见，但对“怎么做事”影响实质，对网页开发、报告综合、开放研究这类难验证任务尤其重要。 发现 4：GLM-5.3 蒸馏 SFT 反而伤害 Qwen。 在 GLM-5.3 轨迹上做 SFT：27B 上 TB 2.1 掉到 45.8；4B 上直接崩塌（TB 18.7→3.4，出现思维/工具调用死循环）。归因：教师的 interleaved-thinking + 工具调用风格与学生自身 post-training 不兼容，模仿覆盖了学生依赖的行为模式却带不来教师的能力。与 TMax 报告的“SFT 混合数据劣化已后训练的 Qwen”互相印证。因此论文所有 RL 结果都从未修改的原始 checkpoint 出发。

1/ Opus 5.5 生成教学视频的能力很强。 有人只用 1 分钟、花费约 2 美元，就为一家 AI 推理初创公司做出了一支发布视频。 过去同类视频往往需要数周甚至数月，还要协调代理商，成本可能高出 1000 倍。👇

「从零手写大模型」系列完结了 推理篇 15 篇，训练篇 5 篇，共 20 篇 从模型的基本结构 到如何生成文字，再到损失、梯度与参数更新 把学习过程整理成了一套完整笔记 每一篇都有可练习的代码示例 📖 推理篇 · 15 篇 01｜LLM From Scratch：整体大纲路线 02｜Tokenizer：分词器 03｜Embedding：嵌入层 04｜Positional Encoding：位置编码 05｜Self-Attention：自注意力机制 06｜Multi-Head Attention：多头注意力机制 07｜Residual Connection：残差连接 08｜LayerNorm：层归一化 09｜FFN：前馈神经网络 10｜Activation Function：激活函数 11｜Transformer Block：Transformer 模块 12｜Transformer Stack：Transformer 堆叠 13｜Loading Pretrained Weights：加载预训练权重 14｜Text Generation：文本生成 15｜Interpretability：可解释性 🛠 训练篇 · 5 篇 01｜Loss Function：损失函数 02｜Backpropagation：反向传播 03｜Gradient Descent：梯度下降 04｜Adam Optimizer：Adam 优化器 05｜Learning Rate Scheduling：学习率调度 推理篇，理解模型如何一步步算出下一个 token 训练篇，理解模型如何从误差中学习、更新参数 欢迎一起学习、交流，也欢迎指出笔记里的问题

这个开源项目系统整理了 35 家 AI 公司的 AI 工程师面试题，全部来自 “公开报告的面试经历” 来自 @outcome_school 团队 @pallavishekhar_ 开源发布，内容几乎涵盖了 OpenAI、Anthropic、DeepMind、xAI、DeepSeek、Kimi、GLM 等 AI Labs，Cursor、Cognition、ElevenLabs 等 AI Native 团队和 Nvidia、Microsoft、Amazon、Apple 等头部大厂。 覆盖的岗位头衔也非常多：AI Engineer、LLM Engineer、Gen AI Engineer、ML Engineer、Research Engineer、Applied Scientist、FDE、MLOps/LLMOps 工程师等。 开源地址： # 内容架构：一个精心设计的双层结构 第一层：跨公司通用题（Common Questions）。 作者把在多家公司反复出现的题目只列一次，标注"Asked at"哪些公司，按十大主题组织： 1. LLM 内部机制与架构 — attention 缩放因子、KV cache 内存公式推导、MQA/GQA/MLA、FlashAttention、BPE、RoPE/YaRN、Chinchilla scaling laws、MoE、解码采样策略、lost-in-the-middle、RMSNorm、SwiGLU 2. 推理、服务与 GPU 性能 — prefill vs decode、continuous batching、PagedAttention、投机解码、量化（FP16→FP4）、五种并行策略、TTFT/TPOT 指标、H100 上的 roofline 计算、vLLM/SGLang/TensorRT-LLM 选型、“如何把服务成本降 10 倍” 3. RAG 与检索 — 分块策略、BM25 vs 稠密检索、重排序器、HyDE、权限感知检索、ANN 索引、索引新鲜度、答案归因 4. Agent 与工具调用 — ReAct、MCP、工具 schema 设计、多智能体编排、Agent 记忆、循环终止条件、人类审批 5. 微调与对齐 — RLHF/DPO/GRPO/RLVR 全谱系、LoRA/QLoRA 数学、灾难性遗忘、“提示 vs RAG vs 微调”决策框架、蒸馏、reward hacking 6. 评估与可观测性 — LLM-as-judge 及其偏差、幻觉检测、基准污染、Agent 评估、回归门禁 7. 安全与负责任 AI — 提示注入（直接/间接）、OWASP LLM Top 10、护栏、Constitutional AI、红队 8. 多模态与语音 — VLM、语音 Agent 延迟预算、barge-in 打断处理、级联 vs 端到端语音、ASR/TTS 评估 9. AI 系统设计 — 十类高频设计题（千万级文档企业 RAG、代码助手、客服 Agent、Text-to-SQL、LLM 网关、数亿用户聊天服务等） 10. 编码题 — 从零实现 attention、KV cache、BPE、采样；LRU 缓存、令牌桶限流器、异步批处理器、SSE 流解析器、最小 Agent 循环 第二层：35 家公司的专属章节，分为五大梯队： 1. 前沿实验室（12 家）：Anthropic、OpenAI、Google DeepMind、Meta、xAI、Mistral、Cohere、DeepSeek、月之暗面（Kimi）、智谱（GLM）、阿里（Qwen）、Sarvam AI（印度） 2. 大厂 AI 组织：Microsoft、Amazon、Apple、NVIDIA、Tesla，以及一组消费级 ML 公司（Uber/Netflix/LinkedIn/Airbnb/Pinterest/Spotify） 3. AI 基础设施公司：Databricks、Groq、Together AI、Hugging Face、Scale AI、Perplexity 4. AI 原生产品公司：Cursor、Cognition（Devin）、Sierra、Harvey（法律）、Glean、 AI（机器人）、Waymo 5. 前向部署/企业 AI：Palantir # 题目分布透露的行业信号同样值得关注 1. 公司的差异化考察方向，和它的商业模式严丝合缝。 这是最能体现整理功力的地方： · DeepSeek、月之暗面、智谱、Qwen 的题目深度绑定自家论文——MLA、auxiliary-loss-free 负载均衡、Multi-Token Prediction、MuonClip、DualPipe、长上下文扩展、GLM 的 thinking 模式。面试这些公司等于面试它们的论文，还要求 PyTorch 从零实现 MoE 路由。 · Groq 的题全是 SRAM-only 架构下的 roofline 重推演：“没有 HBM，decode 的 roofline 论证哪里变了”、“确定性在 p99 层面到底买到什么”。 · Apple 清一色端侧：3B 模型在手机上跑、PTQ vs QAT、不采集用户内容的前提下用设备信号改进模型、30+ 语言区无法记录用户内容的评估方案。 · CharacterAI 是推理经济学：“我们的服务成本被 KV cache 而非权重主导，降一个数量级，代价是什么”。 · Harvey（法律）和 Abridge（医疗） 考的是领域约束下的工程：200 页信贷协议里第 140 页的条款依赖第 8 页的定义术语怎么检索、生成的病历中出现了患者没提过的药怎么当作安全事故处理、PHI 如何约束整个架构。 · Palantir 的招牌是 "decomposition" 轮：把“一家货运铁路公司每年因机车非计划停机损失数千万”分解成工程计划。 2. 编码轮的形态正在发生实质性变化。 文档里反复出现的一类题，与传统 LeetCode 明显不同： · “实现一个内存 KV 存储：先 SET/GET/DELETE，再加事务 BEGIN/COMMIT/ROLLBACK，包括嵌套事务”（OpenAI、xAI 都问） · “给你一个 LLM 推理引擎的调度器类，其中一个方法是空壳，没有规格没有文档。说说你头三十分钟干什么”（xAI） “重构这 120 行能跑但很乱的代码，不许破坏测试”（OpenAI） · “对 5 万个文档跑 LLM 调用，API 限 100 并发、偶发 429 和超时，把 Python 写出来”（Anthropic） 考察重心从算法记忆转向增量需求下的代码演进能力、并发正确性、真实工程约束下的取舍。 3. “AI 协作轮”作为新题型已经进入正式面试流程。 这是文档里最前沿的信号： · Anthropic 部分机器学习岗有 AI-collaboration 轮：现场给你 Claude，考察的是你如何指挥它和验证它的产出，而不是你自己写。 · Meta 2026 年的流程新增三阶段 AI 辅助编码轮（探索修复 → 实现新功能 → 扩展改进）。 · Cursor 的 onsite 是两天在真实 Cursor 代码库上做一个功能（或 8 小时远程版），明确考核你对 AI 工具的使用效率和自主 scoping 能力。 · Sierra 给你两小时和任意 AI 工具，看你选择做什么。 xAI 有四小时限时产品构建。 4. FDE 成为一级岗位类别。 Anthropic、OpenAI、Databricks、Scale、Together、Sierra、Harvey、ElevenLabs、Palantir 的章节里都有 "Applied and Forward-Deployed Scenarios" 专属题库——典型题目如“企业客户说 Claude 幻觉太多，你是驻场工程师，头 48 小时做什么”。这对应了 AI 公司向企业交付方式的转变：模型能力差距收窄后，落地能力成为差异化。 5. 硬核系统题的普及。 "H100 上 70B 模型 batch size 1 的 roofline 计算"、"估算 70B 模型的 GPU 显存（权重 + KV cache + 激活 + 碎片）"、"p99 延迟在部署后翻倍但模型没变，走一遍诊断”——这类题横跨 NVIDIA、Together、OpenAI、Perplexity 等多家，说明推理性能的量化直觉已成为 AI 工程师的通用素养，而非基础设施工程师的专属。