与「多模态Agent」相关的搜索结果

🎁 免费福利再加码！小米 MiMo-V2.5 现已开启全量免费！ 作为小米开源的原生全模态旗舰模型，MiMo-V2.5 采用 310B 稀疏 MoE 架构，支持文本、图像、视频与音频全模态输入，具备 1M 超长上下文与极速响应能力，专为多模态 Agent、音视频分析及通用编程等实战场景打造。 现已在 API 官方组开启全量免费调用，0 成本即可解锁小米前沿全模态大模型的硬核实力！ 👉 立即免费体验：

📢 小米 MiMo 系列模型现已登陆 API！ 🔸 MiMo-V2.5：310B 稀疏 MoE 原生全模态模型，支持图文音视频全模态输入与 1M 上下文，专为多模态 Agent 与通用编程打造。 🔸 MiMo-V2.5-Pro：1.02T 稀疏 MoE 旗舰文本模型，专攻复杂推理与长周期软件工程，SWE-Bench Verified 达 78.9。 现已开放两款模型的 API 调用，提供官方组接入和 自选服务商 4 折 优惠。 立即接入体验：

简直成精了，AI 能直接操作电脑了，一句指令就能订票订酒店规划路线，没人啥事了……😮 以前AI只能聊天写代码，现在直接能像人一样看屏幕、点鼠标、敲键盘，帮你完成各种电脑操作……这时代真是变了！😱 字节跳动开源了 UI-TARS-desktop（GitHub已 36.9k Star），一个真正的多模态AI电脑操控工具，只需用自然语言下指令，它就能自动截图识别界面，然后精准控制鼠标和键盘执行任务了。👍 你看，如下视频其实就一句指令： 我 9 月 1 日到 9 月 6 日在洛杉矶，预算 5000 美元。请帮我在 上预订离机场最近的丽思卡尔顿酒店，并为我编制一份交通指南！ 核心优势： - 支持本地和远程电脑/浏览器/手机控制 - 远程操控无需任何配置，点一下就能用 - 完全本地处理，隐私安全有保障 - 跨平台支持（Windows、macOS、浏览器） - 开源免费 使用方法： 1. 下载安装桌面客户端 2. 启动后输入自然语言指令 3. AI自动完成操作并反馈结果 一句话：AI 终于从"语言助手"跨越到"行动 Agent"，从陪人聊天走向替人干活，和人操作电脑一毛一样！😄 🔗 GitHub地址： 对AI Agent、自动化办公、效率工具感兴趣的同学，这个项目值得重点关注！ ～ #UITARS# #AI操控电脑# #字节开源# #多模态Agent# #开源工具# #工具分享#

冷知识： 目前多模态大模型创业的具体落地方向通常有如下方向，如果都不是你感兴趣的话，还是别赶时髦，乖乖回去学AI coding吧 ： 1. 游戏 AI NPC / 智能体中间件（如端云协同的 OmniNPC，赋能 3D 角色交互与情感叙事） 2. 企业级多模态 Agent（如面向复杂文档、视觉流分析、跨系统 RPA 的智能体） 3. 多模态内容生成与创意工具（如 AI 视频、短剧生成、电商营销图视频设计） 4. 具身智能与机器人控制（如基于多模态物理感知与动作生成的端到端控制系统） 5. 视觉/多模态代码与设计助手（如 UI 截图一键生成高质量代码、交互式产品设计）

究极"拼好模"出现了! 字节跳动 Lance! 字节跳动刚发布了一个开源模型 Lance, 激活参数量只有 3B. 但是这个模型可以接受文本, 图片, 视频输入, 然后同时可以输出文本, 图片, 视频! 所以这一个模型就能完成像图片理解, 视频理解, 文生图, 图生图, 图片编辑, 文生视频, 图生视频, 视频编辑等任务. 而训练团队在技术报告中透露, 训练成本仅仅是 128 涨 A100 显卡 (按照大厂算力来说纯纯是把冗余算力拿来用了). 那为啥说是"拼好模"呢? 原因是团队并没有完全从0造轮子. 模型的视觉输入模块直接用了 Qwen2.5-VL-ViT (用来看图和视频), 而视觉输出模块是 Wan2.2_VAE (用来画画). 而模型本体是两个: Lance_3B (用来做图片的理解、生成或编辑任务) Lance_3B_Video (用来做视频相关的任务, 比如文生视频、图生视频) 所以, 这完全是一个研究性项目了, 而项目本身的亮点其实恰好是"拼得好". 这个模型不像之前许多自称为全能模型那样直接把大语言模型 (LLM) 和扩散模型 (Diffusion) 硬拼接在一起 (即所谓的 Pipeline 方案) . 而是在一个共享的交错序列 (Interleaved sequence) 中同时处理文本、图像和视频的上下文. 这样做最大的好处是统一了语义空间, 让模型的理解能力和性能更好. (从评测来看3B就接近了许多10B甚至20B模型的水平) 另外还引入了多任务协同. 简单来讲, 理解任务 (图片转向量) 和生成任务 (向量转图片) 在模型内部本身是互斥的. Lance 创新性地在同一个框架内加入了专用专家模块, 成功缓解了这种冲突, 让模型既能做 VQA (视觉问答) , 又能做图像/视频生成和编辑. 期待一波实际应用落地, 这个模型对于端侧和多模态 Agent 来讲意义是重大的, 有很多之前需要多个模型协作的场景都能用单个模型做了. #lance# #全模态模型#

现在的 Coding LLM，很擅长处理代码、日志、文档、终端输出，但它们理解的是被描述的世界，而不是真实运行后的世界。 开发时就会遇到一种情况，代码逻辑完全正确，然后页面问题一堆，例如字体发虚、间距不协调、响应式布局失效，或者小程序、WebView、浏览器之间表现不一致。 这些问题，人一眼就能察觉，但纯语言模型就是不行。这也是当前做软件开发最让人头疼的地方，调细节调到手软，🐶 很多 Agent 会接入 Playwright/Puppeteer/截图分析/OCR/DOM Tree 等能力，相当于在给 LLM 增加了视觉输入，但就算是拿到了截图，它也很难还原真实画面，因为它依然是通过本文的方式来理解这个世界的。 产品体验里有大量东西，包括视觉认知、空间感知、交互节奏、动态反馈等，都存在于人的直觉里，滚动、动画、拖拽、手势、页面切换、焦点变化、微交互，这些都不是单张截图能够理解的。 最近也看到了一些变化的趋势，多模态 Coding Agent 已经在路上了。 下一代 Agent 会越来越像一个真正的软件工程师，它会自己运行页面，观察界面变化，理解视觉问题，修改代码，再重新运行，再继续观察。 当前主要还在靠 Harnees 工程手段来弥补这一块。

2026 年 9 月 29 日，OpenAI 在旧金山 Fort Mason 办了今年的开发者大会 DevDay。主讲是 CEO Sam Altman。其他几位上台的人都在做这些产品。产品团队的 Holly 演示了新产品 Dots。后训练（模型预训练之后做对齐和能力调优的阶段）研究负责人 Tejal 讲了模型怎么反过来帮 OpenAI 做研究。Codex 的演示由 Romain Huet 来做，他在 OpenAI 负责开发者体验，去年 DevDay 主题演讲里的 Codex 演示也是他做的。整场演讲分三块：面向用户的常驻智能体 Dots 和协作空间 ChatGPT Space，给开发者的新模型和新工具，以及帮开发者做分发、赚钱的渠道。 1. Dots：一直在线、会主动干活的智能体 Sam 把 Dots 比作电影里那种一直在身边帮忙的 AI 助手。他认为订餐厅、买机票这类代办虽然有用，但和这项技术能做的事比起来太小了。他想要的 AI 知道正在发生什么，也知道你在意什么，不用你事事交代。 Dots 是常驻在线的智能体（Agent），有自己的云端电脑和浏览器，能写代码、跑测试。它的权限跟着用户走，能直接用用户已经在 ChatGPT 里连好的插件，覆盖 4000 多个应用。除了在 ChatGPT 里对话，之后还可以给它发短信、打电话。目前每人先有一个 Dot，以后可以配一整组。Dots 跑在 本月早些时候发布的 GPT-6 Astra 上，Sam 称它是 OpenAI 对齐做得最好的模型。用户可以限定 Dot 能用哪些应用、能不能操作电脑，也能给它的各类操作写自定义指令，愿意交出多少责任就放多少权。 Sam 说，他自己的 Dot 每天早上会把夜里进来的消息过一遍，挑出紧急的提醒他。他说这让他拿回了一部分注意力，没那么离不开手机了。他还举了一个更重的例子：把应用从一个即将停用的旧 API 上迁走。这个 API 可能散落在代码库各处，改了哪里会连带弄坏什么，事先看不出来。Dot 可以追踪依赖关系，找出所有要改的地方，写代码、跑测试，最后把 PR（代码合并请求）交给团队审。他让听众想想，过去做这件事要几个人、花多久。 开场视频里，用户把自己的 Dot 改名叫 Alfred。Alfred 和另一个 Dot 帮用户上线网站，改董事会材料，在婚礼蛋糕商家取消后找好备选。它们还发现财务会和女儿的演出撞了期，提出改时间。每件事都是 Dot 推进到需要人确认的地方，再由人拍板。 2. ChatGPT Space：人和智能体一起用的工作区 Sam 认为，现有的生产力软件几乎都没考虑过人和 AI 一起干活。ChatGPT Space 以页面为单位，可以在里面写计划、做调研、生成图片和数据。页面和文件像网盘一样放在同一个空间里。Dot 能直接在页面上工作，在评论里 @ 它，它就会接活。页面本身也能带指令，比如“每天去看 API 平台的 Slack 频道，把发现更新到这里”。之后 Space 里还会加入演示文稿，格式做成智能体方便读写的样子，团队成员可以和各自的 Dot 一起改。 在 Holly 的演示里，页面用斜杠命令就能插入交互图表、表格和可运行的原型。她 @ 自己的 Dot（名叫 Dotty），让它把一组数据改成柱状图。图表可以按反馈类型筛选，Dotty 每小时刷新一次。她还让 Dotty 把“某位工程师在我 Slack 私信里提过的新手引导数据”补进 FAQ。Dotty 能看到她的上下文，所以这种模糊的指代也找得到。 3. OpenAI 内部怎么用 Dots Holly 用一个虚构的歌单应用 Blossom Music，模拟发布前一天的状况。早上 Dotty 已经做了几件事：发现发布评审会提前，改好了日历；看完前一晚测试用户的反馈；注意到设计团队临时改了首页，把新设计发给她。她让 Dotty 直接把这个设计做出来。Dotty 调用她笔记本上的 Codex 构建应用，在 iPhone 模拟器里跑起来，再提交 PR。现场的语音演示卡住了，Dotty 一直回复“还在查”。Codex 线程也报过一次错，她重试后才继续下去。 她说，Dots 真正改变 OpenAI 工作方式的地方在 Slack。Dots 在公司 Slack 里有自己的身份，员工就开始把它们当作代理人。被同事 @ 到的零碎请求，直接转给自己的 Dot 处理。建群时，大家从一开始就把各自的 Dot 拉进来，Dot 带回结果时所有人都能看到。 工程师走得更远。有人在反馈频道贴出会话 ID 和一个用户 bug，某位工程师的 Dot 就会接手排查，提 PR 修复。她说这是真实情况：工程师们的 Dots 每天这样修掉几十个 bug，Dots 这个产品本身有很多部分就是 Dots 写的。 4. 上线范围和企业用的 Specialist Dots Dots 和 Space 当天向 ChatGPT Pro、Business Premium 和 Enterprise 用户开放。Dot 包含在套餐里，和它的对话不占用额度。 企业客户还可以预览 Specialist Dots。这是由公司统一设置、供整个团队使用的虚拟同事，负责会计、市场、法务这类工作量大的事。公司给它目标和背景，审核它的产出，给它反馈，反馈在全公司共享。OpenAI 也在和微软合作，把 Specialist Dots 接入 Agent 365（微软用来管理企业智能体的工具），企业可以用已经在用的微软工具来管理它们。 5. 新模型：更便宜的 GPT-6.1 Sol，更快的 UltraFast Astra 发布这几周，用户的要求集中在两点：更便宜，更快。GPT-6.1 Sol（转录稿误作 Soul）的能力接近 Astra，价格是它的五分之一。缓存输入（重复发送、已被缓存的上下文）比标准输入便宜 95%。智能体需要反复读同一批上下文、长时间迭代，这对它们尤其省钱。Sam 说 Sol 在某些方面比 Astra 还聪明，定位是开发者的日常主力模型。 UltraFast 是新的速度档，API、ChatGPT 和 Codex 里都能用。原有的 Fast 档是两倍速度、两倍价格；UltraFast 是八倍速度、六倍价格，每秒 300 个 Token。它现在可以配合 Astra 用，之后也会支持 Sol。现场让两个模型用同一个提示词，做一个 DevDay 配色的火箭。UltraFast 的火箭已经升空时，标准速度的还没做完。 订阅也跟着调整。新推出的 500 美元档 Pro 订阅叫 Pro 500，额度最高，是 Plus 的 25 倍。它可以在 ChatGPT 和 Codex 里用 UltraFast，还能通过“用 ChatGPT 登录”在合作方的应用里使用。Pro 200 重新开放，继续提供所有前沿模型。 另外预览了 Decisions API。它给 Luna 模型一组预先定义好的选项，让模型从中选一个，比如给请求分流、给图片分类、决定智能体下一步做什么。任务收窄成选择题之后，响应时间可以压到一秒以内，同时保留图像理解、多语言和安全防护。Romain 后来补充说，做机器人的朋友看中的是它能处理视觉输入：机器人可以根据看到的东西，近乎实时地快速行动。 6. 模型开始帮 OpenAI 做研究 Sam 提到，去年这个时候，他和 Jakob 在一次直播里预测，一年内会出现第一个“AI 研究实习生”，当时几乎没人相信。几周前 OpenAI 宣布达成了这个目标：有了一个能接手定义清晰的研究任务的系统，这类任务原本要熟练的研究员花大量时间和精力。 Tejal 的方向是电脑操作（computer use，让模型像人一样操作桌面和浏览器）。她举了两个例子。 第一个是让模型优化电脑操作的运行框架（harness，包在模型外面、负责调用工具和管理步骤的代码）。模型在循环里持续寻找能同时降低延迟、提升效果的改动，团队把找到的改进合进生产环境的框架，并用于后训练。结果是延迟改善了两倍以上，已经上线。 第二个是模型帮忙改进了监控和拒绝训练，让 Astra 在不安全的场景里更会拒绝。Astra 在电脑操作压力测试上因此达到业内领先，操作时出错更少，也更贴合用户的本意。 她给出了几项内部数据。今年夏天之后，研究工作消耗的 Token 量急剧上升。1 月时，模型能做好 15 分钟以内的短任务，需要一天以上的任务大多会失败；到 7 月，超过三分之一的一天量级研究任务，模型能在无人干预下完成。她还提到，Astra 这类模型已经帮忙解决了 100 多个悬而未决几十年的数学问题，也在参与针对耐药感染的新抗生素、古代语言研究、可再生能源和工业机器人等方向的工作。 7. 给开发者的底层工具 Sam 说，OpenAI 想让开发者用上自己内部用的东西。 第一件是 Codex 的运行框架。它同时支撑着 Codex、ChatGPT Work 和 Dots，目标是用最少的 Token、最快拿到准确结果，现在已经开源。第二件是 Codex 完全上云：在手机上开始的任务，可以在浏览器或桌面端接着做，合上笔记本任务也不会中断。 云端能力带来了 Codex Security Cloud。它在云端环境里持续寻找漏洞，并准备好验证过的修复方案供人审核，这次新增了自动去重、定时扫描和新界面。Sam 说这是为了给防守方更好的工具，因为“我们看得到接下来会发生什么”。 新的 Agents API 进入公开测试。它包含运行框架、托管、记忆、多智能体控制等功能，是 Codex 和 Dots 用的同一套技术，也加入了电脑操作能力。现场的例子是一个网站测试智能体，会自己打开浏览器、点击页面、测试流程。基础设施方面，OpenAI 和 AWS 合作推出由 OpenAI 驱动的 Bedrock（AWS 的托管 AI 服务）托管智能体，AWS 客户可以直接使用 OpenAI 的前沿模型、Codex 和 ChatGPT Work。 隐私方面预览了 OpenAI Private Intelligence。其中的零数据留存（ZDR）配合私有安全处理，可以在不把用户内容存到 OpenAI 服务器的情况下做安全检测；私有推理则把隐私保护延伸到推理阶段。Sam 说这套方案是和最大的一批客户一起设计的，目的是让他们能把模型用在最敏感的工作上。 性能方面，Responses API 一年里增长了 100 倍，可靠性保持在 99% 以上。首个 Token 的等待时间缩短了 45%，工具调用和工作流提速 30% 以上。 8. Romain 的 Codex 演示 演示从手机上的 Codex 开始。Romain 人还在会场外，让 Codex 替他跟观众打招呼、讲一个会场的冷知识。接着他用几张会场照片生成的 3D 场景演示 UltraFast，一边说一边改：把小人放到座位上，把直播画面投到场景里的大屏幕上。现场语音没连上，他改成了打字。 Codex 命令行工具（CLI）这次全面翻新。他让 UltraFast 写一个应用，从观众里随机抽三个人送明年的门票，几秒就写完；改成抽六个人，也几乎是瞬间完成。命令行现在支持由 GPT Live 驱动的双向实时语音，不只是语音转文字，但现场没能演示出来。 后面几段演示了多模态和电脑操作。游戏 Astra Adventures 从一张纸上的草图开始，几轮之后画面还很粗糙，借助图像模型，才变成有质感、能用在正式游戏里的美术。然后他让 Astra 通过浏览器自己学着玩这个游戏，屏幕左边显示模型的决策，右边显示它按下的按键。 他又用“应用快照”（app shot）把自己记录飞行课程的应用作为上下文交给 Codex，让它在各种屏幕尺寸下审查这个应用并截图。Codex 自己在模拟器里点开了各项功能。云端 Codex 现在和本地版用同样的工具，包括插件和电脑操作。他顺手把一个“用 Rust 重写整个后端”的任务丢到云端，打算稍后在手机上查看。 最后一个演示用的是 Hugging Face 借来的可编程小机器人 Micro Duck，它名叫 Lavender。Romain 前一晚让 Codex 把它接好：视觉用 Astra，图像生成用 GPT Image 2.5，语音交互用 GPT Live 1。机器人现场看着观众画了一幅画。他说，OpenAI 做 Dots 和 Codex 用的，就是 API 里开放给开发者的同一批工具。 9. 分发和变现：让开发者在 ChatGPT 上做生意 ChatGPT 每周大约有 12 亿人使用。Sam 承认，此前类似的尝试效果参差不齐。他说这次有信心，是因为开发者拿到的是 OpenAI 自己做 ChatGPT 用的工具。 第一项是“用 ChatGPT 登录”（Sign in with ChatGPT）。用户登录第三方应用时，可以直接用自己 ChatGPT 套餐里包含的 Token，开发者不必替新用户垫付模型费用。首批有 16 家合作方。 第二项是插件扩展（plugin extensions）。开发者可以把编辑器、仪表盘乃至整个工作区，做成原生嵌在 ChatGPT 和 Codex 里的应用。现场展示了三个例子。一个是会议应用：在 ChatGPT 里看日历上的会议，点“记笔记”后，页面变成团队和 Dots 一起跟进待办的 Space。一个是 Figma：打开设计稿、看团队评论、让 ChatGPT 改稿。还有一个是 Adobe：在 ChatGPT 里使用 Photoshop 的功能。ChatGPT sites（在 ChatGPT 里生成的网站，几个月里已有数百万个）现在也能接入插件和数据。访客用自己的账号登录、带上自己的智能体，看到的内容因人而异。 用户发现插件的渠道也扩大了。除了在插件库里搜索，ChatGPT 还会在对话中识别出能帮上忙的插件，用户当场就能连接。插件审核流程也简化了：开发者可以跟踪审核进度，看到需要修改的地方，申请人工复审，更新工具时也不用从头提交。 第三项是 OpenAI Marketplace，首批有 30 多家合作方，包括 CodeRabbit、Notion、Vercel。企业客户可以用已经和 OpenAI 签下的采购承诺额度来买这些产品，有承诺额度的开发者也能在这里花。通过和模型推理托管公司 Baseten（转录稿写作 Base10）合作，市场里还能用到开源模型。 10. 收尾：一次额度重置，和“文艺复兴”的说法 当天的后续安排里，Peter 会讲 OpenAI 对开源社区的投入，包括新的 OpenClaw Enterprise Harness（OpenClaw 是一个开源 AI 智能体项目）。还有一个 Codex 游戏工作室环节，观众可以用 Codex 做复古游戏，每人能领一台 DevDay 限定的 chromatic computer，用来玩自己做的游戏。最后是 Sam、Tibo (Thibault) 和 Tejal 的现场问答。 Sam 和 Tibo 还在台上按下按钮，给全世界的用户重置了一次用量额度。Sam 说 OpenAI 已经做过太多次重置，Tibo 一直想把公司改名叫“重置公司”。 最后 Sam 说，他不喜欢把 AI 比作新一轮工业革命，那意味着人变成巨大机器里的齿轮，转得越来越快；生活里有些部分不能也不该被自动化。他希望，如果做对了，AI 带来的会更像一场新的文艺复兴：让人对自己的生活有更多掌控，有更多工具去创造、学习和探索。

[开源学习资源] AI Engineering from Scratch 59.8K ⭐️ 作者 @ghumare64 课程共 20 个阶段，以 Python 为主要编程语言，主张在导入任何框架之前，先用纯数学把每个算法手写一遍。 课程地址： 开源地址： 它和常见教程的本质区别 ？ 大多数 AI 教程是“API 驱动”的：装个库、调个接口、跑个 demo。这个项目反其道而行，每节课遵循固定的六段结构： Motto → Problem → Concept → Build It → Use It → Ship It 以 Phase 10 的一节课「Tokenizers: BPE, WordPiece, SentencePiece」 为例，这个格式是真实落地的，而且写作质量相当高： · Problem 部分不讲废话，直接从代价切入：“你的 LLM 不读英语，它读整数。分词器决定这些整数是承载意义还是浪费意义”，然后解释为什么 tokenization 不是预处理，它是架构的一部分（影响上下文窗口利用率、API 计费、推理速度）。 · Concept 部分用“三种失败的方案和一种胜出的方案”来讲演化逻辑：词级切分（词表爆炸、[UNK] 问题）→ 字符级切分（序列过长）→ 子词切分（BPE 的折中），并配上真实语料上 BPE 逐步合并的手工演算。 每节约 3000+ 词，带 Mermaid 图、可运行代码和测试。 另外两个设计值得强调： · 每节课产出一个可复用的 artifact，一个 prompt、一个 skill、一个 agent 或一个 MCP server。学完整个课程，你手里有 523 个可展示的作品，不是 523 个跑完就扔的 notebook。 · 强调“证据留存”：保留命令、退出码、输出，作为学习发生的证明。这明显吸收了工程实践中“可验证性”的思路。 # 课程结构：从线性代数到自主智能体集群 20 个阶段构成一条完整的上升曲线，咱们它分成五个大块来看： 基础层（Phase 0–2）：环境与工具链、数学基础（线性代数/概率/微积分）、经典机器学习。这是给基础不牢的读者铺的路。 深度学习与感知层（Phase 3–6）：神经网络核心、计算机视觉（一路讲到 NeRF、高斯泼溅、世界模型，这已经超出一般教程的覆盖范围）、NLP、语音。 生成与决策层（Phase 7–9）：Transformer 深挖、生成式 AI（GAN、扩散模型、flow matching）、强化学习。 LLM 层（Phase 10–12）：这是全课程的重心之一。Phase 10 的目录我逐条看过，它不只是“从零实现 GPT”这种常规内容，还包含了相当前沿的论文级主题：DeepSeek-V3 架构走读、DualPipe 并行策略、Native Sparse Attention（NSA）、多 token 预测、Jamba 的 SSM-Transformer 混合架构、 speculative decoding 等。Phase 11 转向应用侧（RAG、LoRA、MCP、可观测性），Phase 12 覆盖多模态（从 CLIP 到 computer-use agent）。 智能体层（Phase 13–16）：工具与协议（MCP、A2A、Agent Skills）、54 节课的 agent 工程、自主系统与安全、多智能体集群。这一层的分量很能说明项目的判断：它认为 AI 工程的重心正在从“训模型”转向“构建可靠协作的智能体”。 收尾（Phase 17–19）：生产基础设施、伦理与对齐、毕业设计。 # 生态与周边：不只是一个课程仓库 网站：带浏览器本地存储的学习进度追踪、术语表、课程目录和路线图。 六卷本书籍：课程内容由 CI（pandoc）自动构建成 EPUB/PDF，附在 GitHub Releases 上，课程即书，且随仓库持续更新。 Agent 导师模式：运行 npx skills add rohitg00/ai-engineering-from-scratch，可以把整个课程装进 Claude Code、Codex 等编码智能体，变成一个带分级测验（placement quiz）和个性化路径的交互式导师，学习进度写在 LEARNING.md 里。这是“用你正在学的工具来学”的巧妙闭环。 认证备考：5 条备考路径、67 节课、505 道练习题，覆盖 Anthropic 的 Claude 认证和 Agentic AI Foundation 的 MCPA。项目明确声明与这些考试机构无关联，只是独立的备考材料。 12 种语言的翻译（含中文），以及四条核心学习路径（构建与部署 AI 应用、软件工程基础、Agent 辅助工程、产品判断与交付）供不同目标的人选路。

这个开源项目系统整理了 35 家 AI 公司的 AI 工程师面试题，全部来自 “公开报告的面试经历” 来自 @outcome_school 团队 @pallavishekhar_ 开源发布，内容几乎涵盖了 OpenAI、Anthropic、DeepMind、xAI、DeepSeek、Kimi、GLM 等 AI Labs，Cursor、Cognition、ElevenLabs 等 AI Native 团队和 Nvidia、Microsoft、Amazon、Apple 等头部大厂。 覆盖的岗位头衔也非常多：AI Engineer、LLM Engineer、Gen AI Engineer、ML Engineer、Research Engineer、Applied Scientist、FDE、MLOps/LLMOps 工程师等。 开源地址： # 内容架构：一个精心设计的双层结构 第一层：跨公司通用题（Common Questions）。 作者把在多家公司反复出现的题目只列一次，标注"Asked at"哪些公司，按十大主题组织： 1. LLM 内部机制与架构 — attention 缩放因子、KV cache 内存公式推导、MQA/GQA/MLA、FlashAttention、BPE、RoPE/YaRN、Chinchilla scaling laws、MoE、解码采样策略、lost-in-the-middle、RMSNorm、SwiGLU 2. 推理、服务与 GPU 性能 — prefill vs decode、continuous batching、PagedAttention、投机解码、量化（FP16→FP4）、五种并行策略、TTFT/TPOT 指标、H100 上的 roofline 计算、vLLM/SGLang/TensorRT-LLM 选型、“如何把服务成本降 10 倍” 3. RAG 与检索 — 分块策略、BM25 vs 稠密检索、重排序器、HyDE、权限感知检索、ANN 索引、索引新鲜度、答案归因 4. Agent 与工具调用 — ReAct、MCP、工具 schema 设计、多智能体编排、Agent 记忆、循环终止条件、人类审批 5. 微调与对齐 — RLHF/DPO/GRPO/RLVR 全谱系、LoRA/QLoRA 数学、灾难性遗忘、“提示 vs RAG vs 微调”决策框架、蒸馏、reward hacking 6. 评估与可观测性 — LLM-as-judge 及其偏差、幻觉检测、基准污染、Agent 评估、回归门禁 7. 安全与负责任 AI — 提示注入（直接/间接）、OWASP LLM Top 10、护栏、Constitutional AI、红队 8. 多模态与语音 — VLM、语音 Agent 延迟预算、barge-in 打断处理、级联 vs 端到端语音、ASR/TTS 评估 9. AI 系统设计 — 十类高频设计题（千万级文档企业 RAG、代码助手、客服 Agent、Text-to-SQL、LLM 网关、数亿用户聊天服务等） 10. 编码题 — 从零实现 attention、KV cache、BPE、采样；LRU 缓存、令牌桶限流器、异步批处理器、SSE 流解析器、最小 Agent 循环 第二层：35 家公司的专属章节，分为五大梯队： 1. 前沿实验室（12 家）：Anthropic、OpenAI、Google DeepMind、Meta、xAI、Mistral、Cohere、DeepSeek、月之暗面（Kimi）、智谱（GLM）、阿里（Qwen）、Sarvam AI（印度） 2. 大厂 AI 组织：Microsoft、Amazon、Apple、NVIDIA、Tesla，以及一组消费级 ML 公司（Uber/Netflix/LinkedIn/Airbnb/Pinterest/Spotify） 3. AI 基础设施公司：Databricks、Groq、Together AI、Hugging Face、Scale AI、Perplexity 4. AI 原生产品公司：Cursor、Cognition（Devin）、Sierra、Harvey（法律）、Glean、 AI（机器人）、Waymo 5. 前向部署/企业 AI：Palantir # 题目分布透露的行业信号同样值得关注 1. 公司的差异化考察方向，和它的商业模式严丝合缝。 这是最能体现整理功力的地方： · DeepSeek、月之暗面、智谱、Qwen 的题目深度绑定自家论文——MLA、auxiliary-loss-free 负载均衡、Multi-Token Prediction、MuonClip、DualPipe、长上下文扩展、GLM 的 thinking 模式。面试这些公司等于面试它们的论文，还要求 PyTorch 从零实现 MoE 路由。 · Groq 的题全是 SRAM-only 架构下的 roofline 重推演：“没有 HBM，decode 的 roofline 论证哪里变了”、“确定性在 p99 层面到底买到什么”。 · Apple 清一色端侧：3B 模型在手机上跑、PTQ vs QAT、不采集用户内容的前提下用设备信号改进模型、30+ 语言区无法记录用户内容的评估方案。 · CharacterAI 是推理经济学：“我们的服务成本被 KV cache 而非权重主导，降一个数量级，代价是什么”。 · Harvey（法律）和 Abridge（医疗） 考的是领域约束下的工程：200 页信贷协议里第 140 页的条款依赖第 8 页的定义术语怎么检索、生成的病历中出现了患者没提过的药怎么当作安全事故处理、PHI 如何约束整个架构。 · Palantir 的招牌是 "decomposition" 轮：把“一家货运铁路公司每年因机车非计划停机损失数千万”分解成工程计划。 2. 编码轮的形态正在发生实质性变化。 文档里反复出现的一类题，与传统 LeetCode 明显不同： · “实现一个内存 KV 存储：先 SET/GET/DELETE，再加事务 BEGIN/COMMIT/ROLLBACK，包括嵌套事务”（OpenAI、xAI 都问） · “给你一个 LLM 推理引擎的调度器类，其中一个方法是空壳，没有规格没有文档。说说你头三十分钟干什么”（xAI） “重构这 120 行能跑但很乱的代码，不许破坏测试”（OpenAI） · “对 5 万个文档跑 LLM 调用，API 限 100 并发、偶发 429 和超时，把 Python 写出来”（Anthropic） 考察重心从算法记忆转向增量需求下的代码演进能力、并发正确性、真实工程约束下的取舍。 3. “AI 协作轮”作为新题型已经进入正式面试流程。 这是文档里最前沿的信号： · Anthropic 部分机器学习岗有 AI-collaboration 轮：现场给你 Claude，考察的是你如何指挥它和验证它的产出，而不是你自己写。 · Meta 2026 年的流程新增三阶段 AI 辅助编码轮（探索修复 → 实现新功能 → 扩展改进）。 · Cursor 的 onsite 是两天在真实 Cursor 代码库上做一个功能（或 8 小时远程版），明确考核你对 AI 工具的使用效率和自主 scoping 能力。 · Sierra 给你两小时和任意 AI 工具，看你选择做什么。 xAI 有四小时限时产品构建。 4. FDE 成为一级岗位类别。 Anthropic、OpenAI、Databricks、Scale、Together、Sierra、Harvey、ElevenLabs、Palantir 的章节里都有 "Applied and Forward-Deployed Scenarios" 专属题库——典型题目如“企业客户说 Claude 幻觉太多，你是驻场工程师，头 48 小时做什么”。这对应了 AI 公司向企业交付方式的转变：模型能力差距收窄后，落地能力成为差异化。 5. 硬核系统题的普及。 "H100 上 70B 模型 batch size 1 的 roofline 计算"、"估算 70B 模型的 GPU 显存（权重 + KV cache + 激活 + 碎片）"、"p99 延迟在部署后翻倍但模型没变，走一遍诊断”——这类题横跨 NVIDIA、Together、OpenAI、Perplexity 等多家，说明推理性能的量化直觉已成为 AI 工程师的通用素养，而非基础设施工程师的专属。

CS 329Z: Engineering AI Agents Stanford / Fall 2026 @stanfordnlp 课程定位：从"模型"到"系统"的工程学 覆盖：简单 LLM 流水线 → 复合 AI 系统 → 自主 Agent。三位讲师的背景也高度互补： @Diyi_Yang（斯坦福 NLP 教授，人机交互与社会计算方向） @michaelryan207（DSPy 核心贡献者，自动评估 AutoMetrics 作者） @jyangballin（SWE-agent / SWE-bench / SWE-smith 作者，软件工程 Agent 领域最重要的研究者之一） # 课程主线：三大工程挑战 贯穿全课的三个核心问题——分解（decomposition）、数据（data）、评估（evaluation）。11 周的内容基本围绕这三条线展开，可以分为五个模块： 模块 1：构建基元（Week 2–3） · LLM 作为构建材料：API/SDK（litellm）、结构化输出、约束生成、解码策略、test-time compute、上下文工程、模型选型与成本/延迟权衡 · RAG：embedding、向量库、分块策略、混合检索、cross-encoder 与 ColBERT 后期交互 · 工具调用：函数调用 API、MCP（Model Context Protocol）、工具设计、代码沙箱、错误处理与重试 模块 2：框架与设计模式（Week 3–5） · 框架层：DSPy（signature / module / optimizer）、LangChain/LangGraph、LlamaIndex，重点是"框架抽象了什么 vs. 你手写了什么" · 设计模式：workflow vs. agent 的分类学，五种可组合 workflow 模式，ReAct / plan-and-execute / reflection，"scaffold（脚手架）本身就是设计决策" · 记忆架构：短期/长期记忆、记忆作为工具动作、文件系统作为外化记忆、跨 Agent 记忆（MemGPT、Mem0、Generative Agents） · 多 Agent 系统：编排模式、handoff 与状态传递，以及一个很有态度的对照阅读——既读 AutoGen，也读《Why Do Multi-Agent LLM Systems Fail?》和 Neubig 的《Don't Sleep on Single-agent Systems》 模块 3：优化（Week 5） · 从提示词到微调的全景：GEPA、MIPROv2、OPRO、TextGrad（提示优化）；LoRA/QLoRA、蒸馏、RLHF/DPO（权重优化）；test-time scaling（推理算力） · 核心问题是决策框架：什么时候优化 prompt、什么时候优化 weights、什么时候堆推理算力 模块 4：数据与评估（Week 6–8）——最有分量的部分 · 数据：trace、demonstration、feedback 三类数据；训练数据 vs. 评估数据；数据飞轮；合成数据；从 Agent 轨迹构建数据集（SWE-smith） · 评估基础：为什么 eval 难；4 元组框架（request / environment / stopping criteria / scorer）；好 benchmark 的性质；tinyBenchmarks · 评估基础设施：三类 grader、LLM-as-judge 的 prompt 设计与已知偏差、pairwise vs. pointwise、非确定性指标 pass@k vs. pass^k、harness 设计 模块 5：安全与前沿（Week 8–11） · 安全：工具访问的隐私风险、prompt injection（含间接注入）、红队、沙箱与权限模型、输出护栏、human-in-the-loop · Coding Agent：SWE-agent、Claude Code、OpenHands 的端到端架构对比 · 主动式 Agent：从 reactive 到 proactive，General User Models（GUM）、Next Action Prediction，以及"Agent 何时应主动、何时应等待"的 mixed-initiative 问题 · 开放问题：多模态/web/计算机使用 Agent、科学 Agent、长时运行架构、生产可观测性（tracing、monitoring、成本管理） # 作业设计：一手建、一手评 HW1：从零构建 Agent 系统（10%） 给定论文库，构建能检索并推理回答科学问题的 Agent。 · Part A：只用 litellm 手写 RAG + 工具调用 + ReAct 式 Agent 循环 · Part B：用 DSPy 重建关键组件，并反思框架抽象了什么 HW2：评估一个 Agent（10%） 给定一个预构建 Agent，设计完整评估套件：代码型 grader、至少一个 LLM-as-judge、用 4 元组框架构建 benchmark 任务、错误分析。