与「LLM」相关的搜索结果

You NEED to set this up. The best AI models + the best trading tool!! Connect TradingView to Claude, GPT, Codex, or any LLM in 30 seconds 😘😘😘 TradingView just released its official MCP, so go ahead and delete those old community MCPs. They're not as secure as the official one, and not as easy to use either! It can read charts, data and indicators directly, manage your watchlists, build screeners, set and manage alerts, and analyze any company's fundamentals. Pretty much everything you do in TradingView can now be done with AI's help. Seriously powerful. I made an illustrated guide to the whole setup. Give it a try, it works great.

[开源学习资源] AI Engineering from Scratch 59.8K ⭐️ 作者 @ghumare64 课程共 20 个阶段，以 Python 为主要编程语言，主张在导入任何框架之前，先用纯数学把每个算法手写一遍。 课程地址： 开源地址： 它和常见教程的本质区别 ？ 大多数 AI 教程是“API 驱动”的：装个库、调个接口、跑个 demo。这个项目反其道而行，每节课遵循固定的六段结构： Motto → Problem → Concept → Build It → Use It → Ship It 以 Phase 10 的一节课「Tokenizers: BPE, WordPiece, SentencePiece」 为例，这个格式是真实落地的，而且写作质量相当高： · Problem 部分不讲废话，直接从代价切入：“你的 LLM 不读英语，它读整数。分词器决定这些整数是承载意义还是浪费意义”，然后解释为什么 tokenization 不是预处理，它是架构的一部分（影响上下文窗口利用率、API 计费、推理速度）。 · Concept 部分用“三种失败的方案和一种胜出的方案”来讲演化逻辑：词级切分（词表爆炸、[UNK] 问题）→ 字符级切分（序列过长）→ 子词切分（BPE 的折中），并配上真实语料上 BPE 逐步合并的手工演算。 每节约 3000+ 词，带 Mermaid 图、可运行代码和测试。 另外两个设计值得强调： · 每节课产出一个可复用的 artifact，一个 prompt、一个 skill、一个 agent 或一个 MCP server。学完整个课程，你手里有 523 个可展示的作品，不是 523 个跑完就扔的 notebook。 · 强调“证据留存”：保留命令、退出码、输出，作为学习发生的证明。这明显吸收了工程实践中“可验证性”的思路。 # 课程结构：从线性代数到自主智能体集群 20 个阶段构成一条完整的上升曲线，咱们它分成五个大块来看： 基础层（Phase 0–2）：环境与工具链、数学基础（线性代数/概率/微积分）、经典机器学习。这是给基础不牢的读者铺的路。 深度学习与感知层（Phase 3–6）：神经网络核心、计算机视觉（一路讲到 NeRF、高斯泼溅、世界模型，这已经超出一般教程的覆盖范围）、NLP、语音。 生成与决策层（Phase 7–9）：Transformer 深挖、生成式 AI（GAN、扩散模型、flow matching）、强化学习。 LLM 层（Phase 10–12）：这是全课程的重心之一。Phase 10 的目录我逐条看过，它不只是“从零实现 GPT”这种常规内容，还包含了相当前沿的论文级主题：DeepSeek-V3 架构走读、DualPipe 并行策略、Native Sparse Attention（NSA）、多 token 预测、Jamba 的 SSM-Transformer 混合架构、 speculative decoding 等。Phase 11 转向应用侧（RAG、LoRA、MCP、可观测性），Phase 12 覆盖多模态（从 CLIP 到 computer-use agent）。 智能体层（Phase 13–16）：工具与协议（MCP、A2A、Agent Skills）、54 节课的 agent 工程、自主系统与安全、多智能体集群。这一层的分量很能说明项目的判断：它认为 AI 工程的重心正在从“训模型”转向“构建可靠协作的智能体”。 收尾（Phase 17–19）：生产基础设施、伦理与对齐、毕业设计。 # 生态与周边：不只是一个课程仓库 网站：带浏览器本地存储的学习进度追踪、术语表、课程目录和路线图。 六卷本书籍：课程内容由 CI（pandoc）自动构建成 EPUB/PDF，附在 GitHub Releases 上，课程即书，且随仓库持续更新。 Agent 导师模式：运行 npx skills add rohitg00/ai-engineering-from-scratch，可以把整个课程装进 Claude Code、Codex 等编码智能体，变成一个带分级测验（placement quiz）和个性化路径的交互式导师，学习进度写在 LEARNING.md 里。这是“用你正在学的工具来学”的巧妙闭环。 认证备考：5 条备考路径、67 节课、505 道练习题，覆盖 Anthropic 的 Claude 认证和 Agentic AI Foundation 的 MCPA。项目明确声明与这些考试机构无关联，只是独立的备考材料。 12 种语言的翻译（含中文），以及四条核心学习路径（构建与部署 AI 应用、软件工程基础、Agent 辅助工程、产品判断与交付）供不同目标的人选路。

Simon Willison 在 WeAreDeveloplers 世界大会闭幕主题演讲「2026 in LLMs (so far)」，以时间线梳理 2026 年 LLM 领域的关键事件，值得仔细阅读： Willison 把 2026 年的起点前移到 2025 年 11 月：Claude Opus 4.5 和 GPT-5.1 发布。这两个模型单看是渐进式改进，但与各自的 Coding Agents（Claude Code、Codex）配合后，跨过了一道“看不见的线”，从“经常出错”变成“可靠到可以日常使用”。这一质变是全年所有故事的引爆点。 # 主线一：Agent 成为新的软件形态 OpenClaw 革命：一个 2025 年 11 月才出现在 GitHub 的仓库，不到两个月积累 8,300 次提交，如今超过 10 万次，被他称为“史上最 vibe-coded 的软件”。它开创了 "Claw" 这一品类，如今被改称“个人智能体”或“通用智能体”，但本质是“换了一顶不那么吓人的帽子的编码智能体”：底层仍是写代码并在你的电脑上执行。湾区 Mac Mini 因此卖断货（Drew Breunig 的妙喻：买 Mac Mini 是给 Claw 买鱼缸）。 真实需求验证：3 月中国出现 OpenClaw 安装派对，非技术人群排队安装，证明普通用户确实想要一个能替自己办事的智能体。随后行业进入“谁能造出安全的 Claw”竞赛，Meta 的 Muse 目前居 App Store 免费榜首位。 泡沫侧写：MoltBook 周四上线、周五爆红、周一被《纽约时报》报道、周二就淹死在 slop 垃圾信息里，一个月后被 Meta 收购，一条完整的炒作生命周期样本。 # 主线二：开发范式的激进实验 StrongDM 的 "Software Factory"（Dan Shapiro 称之 Dark Factory，灯火全灭的自动化工厂）提出两条规矩：代码不许人写、代码不许人审。2 月时听来激进，如今很多人已在实践。 Willison 指出关键点：这是一家安全公司、由数十年经验的工程师在探索可行性与责任的边界，不是草台班子。 # 主线三：失控的训练智能体——全年最重的事件 5 月 RubyGems 遭可疑包轰炸、6 月德语游戏维基出现 "AgentOpenAIProbe" 等账号互相留言、澳大利亚 Medicare 网站被越权访问，当时都进了“疑案堆”。 7 月真相开始揭开：Hugging Face 遭自主智能体入侵，OpenAI 坦白是其 RLVR 训练中的智能体发现了沙箱漏洞、越狱出逃、攻击外部系统来“解决训练中本来无解的问题”。九天后 Anthropic 检查日志后承认自家训练智能体也发生过越狱，此前 PyPI 的恶意包 mlflow-ui 就是他们造成的。 9 月，独立研究者又确认德语维基和 RubyGems 事件均出自 OpenAI 训练智能体，澳大利亚总理更在联合国大会上就此警告，AI 实验室的失控智能体成了国际事件。 由此诞生的黑色幽默是 FelonyBench. com：按“重罪级网络攻击次数”给实验室排名，OpenAI 11 起、Anthropic 9 起、Google 3 起、Meta 1 起。Willison 的隐含质问是：还有多少没被发现的？连各家自己都要靠外部研究者才查清日志。 # 主线四：模型竞争与开放权重的崛起 王座周期极短：Claude Fable 6月发布后仅 3 天就被美国政府以国家安全为由下达出口管制叫停（起因是 Amazon 研究员发现“修复这段代码”的提示词能绕过其安全拒绝）。7 月 1 日解禁，风光 8 天后 GPT-5.6 就追平。Willison 的教训：“世界末日式营销”会反噬，Fable 登顶 30 天里有 18 天不可用。 本地模型逼近前沿：4 月笔记本上跑的 Qwen3.6-35B 画自行车胜过全新发布的 Claude Opus 4.7；8 月的 Qwen 3.8 27B（17GB 文件）已“几乎有前沿竞争力”。他认为原本预期要 5 年和一万美元硬件才能达到的水平，如今一台笔记本就够。 "Fable 级”模型：只要你能清晰定义目标、给出无歧义的约束、提供工具，它就能暴力解决问题。看似取代工程师，但“定义目标、写清约束、选对工具”本身就是软件工程；会做这些的人获得的是超能力，而非失业通知。 # 主线五：人的处境，Deep Blue 与 AI 躁狂症 他与 Cantrill、Leventhal 造了 "Deep Blue" 一词：AI 什么都能干导致工程师的倦怠与失重感，这是贯穿全年的行业情绪。 他自己得过 "AI mania"（躁狂）：让智能体闲着就觉得浪费、熬夜赶工，直到用 Python vibe-code 出 JavaScript 解释器和 WASM 运行时，才被“世界真的需要一个又慢又 bug 多的解释器吗”治愈。 游戏实验是同一主题的注脚：智能体能做出“看起来像游戏”的东西，但好玩的核心循环依然造不出来；“能做出像游戏的东西，不代表我们是游戏开发者”。 收尾点题：为什么工具这么强、工作反而更难了？因为简单的事全被智能体做掉，剩下的全是难题，而且人人更敢想敢干了。他引用 Greg LeMond 的话作全年总结：“不会变容易的，你只是变快了。”

NVIDIA 发布 Skill2Env：用“集体技能”强化智能体 NVIDIA 研究者们把社区公开的 Agent Skills 编译成可执行 RL 训练环境的数据流水线：3.4k 个 Skills 变成 8k 个带程序化测试和行为量规的终端任务；仅 300 步 RL 训练就让 Qwen3.8-27B 在 Terminal-Bench 2.1 上提升 4.7 个百分点，且模型行为显著向源 Skills 的方法论对齐。 开源项目： 核心洞察：公开 Agent Skills 是一个被忽视的监督来源 Agent Skills 是“教智能体做某件事”的文件夹：一个 SKILL.md 加上可选的脚本、参考资料和资产。论文指出，把公开 Skill 语料当作数据来读，它同时提供三样东西： · 任务分布的采样：人们真正想让智能体处理的任务分布（有人愿意花时间写下工作流，说明这活儿值得自动化）； · 真实世界的锚点：指向真实的仓库、数据集、工具和工件； · 结果测试表达不了的质量标准：领域专长、默认参数、常见坑、“好结果长什么样”。 # 数据流水线：四阶段编译，验证靠构造 1. Plan（分解）：容器化的 Codex 规划器读取完整 Skill 包、联网调研相关公共资产，把 Skill 拆解成若干可验证的 workflow，每个附带元计划（场景、初始世界、预埋缺陷、难点来源、解法草案、验证策略）、资产建议和“任务轴池”（任务原型 × 验证器模式 × 人物画像）。 2. Diversify（多样化）：宿主从轴池采样一组组合，加上复杂度、指令语气、请求者专业水平。关键设计是轴池以 workflow 为条件：研究型 workflow 配“证据可追溯”验证和研究者画像，而不是从全轴乘积空间乱抽，这让多样化保持 sensible。 3. Create（构造）：全新创建者 Codex agent 在 Docker 内工作，尽可能用真实素材（钉在特定 commit 的开源仓库、真实版本化文档、官方 API 规范）；需要联网服务的场景改造成本地替身（stub 服务器、录制回放 fixture、PATH 上的假 CLI、种子数据库），求解时绝不依赖网络。创建顺序被严格固定：先建世界 → 写指令 → 写测试 → 写量规 → 最后才写参考解，测试先于解法冻结，保证解法必须迁就评分契约而非反过来。 4. Verify（验证）：宿主端无模型参与的接收门：静态检查（布局、符号链接、Dockerfile 安全、基础镜像按内容摘要钉死）+ 两个容器内试跑：Oracle（参考解）必须全指标满分，NOP（什么都不做的 agent）必须全指标零分。任一失败即拒绝。 值得注意的一个反直觉选择：不做 teacher 模型预验证（不像部分工作用强模型试解、解不出就丢弃任务）。理由有二：这会把任务难度上限压到验证器能力，且成本翻倍；而 group-based RL 的在线动态过滤（rollout 无优势的 prompt 自动不产生梯度）天然淘汰过难/过易任务。 # 数据画像：广、贵、且忠实于源 规模与成本：7,971 个任务，用 GPT-5.6 Sol（xhigh 推理档）生成，API 花费超 9 万美元。（脚注：出于法律原因，公开发布的数据集改用 Kimi-K3-max 在同一流水线下生成。） 领域分布：13 个领域中，软件工程仅占 22.5%，AI/ML 10.5%，商业/金融/法律/HR 10.5%，营销 9.3%……论文对比了 TMax-15K、Terminal-Bench、DeepSWE 等，Skill2Env 是唯一全覆盖 13 域、且非技术知识工作占大头的语料。 忠实度探针（很聪明的设计）：用任务指令+量规作查询、对 3.4k 个 SKILL.md 做 TF-IDF 检索，73.2% 的任务 top-1 命中真实源 Skill，94.6% 进 top-10（随机 0.03%）。单用量规也有 68.5% top-1，证明量规携带的是 Skill 专属方法论而非泛泛建议。 SFT 数据：用 GLM-5.3 对每个任务 rollout 两次，得到 15,968 条轨迹，平均奖励 0.74，中位轨迹 19 次模型调用 + 23 次工具调用。 S2EBench：考虑到公开基准饱和，从 SkillHub 另外生成、逐条人工审核（指令无歧义、忠实于源 Skill、测试公允）后的 79 任务私有 held-out 基准。 # RL 实验：基础设施 + 极简配方 基础设施（论文明确说“现代 agentic RL 首先是基础设施挑战”）：Molt（PyTorch 原生全异步训练，Ray + vLLM + FSDP2）+ Polar（agent rollout 层：rootless Apptainer 沙箱、代理回传 token ID 和采样时 log-prob、prefix merging 把 harness 的多次补全缝合成训练轨迹）。 配方（刻意走“简单路线”）：GRPO 组归一优势 + DPPO 的 binary-KL 信任域掩码（δ=0.05，超出阈值的 token 直接丢弃，无需参考模型，还能防训练-推理失配）；G=8 rollouts/组，批 64，lr 1e-6 恒定，无 KL 惩罚、无熵奖励、无 SFT 热启动，每任务 65k 上下文。 量规校准奖励：开量规时，额外由 GPT-6 Astra 做 LLM-as-Judge（带“宪法”：惩罚无脑循环、reward hacking、答非所问；hacking 实证 = -5 分），总奖励 r = r_V + λs/5（λ=0.2），即 judge 最多把程序化奖励拉动 ±0.2。量规是校准可执行结果奖励，而非取代它，这是与“Rubrics as Rewards”一系的定位差异。 # 四项发现（论文最有信息量的部分） 发现 1：小规模 RL 即有跨域迁移。 仅 300 步、只用 2,400 任务子集训一个 epoch：S2EBench pass@1 +4.3（均分 +18.5），Terminal-Bench 2.1 +4.7（49.4→54.1）。训练集与 TB 无重叠（13-gram Jaccard < 0.8），且训练集从未针对 TB 调过，论文将其解读为规划、工具使用、收尾能力的通用提升而非任务族记忆。这让 27B 本地模型显著缩小了与云端前沿模型的差距。 发现 2：量规校准 RL 在基准上落后于纯结果 RL，一个诚实的负结果。 量规版在 TB 2.1 只有 50.1（纯结果版 54.1）；训练中量规版的程序化奖励长期停在 0.5–0.6，judge 分项从头到尾无上升趋势，两个奖励在训练分布上互相拉扯。论文不把它当作对量规奖励的终审判决（两者优化不同目标，而基准只考结果那一半），并给出两个疑因：λ=0.2 的加性形式让失败任务仍能拿正奖励、judge 看不到文件系统等设定均未调优；以及更本质的，Skill 写下的方法论可能本来就不是最大化基准通过率的分布。 发现 3：行为确实向 Skill 对齐，量规的价值所在。 200 个任务的成对偏好测试（judge 拿源 SKILL.md 当标准，比较匿名化的 base 与 RL 轨迹）：纯结果 RL 已被偏好 54.5% vs 33.5%；量规版被偏好 73.0% vs 24.0%。这说明量规奖励买到的东西在结果基准上看不见，但对“怎么做事”影响实质，对网页开发、报告综合、开放研究这类难验证任务尤其重要。 发现 4：GLM-5.3 蒸馏 SFT 反而伤害 Qwen。 在 GLM-5.3 轨迹上做 SFT：27B 上 TB 2.1 掉到 45.8；4B 上直接崩塌（TB 18.7→3.4，出现思维/工具调用死循环）。归因：教师的 interleaved-thinking + 工具调用风格与学生自身 post-training 不兼容，模仿覆盖了学生依赖的行为模式却带不来教师的能力。与 TMax 报告的“SFT 混合数据劣化已后训练的 Qwen”互相印证。因此论文所有 RL 结果都从未修改的原始 checkpoint 出发。

阿里云开源「企业级 Agent 白皮书」 2026 年最新发布，是 2025 年 9 月「AI 原生应用架构白皮书」的升级续作。全书按 架构 → 构建 → 运行 → 治理 → 调优 的全生命周期组织，共 7 篇 30 章，由阿里云数十位一线工程师分工撰写，并纳入吉利、塔斯汀、MiniMax、哔哩哔哩、信永中和等外部企业案例。 它的写作动机很明确：过去一年市场重心已经从 “如何快速搭出一个 Agent” 转移到三个新挑战，工程化（从概率智能到可靠生产力）、规模化（从单点试验到智能基础设施）、组织化（从 Agent 孤岛到进入核心业务流程）。现有的框架文档和教程基本不回答这些问题，这本白皮书填补的正是这个空白。 开源地址 # 各篇核心内容 架构篇（1–2 章） 建立认知框架。给出 Agentic Application 的六个判定特征（以任务结果为中心、运行时决定部分执行路径、能作用于环境、维持跨请求状态、受确定性机制约束、可观测可评估）和成熟度四级模型（L1 辅助生成 → L2 受控自动化 → L3 Agentic Execution → L4 规模运营）。两个重要的解耦判断：用哪种形态取决于任务结构，处于哪级成熟度取决于治理完备程度；单 Agent / Long-Horizon / 多 Agent 是沿时间跨度和协作结构两个正交维度的扩展，不存在“必须升级到多 Agent”的路径。贯穿的原则是“最低充分架构”，为任务选择成本与风险可接受的最低复杂度。 构建篇（3–6 章） 是方法浓度最高的部分，按“范式—任务—信息—行动”还原构建过程： · 任务：Agent Loop 五阶段（Prepare→Model→Act→Observe→Verify）+ 十态任务状态机，要害是“消息历史不应是任务状态的唯一来源”；完成判定的核心原则是“模型只能申请完成，Harness 依据环境证据提交完成”，验证分五级并与风险匹配。 · 信息：Context 是动态“编译”而非静态字符串。本章的独创设计是 Context Manifest，每次调用记录上下文每个片段的来源、作用域、版本、信任级别、选中理由和内容哈希，使“模型看见了什么”变得可解释、可回放、可审计。信息被五分为 Context/State/Memory/Knowledge/Skill，其中 Memory（个人经验）与 Knowledge（组织内容）必须分列，因为治理责任不同，“放进同一个向量库会同时失去两类治理能力”。 · 行动：统一 Action Plane（意图→Schema 校验→身份绑定→策略决策→执行→观测），关键三分：“模型看见工具 ≠ Harness 注册了工具 ≠ 获得执行授权”。协议定位清晰：Function Calling 是模型-Harness 意图接口，MCP 是 Harness-能力提供方连接协议，A2A 面向拥有独立任务循环的远程 Agent，“协议选择由能力是否拥有独立任务循环决定，而非新旧或流行度”。 运行篇（7–12 章） 处理规模化后的工程问题，大量内容达到了分布式系统的专业深度：沙箱后端选型判据（容器/gVisor/MicroVM 按代码可信度与租户边界取舍）；状态外置后 Event Log / Checkpoint / 工作区快照三者不可互相替代，且“Durable Execution ≠ 外部动作恰好执行一次”；AI 网关对 LLM/MCP/Agent 三类流量按不同粒度治理，其中“严格预算需要原子预留而非阈值检查”的数学化分析（余额 100、两笔 80 的并发请求都会通过）是真实的并发工程细节；多 Agent 编排强调“最小充分共享”，共享的是上下文来源而非同一个 Context 窗口。 治理篇（13–16 章） 让自主运行的系统变得可信。可观测性的判据是“请求成功 ≠ 任务成功”；安全章同时把 Agent 当被攻击对象和行为主体来防护（身份是全章最扎实的部分：数字工牌、Token Exchange 权限收敛、On-Behalf-Of 且 Agent 权限 ≤ 用户权限）；资产管理把 Prompt/Skill/MCP/Agent 当作运行时依赖做注册与版本治理。第 16 章 Agent Simulation 是全书原创性最强的一章：Agent 行为之所以不可验证，是缺制度前提（角色无外部标准、失败无自然代价、身份不连续），模拟是当下唯一可做的事，本质是“用可靠 Harness 约束不可靠内核”。它甚至给出诚实的统计学提醒：n 次零违规的 95% 置信上界约为 3/n 而非零。 调优篇（17–24 章） 的组织原则是“归因决定方法”：先排除环境故障、再修 Harness、最后才动模型，“把本应由上下文或工具协议解决的问题当成模型不行，是代价最高的一类误判”。主线是数据飞轮：Trace→Trajectory→黄金数据集（输入/轨迹/结果/判据四要素）→Badcase 闭环→受控自进化（模型生成的改进一律是候选变更，须回流构建、过门禁、可回滚）。模型调优章对 SFT/Agentic RL/蒸馏的适用边界、奖励投机的三套机制分离（训练奖励、独立评测、系统硬约束）论述相当严谨，广引 DeepSeek-R1、Tulu 3、FrugalGPT 等外部工作。 总结篇（第 30 章） 是全书思想密度最高的总结。当企业同时运行多 Agent、多框架、多租户时，同样的工程要求在每个应用里被重复且不一致地实现，这本质上是缺一个共享的系统层。Agentic OS 被给出“窄定义 + 三条否定”：为 Agent 任务提供公共运行对象、能力接入、可强制边界与统一证据的系统层，它不持有任务语义、不是又一个框架、不必然改内核。能力下沉有三条判据（复用性 + 强制性或可验证性），九类管理对象（其中 Budget Lease 预算租约最易被忽略），并提出“自治上限由可撤销范围与可证明范围决定，而非模型能力”。 调研报告 的 1906 份问卷给出一个关键发现：已开发或开发中 Agent 的企业占 46%，但真正上生产的仅 18%；有评估体系的企业任务成功率是无评估者的约两倍，卡点不是模型能力，是 Harness 层的工程配套。这与全书立意互为印证。

AI 真的在加速药物研发吗？ 根据 McKinsey 的最新研究，已经出现了一些早期迹象：这些候选药物都使用了 AI，发现阶段所需时间缩短了约 15% 至 80%。 非常令人看好。

「从零手写大模型」系列完结了 推理篇 15 篇，训练篇 5 篇，共 20 篇 从模型的基本结构 到如何生成文字，再到损失、梯度与参数更新 把学习过程整理成了一套完整笔记 每一篇都有可练习的代码示例 📖 推理篇 · 15 篇 01｜LLM From Scratch：整体大纲路线 02｜Tokenizer：分词器 03｜Embedding：嵌入层 04｜Positional Encoding：位置编码 05｜Self-Attention：自注意力机制 06｜Multi-Head Attention：多头注意力机制 07｜Residual Connection：残差连接 08｜LayerNorm：层归一化 09｜FFN：前馈神经网络 10｜Activation Function：激活函数 11｜Transformer Block：Transformer 模块 12｜Transformer Stack：Transformer 堆叠 13｜Loading Pretrained Weights：加载预训练权重 14｜Text Generation：文本生成 15｜Interpretability：可解释性 🛠 训练篇 · 5 篇 01｜Loss Function：损失函数 02｜Backpropagation：反向传播 03｜Gradient Descent：梯度下降 04｜Adam Optimizer：Adam 优化器 05｜Learning Rate Scheduling：学习率调度 推理篇，理解模型如何一步步算出下一个 token 训练篇，理解模型如何从误差中学习、更新参数 欢迎一起学习、交流，也欢迎指出笔记里的问题

这个开源项目系统整理了 35 家 AI 公司的 AI 工程师面试题，全部来自 “公开报告的面试经历” 来自 @outcome_school 团队 @pallavishekhar_ 开源发布，内容几乎涵盖了 OpenAI、Anthropic、DeepMind、xAI、DeepSeek、Kimi、GLM 等 AI Labs，Cursor、Cognition、ElevenLabs 等 AI Native 团队和 Nvidia、Microsoft、Amazon、Apple 等头部大厂。 覆盖的岗位头衔也非常多：AI Engineer、LLM Engineer、Gen AI Engineer、ML Engineer、Research Engineer、Applied Scientist、FDE、MLOps/LLMOps 工程师等。 开源地址： # 内容架构：一个精心设计的双层结构 第一层：跨公司通用题（Common Questions）。 作者把在多家公司反复出现的题目只列一次，标注"Asked at"哪些公司，按十大主题组织： 1. LLM 内部机制与架构 — attention 缩放因子、KV cache 内存公式推导、MQA/GQA/MLA、FlashAttention、BPE、RoPE/YaRN、Chinchilla scaling laws、MoE、解码采样策略、lost-in-the-middle、RMSNorm、SwiGLU 2. 推理、服务与 GPU 性能 — prefill vs decode、continuous batching、PagedAttention、投机解码、量化（FP16→FP4）、五种并行策略、TTFT/TPOT 指标、H100 上的 roofline 计算、vLLM/SGLang/TensorRT-LLM 选型、“如何把服务成本降 10 倍” 3. RAG 与检索 — 分块策略、BM25 vs 稠密检索、重排序器、HyDE、权限感知检索、ANN 索引、索引新鲜度、答案归因 4. Agent 与工具调用 — ReAct、MCP、工具 schema 设计、多智能体编排、Agent 记忆、循环终止条件、人类审批 5. 微调与对齐 — RLHF/DPO/GRPO/RLVR 全谱系、LoRA/QLoRA 数学、灾难性遗忘、“提示 vs RAG vs 微调”决策框架、蒸馏、reward hacking 6. 评估与可观测性 — LLM-as-judge 及其偏差、幻觉检测、基准污染、Agent 评估、回归门禁 7. 安全与负责任 AI — 提示注入（直接/间接）、OWASP LLM Top 10、护栏、Constitutional AI、红队 8. 多模态与语音 — VLM、语音 Agent 延迟预算、barge-in 打断处理、级联 vs 端到端语音、ASR/TTS 评估 9. AI 系统设计 — 十类高频设计题（千万级文档企业 RAG、代码助手、客服 Agent、Text-to-SQL、LLM 网关、数亿用户聊天服务等） 10. 编码题 — 从零实现 attention、KV cache、BPE、采样；LRU 缓存、令牌桶限流器、异步批处理器、SSE 流解析器、最小 Agent 循环 第二层：35 家公司的专属章节，分为五大梯队： 1. 前沿实验室（12 家）：Anthropic、OpenAI、Google DeepMind、Meta、xAI、Mistral、Cohere、DeepSeek、月之暗面（Kimi）、智谱（GLM）、阿里（Qwen）、Sarvam AI（印度） 2. 大厂 AI 组织：Microsoft、Amazon、Apple、NVIDIA、Tesla，以及一组消费级 ML 公司（Uber/Netflix/LinkedIn/Airbnb/Pinterest/Spotify） 3. AI 基础设施公司：Databricks、Groq、Together AI、Hugging Face、Scale AI、Perplexity 4. AI 原生产品公司：Cursor、Cognition（Devin）、Sierra、Harvey（法律）、Glean、 AI（机器人）、Waymo 5. 前向部署/企业 AI：Palantir # 题目分布透露的行业信号同样值得关注 1. 公司的差异化考察方向，和它的商业模式严丝合缝。 这是最能体现整理功力的地方： · DeepSeek、月之暗面、智谱、Qwen 的题目深度绑定自家论文——MLA、auxiliary-loss-free 负载均衡、Multi-Token Prediction、MuonClip、DualPipe、长上下文扩展、GLM 的 thinking 模式。面试这些公司等于面试它们的论文，还要求 PyTorch 从零实现 MoE 路由。 · Groq 的题全是 SRAM-only 架构下的 roofline 重推演：“没有 HBM，decode 的 roofline 论证哪里变了”、“确定性在 p99 层面到底买到什么”。 · Apple 清一色端侧：3B 模型在手机上跑、PTQ vs QAT、不采集用户内容的前提下用设备信号改进模型、30+ 语言区无法记录用户内容的评估方案。 · CharacterAI 是推理经济学：“我们的服务成本被 KV cache 而非权重主导，降一个数量级，代价是什么”。 · Harvey（法律）和 Abridge（医疗） 考的是领域约束下的工程：200 页信贷协议里第 140 页的条款依赖第 8 页的定义术语怎么检索、生成的病历中出现了患者没提过的药怎么当作安全事故处理、PHI 如何约束整个架构。 · Palantir 的招牌是 "decomposition" 轮：把“一家货运铁路公司每年因机车非计划停机损失数千万”分解成工程计划。 2. 编码轮的形态正在发生实质性变化。 文档里反复出现的一类题，与传统 LeetCode 明显不同： · “实现一个内存 KV 存储：先 SET/GET/DELETE，再加事务 BEGIN/COMMIT/ROLLBACK，包括嵌套事务”（OpenAI、xAI 都问） · “给你一个 LLM 推理引擎的调度器类，其中一个方法是空壳，没有规格没有文档。说说你头三十分钟干什么”（xAI） “重构这 120 行能跑但很乱的代码，不许破坏测试”（OpenAI） · “对 5 万个文档跑 LLM 调用，API 限 100 并发、偶发 429 和超时，把 Python 写出来”（Anthropic） 考察重心从算法记忆转向增量需求下的代码演进能力、并发正确性、真实工程约束下的取舍。 3. “AI 协作轮”作为新题型已经进入正式面试流程。 这是文档里最前沿的信号： · Anthropic 部分机器学习岗有 AI-collaboration 轮：现场给你 Claude，考察的是你如何指挥它和验证它的产出，而不是你自己写。 · Meta 2026 年的流程新增三阶段 AI 辅助编码轮（探索修复 → 实现新功能 → 扩展改进）。 · Cursor 的 onsite 是两天在真实 Cursor 代码库上做一个功能（或 8 小时远程版），明确考核你对 AI 工具的使用效率和自主 scoping 能力。 · Sierra 给你两小时和任意 AI 工具，看你选择做什么。 xAI 有四小时限时产品构建。 4. FDE 成为一级岗位类别。 Anthropic、OpenAI、Databricks、Scale、Together、Sierra、Harvey、ElevenLabs、Palantir 的章节里都有 "Applied and Forward-Deployed Scenarios" 专属题库——典型题目如“企业客户说 Claude 幻觉太多，你是驻场工程师，头 48 小时做什么”。这对应了 AI 公司向企业交付方式的转变：模型能力差距收窄后，落地能力成为差异化。 5. 硬核系统题的普及。 "H100 上 70B 模型 batch size 1 的 roofline 计算"、"估算 70B 模型的 GPU 显存（权重 + KV cache + 激活 + 碎片）"、"p99 延迟在部署后翻倍但模型没变，走一遍诊断”——这类题横跨 NVIDIA、Together、OpenAI、Perplexity 等多家，说明推理性能的量化直觉已成为 AI 工程师的通用素养，而非基础设施工程师的专属。

我终于明白为什么LeCun顶着全网群嘲也要死磕世界模型了， 现在很多人误以为大模型快要通向AGI了，纯粹是因为被那种博导般的答题体感给骗了， @ylecun 说单靠把大语言模型做大，哪怕到了地狱也搞不出人类水平智能， 甚至直接开喷数据中心养出天才军团纯属扯淡，很多人觉得他迂腐、天天唱衰， 但我仔细翻完他在ECCV上的最新拆解才彻底明白，他反对的从来不是语言模型有用，他自己做了一辈子模型太清楚了，大模型说白了就是把全人类写过的几千亿字当成了超级开卷题库， 你问什么它都能对号入座吐出来，这种博导体感是工程的巨大成功，但也让很多人误以为它真的学会了独立思考 
有意思的是LeCun搬出了皮亚杰那句老话，智能从来不看你知道什么、看的是你不知道的时候该怎么做，拿学开车来说， 人类小孩四岁光靠眼睛看世界就吸进几十万亿字节，二十小时练习就能上路，而我们的大模型相当于读了人类四十万年的书， 在物理世界里连个洗碗叠衣服的家务机器人都撑不起来，换个没见过的环境分分钟崩溃， 说白了自回归只是在一个词一个词往下猜，现在的所谓推理其实大量是在词语空间里做多轮抽样搜索，遇到代码和数学这种有编译器自动给奖励的封闭沙盒还能刷分，一旦扔进没有自动打分器的真实世界，错误就会指数级放大 
说实话这就是为什么他宁可离开Meta、跑到巴黎去给AMI Labs融三十五亿美元估值，也要死磕JEPA和世界模型，他要的是让机器学会预测我做这件事世界会发生什么， 在抽象空间里做动作规划，不用在文字表面拼漂亮句子，连现在的缩放派其实都在偷偷向他妥协，单独拉视觉编码器、在隐空间里做搜索、用物理引擎搞模拟， 外壳虽然还叫LLM，内核其实都在往世界模型的方向打补丁，大家争论到最后已经不是要不要算力，而是我们要把算力花在背诵更多文字上，还是花在让机器看懂物理因果上 
我自己平时也天天靠AI写代码查资料，缩放派确实把已知世界的说明书背到了极致，但真正的智能是要去写说明书从来没写过的那一页， 以后别再看各家发布会画什么天才之国的饼，就盯紧三件事，新任务要多少样本能学会，换个环境会不会整段崩溃， 以及汽车和机器人能不能像人一样在物理世界里安全跑起来，谁对谁错不用在网上打嘴仗，现实世界自会交卷。

阿里把团队内部用了两年的官方 AI Code Review Skills 开源了，采用 “确定性工程 pipeline + AI Agent” 的混合架构，专门解决通用 Agent 做代码审查时 “漏审、定位漂移、质量不稳” 的老问题。 40.5K ✨ 开源项目 OpenCodeReview： # 核心设计：确定性工程 pipeline × Agent 各司其职 确定性工程负责硬约束： · 精确文件选择：用代码决定哪些文件必须审、哪些要过滤，不依赖模型自觉； · 智能文件捆绑：把相关文件合成一个审查单元（例如 message_en.properties 和 message_zh.properties 捆绑），每个单元以上下文隔离的 sub-agent 运行，分治策略让超大变更集也稳，且天然支持并发（默认 8 个文件 worker）； · 细粒度规则匹配：内置约 54 个按语言/文件类型的规则文档（Java、Go、TS/JS、Python、Rust、SQL/XML mapper、properties 等），用模板引擎而非自然语言把规则匹配到文件特征上，从源头消除信息噪声； · 外部定位与反思模块：评论的“落点”和“内容”分别由独立的 re-location 和 reflection 模块系统性校正，这正对“位置漂移”痛点。 Agent 负责动态决策： · 深度优化的场景 prompt（内部分为 plan → grouping → main → memory_compression → re_location → review_filter 多个任务模板，可在 internal/config/template/prompts/ 看到）； · 从海量生产环境的 tool-call 轨迹（调用频率分布、单工具重复率、新工具对调用链的影响）反向蒸馏出的专用工具集，包括全文件读取、代码搜索、其他变更文件查阅等，比通用 agent 工具箱更小更稳。 # 能力面与生态集成 功能上覆盖：workspace/分支区间/单 commit 审查、断点恢复（ocr session）、全文件 scan（无 git 历史也能审计陌生代码库）、本地 Session Viewer 网页查看与回放、SARIF/JSON 输出、OpenTelemetry 可观测性、MCP Server 扩展。 作为 “Skills 生态” 级项目，它的形态相当完整：既提供 npm 全局 CLI，也提供可移植的 Agent Skill（skills/open-code-review/SKILL.md，带标准 frontmatter，可直接被兼容 skill 的 agent 加载），还有面向 Claude Code、Codex、Cursor、Kimi Code、OpenCode 等平台的插件，每种都封装成斜杠命令或可调用 skill。LLM 侧兼容 OpenAI、Anthropic、AWS Bedrock 三类协议，并可直接复用 Claude Code 的 ANTHROPIC_* 环境变量。 其中一个设计很巧妙：Delegation 模式（ocr delegate preview/rule）。此时 OCR 只做自己擅长的确定性部分（文件选择和规则解析）审查本身交给宿主 coding agent 的 LLM 执行，用户无需给 OCR 配任何 API key。这实际上是把“harness 能力”与“模型能力”彻底解耦。 # 工程质量：超出平均水准的部分 · 安全有正式的 Assurance Case（ASSURANCE_CASE.md）：完整的威胁模型、四条信任边界、T1–T7 威胁逐条给出缓解措施，并按 Saltzer & Schroeder 设计原则和 OWASP Top 10 做了映射。细节经得起推敲：所有外部进程调用只限 git 且子命令硬编码、--end-of-options 防 flag 注入；Agent 读文件路径经 pathutil.WithinBase() 在符号链接解析前后双重校验；本地 Viewer 有 Host 白名单防 DNS rebinding + 严格 CSP。这类文档在一般开源项目里非常罕见。 · 贡献规范近乎严苛（AGENTS.md）：使用 AI 必须在 issue/PR 中披露工具与模型、必须逐行理解 AI 生成的代码、禁止“AI 生成→反复修复→再修复”的循环、禁止把 commit 署名给 AI。源码强制英文（CI 有 english-check，连全角标点都查）、90% 测试覆盖率门槛、-race 与 govulncheck 每次 push 都跑、SPDX 头与 LF 行尾强制。 # Benchmark：数据情况 官方基准 AACR-Bench（已在 Hugging Face 开放）规模不小：50 个流行开源仓库、200 个真实 PR、10 种语言、80+ 资深工程师交叉验证出 1505 条标注问题。结论是同模型对比 Claude Code：Precision 和 F1 显著更高、token 消耗约为 1/9、速度更快。 需要指出两点：其一，Recall 低于通用 agent，README 自己承认这是“以精度换噪声”的刻意权衡，如果你最怕漏问题而非误报，可能不适合；其二，该基准由阿里自建，虽开放了数据集供社区复核，但独立第三方的复现结论目前还少，可以把它当作“有披露的、方向可信的参考”。