与「LangChain」相关的搜索结果

Vibe coding 越来越普遍，不少应届生大学期间几乎没亲手写过几行代码。 有没有发现一个很荒谬的现象。 现在应届生、实习生简历，到处都是精通Agent开发、熟练搭建RAG架构、基于LangChain/Harness做全栈项目这类描述。 真到面试深挖，问到向量检索底层逻辑、上下文溢出怎么处理、Agent状态机和重试机制，大多只停留在背名词的程度。 更矛盾的是，并发、数据库索引、计算机网络这些基础工程内容，一问就卡壳。 所有人都急着把自己包装成AI时代前沿开发者，却没有把最底层的工程基本功打扎实。

之前推荐过几篇 Agent Eval 相关的文章，今天再推荐一篇 LangChain 最新的《What Is Eval-Driven Development》，这篇讲得挺实用，很适合正在做 Agent 和 Harness 的朋友。 文章主要介绍 Eval-Driven Development（EDD），核心思路是把 Eval 融入 Agent 的日常开发。 先定义什么算成功，写好 Eval、跑 Baseline，再修改 Prompt、Tool 或 Harness，通过相同的任务对比效果。 文中有个挺有意思的例子。 给知识库 Agent 新增 create_ticket 工具后，整体 Eval 分数提高了，结果它连「VPN 怎么连接」这种普通咨询都开始创建故障工单。 通过 Trace 排查才发现，工具描述太宽泛，导致 Agent 错误调用了工具。 这也说明不能只看 Eval 平均分。一次改动可能让新任务表现更好，却破坏原本正常的功能。除了最终结果，还需要检查执行轨迹，并保留独立测试集，避免反复优化导致过拟合。 这套思路很值得借鉴，尤其是现在大家都在不断调整 Skill、Prompt 和 Harness。 新增一个 Skill、修改一段 Workflow，甚至删掉旧 Harness，都应该通过 Eval 判断是否真的有效。 感觉 Eval-Driven Development 很值得成为 Agent 开发中的常规习惯，每次迭代都能有据可依。 原文：

How do you improve your agents? @divyasan0 from the LangChain Academy team walks through how the three steps of eval-driven development, a strategy for using evals to help build agents that improve over time.

回顾一下 harness engineering 发展的历史，至今似乎还没有一个边界清晰的解释，能说清楚它到底是什么。 先是二月份，OpenAI 发布了 Harness Engineering 的 blog，介绍他们如何从一个 empty repo 出发，搭建可靠的文档、知识库、测试体系和日志环境，供 agent 开展开发工作。 几乎同一时间，LangChain 通过修改提示词、工具和 middleware，将 Deep Agents 在 benchmark 上的成绩提升了 25%，随后提出了 Agent = Model + Harness 的公式。 紧接着，三月份，Anthropic 发布了他们的 harness 方案：一个 Planner → Generator → Evaluator 的循环。 到了四月份，Anthropic 跟吃错药一样，把定义改成了：harness = agent loop，工具环境 = meta-harness。然后再把 harness、meta-harness 和什么脑子啊、手啊拼起来，组成 Managed Agents。 五月和七月，龙虾作者又出来谈 loop engineering 和 graph engineering。火了一小阵，随后又没什么声音了。 八月份，DeepSeek Harness 带着 Everything is a Plugin 的概念横空出世。我当时就说，这就是个 UI harness。现在看来，时间也验证了我的判断。 八月底，OpenAI 看到 DeepSeek Harness 爆火，也整出了一个“OpenAI Harness”的概念，实则就是 Codex。 九月份似乎消停了一阵。到了十月，Pi 又带着 1.0 版本登场，自称 minimalist harness 😂。 感觉 harness engineering 就像哈姆雷特一样：一千个人心中，有一千种 harness。定义越来越宽泛，也越来越离谱。

CS 329Z: Engineering AI Agents Stanford / Fall 2026 @stanfordnlp 课程定位：从"模型"到"系统"的工程学 覆盖：简单 LLM 流水线 → 复合 AI 系统 → 自主 Agent。三位讲师的背景也高度互补： @Diyi_Yang（斯坦福 NLP 教授，人机交互与社会计算方向） @michaelryan207（DSPy 核心贡献者，自动评估 AutoMetrics 作者） @jyangballin（SWE-agent / SWE-bench / SWE-smith 作者，软件工程 Agent 领域最重要的研究者之一） # 课程主线：三大工程挑战 贯穿全课的三个核心问题——分解（decomposition）、数据（data）、评估（evaluation）。11 周的内容基本围绕这三条线展开，可以分为五个模块： 模块 1：构建基元（Week 2–3） · LLM 作为构建材料：API/SDK（litellm）、结构化输出、约束生成、解码策略、test-time compute、上下文工程、模型选型与成本/延迟权衡 · RAG：embedding、向量库、分块策略、混合检索、cross-encoder 与 ColBERT 后期交互 · 工具调用：函数调用 API、MCP（Model Context Protocol）、工具设计、代码沙箱、错误处理与重试 模块 2：框架与设计模式（Week 3–5） · 框架层：DSPy（signature / module / optimizer）、LangChain/LangGraph、LlamaIndex，重点是"框架抽象了什么 vs. 你手写了什么" · 设计模式：workflow vs. agent 的分类学，五种可组合 workflow 模式，ReAct / plan-and-execute / reflection，"scaffold（脚手架）本身就是设计决策" · 记忆架构：短期/长期记忆、记忆作为工具动作、文件系统作为外化记忆、跨 Agent 记忆（MemGPT、Mem0、Generative Agents） · 多 Agent 系统：编排模式、handoff 与状态传递，以及一个很有态度的对照阅读——既读 AutoGen，也读《Why Do Multi-Agent LLM Systems Fail?》和 Neubig 的《Don't Sleep on Single-agent Systems》 模块 3：优化（Week 5） · 从提示词到微调的全景：GEPA、MIPROv2、OPRO、TextGrad（提示优化）；LoRA/QLoRA、蒸馏、RLHF/DPO（权重优化）；test-time scaling（推理算力） · 核心问题是决策框架：什么时候优化 prompt、什么时候优化 weights、什么时候堆推理算力 模块 4：数据与评估（Week 6–8）——最有分量的部分 · 数据：trace、demonstration、feedback 三类数据；训练数据 vs. 评估数据；数据飞轮；合成数据；从 Agent 轨迹构建数据集（SWE-smith） · 评估基础：为什么 eval 难；4 元组框架（request / environment / stopping criteria / scorer）；好 benchmark 的性质；tinyBenchmarks · 评估基础设施：三类 grader、LLM-as-judge 的 prompt 设计与已知偏差、pairwise vs. pointwise、非确定性指标 pass@k vs. pass^k、harness 设计 模块 5：安全与前沿（Week 8–11） · 安全：工具访问的隐私风险、prompt injection（含间接注入）、红队、沙箱与权限模型、输出护栏、human-in-the-loop · Coding Agent：SWE-agent、Claude Code、OpenHands 的端到端架构对比 · 主动式 Agent：从 reactive 到 proactive，General User Models（GUM）、Next Action Prediction，以及"Agent 何时应主动、何时应等待"的 mixed-initiative 问题 · 开放问题：多模态/web/计算机使用 Agent、科学 Agent、长时运行架构、生产可观测性（tracing、monitoring、成本管理） # 作业设计：一手建、一手评 HW1：从零构建 Agent 系统（10%） 给定论文库，构建能检索并推理回答科学问题的 Agent。 · Part A：只用 litellm 手写 RAG + 工具调用 + ReAct 式 Agent 循环 · Part B：用 DSPy 重建关键组件，并反思框架抽象了什么 HW2：评估一个 Agent（10%） 给定一个预构建 Agent，设计完整评估套件：代码型 grader、至少一个 LLM-as-judge、用 4 元组框架构建 benchmark 任务、错误分析。

Agent = Model + Harness：生产级 AI 智能体工程六层实战手册 结合 Mitchell Hashimoto、OpenAI Codex 团队、Martin Fowler、LangChain、Cursor 等公开工程资料编撰。 # Agent = Model + Harness 模型只提供推理能力，决定 Agent 能否从演示走向生产环境的是围绕模型的工程基础设施——Harness。 报告的核心论据是：只改 Harness、不换模型，收益可超过模型升级： · 同一 Claude Sonnet 4.5 在 GAIA 基准上从 30.91% 升至 74.55%（+43.64 分），差异完全来自 Harness； · LangChain 不改模型，仅靠 Harness 优化将 Terminal Bench 排名从第 30 提升至第 5； · OpenAI 团队 5 个月、约 1500 个自动化 PR 产出 100 万行生产代码，零人工手写——人负责设计环境，Agent 负责写代码（"Humans steer. Agents build."）。 这也解释了一个行业现象：约 95% 的企业 AI Agent 止步于预生产阶段——演示效果好，却因安全审查、可观测性、边界情况幻觉、治理缺失而无法上线。 # 行业定位：AI 工程的第三个时代 1. 提示词工程（2023–24）：模型"说什么" 2. 上下文工程（2025）：模型"看到什么"（RAG/MCP/记忆） 3. Harness 工程（2026）：模型"能做什么" # 六层架构（报告主体） 1. Guides 引导层（前馈控制）：AGENTS.md / CLAUDE.md 等规则文件，在执行前塑造行为。要点：规则必须可执行、可验证、可追溯至真实失败案例；需定期修剪，否则 200 行无日期规则就是技术债。OpenAI 内部将其视为最高事实源——文件与会话冲突时，文件优先。 2. Sensors 传感层（反馈控制）：执行后验证输出。优先使用确定性、零成本的计算型传感器（linter、测试、schema 校验）；LLM-as-judge 等推理型传感器慢、贵、不确定，只用于无法用规则表达的语义判断，且应作参考信号而非硬门禁。 3. Agentic Loop 执行循环：计划→执行→验证→修复→前进或升级，必须有界——默认每步最多重试 3 次、30 分钟、10 万 token、5 美元、50 次工具调用。预算耗尽时返回最佳半成品并说明原因，不允许用流利的最终答案掩盖部分失败。正确升级的 Agent 比自信地给出错误答案的 Agent 更有价值。 4. Memory 记忆层：模型每次会话都从零开始，Harness 负责状态连续性。最简方案是文件系统（plan.md、decisions.jsonl、checkpoint），对多数场景比向量数据库更便宜可靠。检验标准：中途关闭会话重开，Agent 应能断点续作。 5. Permissions 权限层：模型无法自我约束，Harness 是唯一安全边界。按范围、速率、可逆性、可见性四个维度设定能力预算；不可逆操作（部署、删除、外发消息）必须人工批准；必须隔离可信指令与不可信数据以防提示注入。 6. Observability 可观测层：结构化日志 + 成本归因 + 熔断告警（trip wire）。真正的度量不是 token 数，而是无需人工干预即完成且证据合格的任务数；成本应按"每个验证通过的结果"而非按天计算。 # 方法论精髓：棘轮原则（Ratchet） Hashimoto 的原始定义："每当 Agent 犯错，就工程化一个方案，让它永远不再犯这个错。" 六步循环：复现失败→归类根因→选择最强修复层→编码修复→验证防复发→监控回归。 修复强度呈阶梯上升：对话补丁 < 提示词 < 引导规则 < 传感器 < 环境约束——提示词只修一次对话，环境约束让错误在结构上不可能发生。 Cursor 的 Lauren Tan 补充了实操信号：同一条评审意见出现三次，就应固化为结构性约束。Harness 成熟的标志是规则增速下降（从每天 5 条降到每周 1 条）。 # 落地路径与边界 七天最小可用路径：Day 1–2 建引导文件 → Day 3–4 接入测试套件与有界循环 → Day 5–6 加检查点与权限 → Day 7 加日志与熔断。之后按"一次只改一层、可度量、可回滚"扩张，完成率 ≥80% 等六道闸门全过才允许扩大规模。 何时不需要 Harness：一次性问答、创意脑暴、低风险个人任务——"如果以上都不适用，对话本身就是 Harness"。 多智能体扩展：需要类型化交接（"done, looks good" 不能推进生产流程）、共享状态模型而非共享上下文（避免上下文污染）、以及生产者不可覆盖的独立验证者。

Summer break is over and the new conference season is approaching! Thrilled to be speaking TWICE at @Devoxx 2026 🇧🇪 this October: ⚡ Tools in Action: modern automation with @java 🤿 Deep Dive: from AI to agentic systems with @langchain4j Heading to Antwerp? Come say hi! 🎤

Just look what I found, an open-source Sentry, but for AI agents. It shows what's about to break in your agent before users notice - failed traces grouped into tracked issues, evals built from your team's actual judgments, full multi-turn sessions and tool calls in one view. Every trace is semantically searchable too — find anything by meaning, zero sampling. How to try it: - sign up free at latitude, grab your API key + project slug - paste one prompt into Claude Code, Cursor, or Codex – it wires up tracing for you automatically - run your app like normal, every LLM call now shows up as a trace - open the dashboard and watch issues get grouped and tracked in real time Provider-agnostic — OpenAI, Anthropic, Bedrock, LangChain, all of it. Free tier: 20K credits/month, unlimited seats. MIT licensed, 4.1k stars. If you're shipping an agent without something watching it, you're flying blind. link below👇

ACABO DE ENCONTRAR UNA API QUE REGALA 10 MILLONES DE TOKENS AL MES Claude Opus 4.8, GPT 5.5, DeepSeek V4, Kimi K2.6 y más de 340 modelos. Sin tarjeta de crédito. Solo iniciar sesión con Google y configurarlo en 2 minutos. Esto es lo que ofrece What Runtime de Bad Theory Labs: • 10 millones de tokens gratis al mes con su router inteligente btl-2, que elige automáticamente el mejor modelo para cada tarea. • Acceso a Claude Opus 4.8, GPT 5.5, DeepSeek V4 Pro/Flash, GLM 5.2, Kimi K2.6, Gemini, Llama, Qwen y más de 340 modelos. • DeepSeek V4 Pro y Flash gratis durante la promoción de lanzamiento. • API compatible con OpenAI. Solo cambias la URL base y funciona con prácticamente cualquier herramienta. Esto puede sustituir varias suscripciones: ChatGPT Plus → 20 €/mes Claude Pro → 20 €/mes Cursor Pro → 20 €/mes Perplexity Pro → 20 €/mes Todo por 0 €. Cómo conseguirlo (2 minutos): 1. Entra en 2. Regístrate con Google (sin tarjeta) 3. Completa el onboarding 4. Recibirás los créditos gratis automáticamente 5. Copia tu API Key (empieza por BTL_) 6. Configura la Base URL: 7. Selecciona el modelo btl-2 para que el router elija automáticamente el mejor modelo en cada petición. Es compatible con Cursor, Aider, Hermes Agent, OpenCode, OpenClaw, LangChain y cualquier herramienta compatible con la API de OpenAI. Importante: el plan gratuito es una promoción de lanzamiento y puede cambiar cuando aumente el número de usuarios. Además, tiene límites de uso, por lo que no está pensado para cargas de producción muy intensivas. Mientras otros siguen pagando 20€ al mes por usar un único modelo, aquí tienes acceso a Claude + GPT + DeepSeek + GLM y cientos de modelos más sin pagar nada. Guárdate este post antes de que cambien el plan gratuito.