与「Harness」相关的搜索结果

Raven 0.2.0 — The Harness of Harnesses, built for RSI. 🐦‍⬛ One harness can't be best at everything. Raven combines its own specialist harnesses (Research, Code, Design, Oncall) with the agents you already use (Claude Code, Codex and more) into one team. And it's built for RSI, and not just at the skill level. The whole harness can be rewritten by AI: prompts, policies, strategy code, playbooks. Every sub-harness, including the orchestration layer itself, is its own instance that can be improved. With Raven you can: 1. Orchestrate many agents as one team. Raven's sub-harnesses and external agents work in one task graph with shared memory across sub-agents, powered by leading orchestration (0.963 Node F1 on the Multi-Agent Orchestration Benchmark). 2. Run long, complex tasks. Oncall and proactive execution keep work going for days, from scientific research loops to shipping a full Godot game. 3. Build vertical agents with RSI. Use Raven's RSI to develop and refine an agent for your domain, and we'll optimize it with you. Experimental for now; reach out to the Raven team(Discord: More in the video and slides below. Open source, Apache-2.0. (lots of work made with Raven lives there, and much of this launch's material was made with Raven too)

NVIDIA 发布 Skill2Env：用“集体技能”强化智能体 NVIDIA 研究者们把社区公开的 Agent Skills 编译成可执行 RL 训练环境的数据流水线：3.4k 个 Skills 变成 8k 个带程序化测试和行为量规的终端任务；仅 300 步 RL 训练就让 Qwen3.8-27B 在 Terminal-Bench 2.1 上提升 4.7 个百分点，且模型行为显著向源 Skills 的方法论对齐。 开源项目： 核心洞察：公开 Agent Skills 是一个被忽视的监督来源 Agent Skills 是“教智能体做某件事”的文件夹：一个 SKILL.md 加上可选的脚本、参考资料和资产。论文指出，把公开 Skill 语料当作数据来读，它同时提供三样东西： · 任务分布的采样：人们真正想让智能体处理的任务分布（有人愿意花时间写下工作流，说明这活儿值得自动化）； · 真实世界的锚点：指向真实的仓库、数据集、工具和工件； · 结果测试表达不了的质量标准：领域专长、默认参数、常见坑、“好结果长什么样”。 # 数据流水线：四阶段编译，验证靠构造 1. Plan（分解）：容器化的 Codex 规划器读取完整 Skill 包、联网调研相关公共资产，把 Skill 拆解成若干可验证的 workflow，每个附带元计划（场景、初始世界、预埋缺陷、难点来源、解法草案、验证策略）、资产建议和“任务轴池”（任务原型 × 验证器模式 × 人物画像）。 2. Diversify（多样化）：宿主从轴池采样一组组合，加上复杂度、指令语气、请求者专业水平。关键设计是轴池以 workflow 为条件：研究型 workflow 配“证据可追溯”验证和研究者画像，而不是从全轴乘积空间乱抽，这让多样化保持 sensible。 3. Create（构造）：全新创建者 Codex agent 在 Docker 内工作，尽可能用真实素材（钉在特定 commit 的开源仓库、真实版本化文档、官方 API 规范）；需要联网服务的场景改造成本地替身（stub 服务器、录制回放 fixture、PATH 上的假 CLI、种子数据库），求解时绝不依赖网络。创建顺序被严格固定：先建世界 → 写指令 → 写测试 → 写量规 → 最后才写参考解，测试先于解法冻结，保证解法必须迁就评分契约而非反过来。 4. Verify（验证）：宿主端无模型参与的接收门：静态检查（布局、符号链接、Dockerfile 安全、基础镜像按内容摘要钉死）+ 两个容器内试跑：Oracle（参考解）必须全指标满分，NOP（什么都不做的 agent）必须全指标零分。任一失败即拒绝。 值得注意的一个反直觉选择：不做 teacher 模型预验证（不像部分工作用强模型试解、解不出就丢弃任务）。理由有二：这会把任务难度上限压到验证器能力，且成本翻倍；而 group-based RL 的在线动态过滤（rollout 无优势的 prompt 自动不产生梯度）天然淘汰过难/过易任务。 # 数据画像：广、贵、且忠实于源 规模与成本：7,971 个任务，用 GPT-5.6 Sol（xhigh 推理档）生成，API 花费超 9 万美元。（脚注：出于法律原因，公开发布的数据集改用 Kimi-K3-max 在同一流水线下生成。） 领域分布：13 个领域中，软件工程仅占 22.5%，AI/ML 10.5%，商业/金融/法律/HR 10.5%，营销 9.3%……论文对比了 TMax-15K、Terminal-Bench、DeepSWE 等，Skill2Env 是唯一全覆盖 13 域、且非技术知识工作占大头的语料。 忠实度探针（很聪明的设计）：用任务指令+量规作查询、对 3.4k 个 SKILL.md 做 TF-IDF 检索，73.2% 的任务 top-1 命中真实源 Skill，94.6% 进 top-10（随机 0.03%）。单用量规也有 68.5% top-1，证明量规携带的是 Skill 专属方法论而非泛泛建议。 SFT 数据：用 GLM-5.3 对每个任务 rollout 两次，得到 15,968 条轨迹，平均奖励 0.74，中位轨迹 19 次模型调用 + 23 次工具调用。 S2EBench：考虑到公开基准饱和，从 SkillHub 另外生成、逐条人工审核（指令无歧义、忠实于源 Skill、测试公允）后的 79 任务私有 held-out 基准。 # RL 实验：基础设施 + 极简配方 基础设施（论文明确说“现代 agentic RL 首先是基础设施挑战”）：Molt（PyTorch 原生全异步训练，Ray + vLLM + FSDP2）+ Polar（agent rollout 层：rootless Apptainer 沙箱、代理回传 token ID 和采样时 log-prob、prefix merging 把 harness 的多次补全缝合成训练轨迹）。 配方（刻意走“简单路线”）：GRPO 组归一优势 + DPPO 的 binary-KL 信任域掩码（δ=0.05，超出阈值的 token 直接丢弃，无需参考模型，还能防训练-推理失配）；G=8 rollouts/组，批 64，lr 1e-6 恒定，无 KL 惩罚、无熵奖励、无 SFT 热启动，每任务 65k 上下文。 量规校准奖励：开量规时，额外由 GPT-6 Astra 做 LLM-as-Judge（带“宪法”：惩罚无脑循环、reward hacking、答非所问；hacking 实证 = -5 分），总奖励 r = r_V + λs/5（λ=0.2），即 judge 最多把程序化奖励拉动 ±0.2。量规是校准可执行结果奖励，而非取代它，这是与“Rubrics as Rewards”一系的定位差异。 # 四项发现（论文最有信息量的部分） 发现 1：小规模 RL 即有跨域迁移。 仅 300 步、只用 2,400 任务子集训一个 epoch：S2EBench pass@1 +4.3（均分 +18.5），Terminal-Bench 2.1 +4.7（49.4→54.1）。训练集与 TB 无重叠（13-gram Jaccard < 0.8），且训练集从未针对 TB 调过，论文将其解读为规划、工具使用、收尾能力的通用提升而非任务族记忆。这让 27B 本地模型显著缩小了与云端前沿模型的差距。 发现 2：量规校准 RL 在基准上落后于纯结果 RL，一个诚实的负结果。 量规版在 TB 2.1 只有 50.1（纯结果版 54.1）；训练中量规版的程序化奖励长期停在 0.5–0.6，judge 分项从头到尾无上升趋势，两个奖励在训练分布上互相拉扯。论文不把它当作对量规奖励的终审判决（两者优化不同目标，而基准只考结果那一半），并给出两个疑因：λ=0.2 的加性形式让失败任务仍能拿正奖励、judge 看不到文件系统等设定均未调优；以及更本质的，Skill 写下的方法论可能本来就不是最大化基准通过率的分布。 发现 3：行为确实向 Skill 对齐，量规的价值所在。 200 个任务的成对偏好测试（judge 拿源 SKILL.md 当标准，比较匿名化的 base 与 RL 轨迹）：纯结果 RL 已被偏好 54.5% vs 33.5%；量规版被偏好 73.0% vs 24.0%。这说明量规奖励买到的东西在结果基准上看不见，但对“怎么做事”影响实质，对网页开发、报告综合、开放研究这类难验证任务尤其重要。 发现 4：GLM-5.3 蒸馏 SFT 反而伤害 Qwen。 在 GLM-5.3 轨迹上做 SFT：27B 上 TB 2.1 掉到 45.8；4B 上直接崩塌（TB 18.7→3.4，出现思维/工具调用死循环）。归因：教师的 interleaved-thinking + 工具调用风格与学生自身 post-training 不兼容，模仿覆盖了学生依赖的行为模式却带不来教师的能力。与 TMax 报告的“SFT 混合数据劣化已后训练的 Qwen”互相印证。因此论文所有 RL 结果都从未修改的原始 checkpoint 出发。

阿里云开源「企业级 Agent 白皮书」 2026 年最新发布，是 2025 年 9 月「AI 原生应用架构白皮书」的升级续作。全书按 架构 → 构建 → 运行 → 治理 → 调优 的全生命周期组织，共 7 篇 30 章，由阿里云数十位一线工程师分工撰写，并纳入吉利、塔斯汀、MiniMax、哔哩哔哩、信永中和等外部企业案例。 它的写作动机很明确：过去一年市场重心已经从 “如何快速搭出一个 Agent” 转移到三个新挑战，工程化（从概率智能到可靠生产力）、规模化（从单点试验到智能基础设施）、组织化（从 Agent 孤岛到进入核心业务流程）。现有的框架文档和教程基本不回答这些问题，这本白皮书填补的正是这个空白。 开源地址 # 各篇核心内容 架构篇（1–2 章） 建立认知框架。给出 Agentic Application 的六个判定特征（以任务结果为中心、运行时决定部分执行路径、能作用于环境、维持跨请求状态、受确定性机制约束、可观测可评估）和成熟度四级模型（L1 辅助生成 → L2 受控自动化 → L3 Agentic Execution → L4 规模运营）。两个重要的解耦判断：用哪种形态取决于任务结构，处于哪级成熟度取决于治理完备程度；单 Agent / Long-Horizon / 多 Agent 是沿时间跨度和协作结构两个正交维度的扩展，不存在“必须升级到多 Agent”的路径。贯穿的原则是“最低充分架构”，为任务选择成本与风险可接受的最低复杂度。 构建篇（3–6 章） 是方法浓度最高的部分，按“范式—任务—信息—行动”还原构建过程： · 任务：Agent Loop 五阶段（Prepare→Model→Act→Observe→Verify）+ 十态任务状态机，要害是“消息历史不应是任务状态的唯一来源”；完成判定的核心原则是“模型只能申请完成，Harness 依据环境证据提交完成”，验证分五级并与风险匹配。 · 信息：Context 是动态“编译”而非静态字符串。本章的独创设计是 Context Manifest，每次调用记录上下文每个片段的来源、作用域、版本、信任级别、选中理由和内容哈希，使“模型看见了什么”变得可解释、可回放、可审计。信息被五分为 Context/State/Memory/Knowledge/Skill，其中 Memory（个人经验）与 Knowledge（组织内容）必须分列，因为治理责任不同，“放进同一个向量库会同时失去两类治理能力”。 · 行动：统一 Action Plane（意图→Schema 校验→身份绑定→策略决策→执行→观测），关键三分：“模型看见工具 ≠ Harness 注册了工具 ≠ 获得执行授权”。协议定位清晰：Function Calling 是模型-Harness 意图接口，MCP 是 Harness-能力提供方连接协议，A2A 面向拥有独立任务循环的远程 Agent，“协议选择由能力是否拥有独立任务循环决定，而非新旧或流行度”。 运行篇（7–12 章） 处理规模化后的工程问题，大量内容达到了分布式系统的专业深度：沙箱后端选型判据（容器/gVisor/MicroVM 按代码可信度与租户边界取舍）；状态外置后 Event Log / Checkpoint / 工作区快照三者不可互相替代，且“Durable Execution ≠ 外部动作恰好执行一次”；AI 网关对 LLM/MCP/Agent 三类流量按不同粒度治理，其中“严格预算需要原子预留而非阈值检查”的数学化分析（余额 100、两笔 80 的并发请求都会通过）是真实的并发工程细节；多 Agent 编排强调“最小充分共享”，共享的是上下文来源而非同一个 Context 窗口。 治理篇（13–16 章） 让自主运行的系统变得可信。可观测性的判据是“请求成功 ≠ 任务成功”；安全章同时把 Agent 当被攻击对象和行为主体来防护（身份是全章最扎实的部分：数字工牌、Token Exchange 权限收敛、On-Behalf-Of 且 Agent 权限 ≤ 用户权限）；资产管理把 Prompt/Skill/MCP/Agent 当作运行时依赖做注册与版本治理。第 16 章 Agent Simulation 是全书原创性最强的一章：Agent 行为之所以不可验证，是缺制度前提（角色无外部标准、失败无自然代价、身份不连续），模拟是当下唯一可做的事，本质是“用可靠 Harness 约束不可靠内核”。它甚至给出诚实的统计学提醒：n 次零违规的 95% 置信上界约为 3/n 而非零。 调优篇（17–24 章） 的组织原则是“归因决定方法”：先排除环境故障、再修 Harness、最后才动模型，“把本应由上下文或工具协议解决的问题当成模型不行，是代价最高的一类误判”。主线是数据飞轮：Trace→Trajectory→黄金数据集（输入/轨迹/结果/判据四要素）→Badcase 闭环→受控自进化（模型生成的改进一律是候选变更，须回流构建、过门禁、可回滚）。模型调优章对 SFT/Agentic RL/蒸馏的适用边界、奖励投机的三套机制分离（训练奖励、独立评测、系统硬约束）论述相当严谨，广引 DeepSeek-R1、Tulu 3、FrugalGPT 等外部工作。 总结篇（第 30 章） 是全书思想密度最高的总结。当企业同时运行多 Agent、多框架、多租户时，同样的工程要求在每个应用里被重复且不一致地实现，这本质上是缺一个共享的系统层。Agentic OS 被给出“窄定义 + 三条否定”：为 Agent 任务提供公共运行对象、能力接入、可强制边界与统一证据的系统层，它不持有任务语义、不是又一个框架、不必然改内核。能力下沉有三条判据（复用性 + 强制性或可验证性），九类管理对象（其中 Budget Lease 预算租约最易被忽略），并提出“自治上限由可撤销范围与可证明范围决定，而非模型能力”。 调研报告 的 1906 份问卷给出一个关键发现：已开发或开发中 Agent 的企业占 46%，但真正上生产的仅 18%；有评估体系的企业任务成功率是无评估者的约两倍，卡点不是模型能力，是 Harness 层的工程配套。这与全书立意互为印证。

Muse 这种带虚拟机的 Agent ，玩法超级多 朋友们说 DeepSeek Harness 在搜索国内内容的时候相当完整和准确。 刚好最近我也在用 Muse，就让它把 DeepSeek Harness 装到 Muse 云端的虚拟机里去。 只要涉及到国内的信息检索，就直接调用虚拟机上的 DeepSeek Harness 去查。

这周帮其他团队电话面试了几个应聘垂直业务 agent 研发的候选人，基本上我开头一个问题就能初筛掉 90% 的面试者： /goal 命令是如何实现的？ 真正做过 harness 的人才知道 goal 有多难搞：完成判断、验收标准、状态持久化、异常兜底、预算控制、上下文压缩不丢任务、缓存命中不被打乱。。。

感觉没几个人知道？？ 腾讯悄悄上线了一个VPS平台，预置了Hermes和DeepSeek Harness。 登陆进去，Hermes直接可用。 可以原生接入微信、QQ和企业微信。

从 DeepSeek 官方 API 处统计的数据来看，约有 60% 的 DeepSeek Harness 用户使用了至少一个第三方插件。第三方插件是 DeepSeek Harness 用户体验中最具特色且不可缺少的一部分。DeepSeek Harness 团队将持续支持第三方插件生态的繁荣发展，并推动插件 API 趋于稳定，在将来减少和尽量避免破坏性更新。 接下来的几天我个人将每天推荐一个优质的 DSH 第三方插件，欢迎 DSH 插件作者在本 thread 下自荐。我会结合插件质量及后台实际统计到的插件使用量择优推荐。 DeepSeek Harness 团队祝大家中秋快乐阖家幸福！ （注：在用户使用官方 API 及模型时，DSH 会向官方 API 上报实际使用的插件包名和版本。此类上报不额外消耗 tokens。）

阿里官方在正在进行的云栖大会 “智启原生 研见未来” 阿里巴巴集团 AI Native 研发实践论坛上，正式发布了「AI Native 研发范式实践手册」 68 页的实践手册，从阿里内部三个真实业务实践案例出发，讲述了不同团队研发范式演进路径中的实际探索与反思。 从这些案例中提炼出五个共性挑战：环境与验证驱动、平台能力升级、提效度量、数字员工和组织配套，尝试回答研发流程、协作方式和组织设计层面正在发生的结构性变化。 最后，进一步展开 企业级 AI 研发基础设施的技术全景：从 Harness 框架、企业知识库、工具体系（MCP / Skill / CLI），到 Sandbox 与 Coding 环境、身份与权限、生产安全 Guardrail 以及可观测能力，进而阐述让 Agent 从“能写代码”走向“可靠交付”所需要的系统性工程建设。 手册在线阅读地址

Grok is pulling away as the dominant agentic trading harness on Coinbase for Agents Grok - 59.54% Custom CLI - 21.73% Claude - 13.37% Perplexity - 3.48% ChatGPT - 1.54% Claude Code - 0.35% Volume growth across spot, futures, and now, equities continues.