关键字 · 智能体

全部详情 / 开源项目

让 AI 智能体自己找问题、自己变强:谷歌研究团队开源 Harness²

Harness² 不重新训练模型,只优化模型外面那一圈系统(harness)。它是什么、八个组件、两层递归、本地演示和使用前注意。

用 AI 智能体做事,最常见的情况是:同一个模型,换一套提示词、换几个工具,表现就差很多。可是每遇到一个新任务都靠人手去调,既慢又难复制。有没有办法让智能体在做任务的过程中,自己试出更好的做法,还把经验留给下一个任务?
这篇介绍视频里的开源项目 Harness²(Recursive Agent Harnessing for an Open World)。它在 GitHub 上有两万多颗星,代码放在 google-research 名下。它的思路是:模型本身不动,只改围着模型的那一圈系统,也就是论文里说的 harness(可以理解为智能体的「装备」)。项目同时附上了论文、网站和基准测试指南。需要先说清楚:这是研究代码,README 也写明它不是谷歌官方支持的产品。

01Harness² 是什么

README 的定义是:harness 是让模型能够作为智能体行动的那套系统,包括提示词、工具、记忆、技能、编排等;harnessing 就是优化这套系统的过程。Harness² 是一个即插即用的框架,用来在「开放世界」里做递归式的智能体优化,也就是智能体会遇到设计时没见过的新任务。整个过程中模型权重保持不变,不需要重新训练。

  1. 八个可以修改的组件:系统提示词、护栏(guardrails)、记忆、工具指引、子智能体、技能、脚本和插件。
  2. 任务层递归:针对当前任务,用「提出—试跑—组合」(Propose–Probe–Compose)这一步来改进:先提出几种修改,在同一个任务上试跑看效果,再根据不同执行结果的对比组合出更好的版本,过程中不需要标准答案。
  3. 优化层递归:每做完一个任务,就把采用的方案和有证据支持的经验存进一个持续更新的「改进方案」,用来指导之后的任务。
  4. 两种扩展方式:并行递归一次探索多个候选方案;顺序递归带着改好的方案和累积的证据,一步一步往深处改。
  5. 两种执行器:支持 OpenCode(默认)和 Codex。

02适合谁看

  1. 在做 AI 智能体、想知道提示词和工具怎么系统地调优的开发者;
  2. 关注智能体研究、想读论文并复现实验的学生和研究人员;
  3. 想了解「不重新训练模型也能提升表现」这类方法的人;
  4. 已经在用 OpenCode 或 Codex,想看看它们能怎样被自动改进的人。

03四步看懂 Harness²

步骤 1:打开 GitHub 仓库,先读项目简介。在 GitHub 打开 google-research/harness2(链接在文末)。首页会先说明 harness 和 harnessing 的意思,再给出整体流程图:执行器先用初始方案跑任务,编辑器提出修改,候选方案逐一试跑,最后由组合器合成最终方案;做完之后,经验反思器会更新给下一个任务用的改进方案。首页顶部有论文、项目网站和基准测试指南三个入口,想深入了解原理,先从论文开始读。

步骤 2:认识可以修改的八个组件。按 README 的分组,系统提示词、护栏、记忆和技能负责构建上下文;工具指引和脚本定义工具接口;子智能体负责分派工作;插件控制中间层。每个组件都可以被单独提出修改。如果你自己写过智能体,可以对照这八个部分,看看自己的系统里哪些已经有、哪些还没有。

步骤 3:理解两层递归是怎么配合的。遇到新任务时,它先提出几种改法,每种都在同一个任务上试跑一遍,再把表现好的部分组合起来,这是任务层递归。每做完一个任务,采用的方案和有证据支持的经验会被保留下来,用来指导之后的改进,这是优化层递归。参数 --k 控制任务层递归的预算,--mode 可以选 parallel(并行,探索更广)或 sequential(顺序,改得更深)。

步骤 4:看成绩,再跑一个不需要模型账号的演示。根据 README,在三个专业基准、四种模型与执行器的组合里,只做一步 Harness²,就让 GLM-5 和 Gemini 3.5 Flash 比原本的方案更好:WorkBuddy-Bench 最多提高 11.5 分,JobBench 最多提高 4.5 分,LAB 的部分通过率最多提高 11.8 个百分点;加大任务层递归的预算还有进一步提升。

04安装与本地演示

README 要求使用 Linux、Python 3.12 和 uv。在仓库根目录依次运行:

本地演示命令
uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

这个本地演示会用确定性的编辑器和真实的 Python 执行,把两种递归模式都跑一遍,不需要任何模型账号或凭证。

如果要跑基于真实模型的基准测试(JobBench、LAB、WorkBuddy-Bench),还需要安装 Node.js 20 以上版本、Google Cloud CLI 和各基准的依赖:LAB 需要 Pandoc 和 Poppler,WorkBuddy-Bench 需要 Docker。然后复制 .env.example 为 .env,填入你的 Vertex AI 项目和模型 ID,再运行 gcloud auth application-default login 完成认证。详细设置见仓库里的 setup 指南。

05使用前注意

  1. 这是研究代码,不是谷歌官方支持的产品,更适合学习和做实验;
  2. 基于模型的运行会产生 API 费用,README 建议先从很小的任务选择开始,也可以给 harness2 加 --dry-run 先预览选中的任务,不调用模型;
  3. 执行器的网络访问不受限制,Codex 运行时沙盒是关闭的;公开的评分标准可能在网上找得到,评测前要按文档设置网络限制,避免读到答案;
  4. 评测和报告必须使用与优化运行相同的基准、执行器、子集、--k、--mode 和随机种子;
  5. 结果保存在 runs/ 目录,重复同一条命令即可续跑;更换模型或任务选择时,改用新的 HARNESS2_RUNS_DIR。

06常见问题

Q:需要重新训练模型吗?
A:不需要。Harness² 全程保持模型权重不变,只改模型外面那一圈系统。

Q:没有谷歌云账号能试吗?
A:可以跑本地演示,它不需要模型凭证。要跑真实模型的基准测试,才需要设置 Google Cloud 和 Vertex AI。

Q:可以用在 Windows 或 Mac 上吗?
A:README 写的环境是 Linux、Python 3.12 和 uv,建议按这个环境来。

Q:开源授权是什么?
A:Harness² 采用 Apache 2.0 授权;第三方代码、基准和数据集保留各自原本的授权。

07相关链接

资料来源

延伸阅读