repocompass.
← 一覧へ

Harness²|再学習せずAIエージェントを改善するGoogle論文の実験コード

Harness²は、モデルを再学習せずにAIエージェントを改善する手法を示した、Google Research論文の実験コードです。周辺ファイルの編集案を同じタスクで試し、良い編集だけを残します。

エージェント Python ★ 21k 記事公開 (注目度5位)

ポイント

  • Google Researchの論文の実験コードで、一般向けのツールではない
  • 再学習せず、周辺ファイルの編集と比較だけでエージェントを改善する
  • 公式の結果では、WorkBuddy-Benchのスコアが最大11.5ポイント向上

概要・解決する課題

先に結論を書くと、これは一般の開発者がそのまま使うツールではなく、Google Researchの論文(arXiv:2610.14224)の実験コードです。今回のリリースが対象とするのはJobBench・LAB・WorkBuddy-Benchの3ベンチマークで、自前のタスクやエージェントに適用する手順はREADMEにもdocsにもありません。価値はコードより、示された手法と結果のほうにあります。 その手法は、エージェントの周辺ファイル(ハーネス)を編集した候補を同じタスクで走らせ、実行の違いを比べて良い編集だけを統合する(Propose–Probe–Compose)というものです。正解データは使わず、タスクごとの教訓を蓄積して次のタスクに持ち越します。手作業で CLAUDE.md やスキルを育てる作業を、自動化して効果を測ったものと言えます。 ベンチマークを動かすにはVertex AIの環境とAPI料金が必要で、Codexはサンドボックス無効で動きます(後述)。

なぜ注目されているか

ファインチューニングなしで、周辺ファイルの調整だけで業務系ベンチマークのスコアが上がることを示した点です。公式の結果では、GLM-5とGemini 3.5 Flashで1ステップの改善をかけ、WorkBuddy-Benchで最大11.5ポイント、JobBenchで4.5ポイント、LABの部分合格率で11.8ポイント伸びています。

主なユースケース

リポジトリを動かしてできることは、次の3つです。

  • 論文の結果を追試する: LAB(法律業務)、JobBench(専門業務)、WorkBuddy-Bench(オフィス・Web・コード)でハーネスを自動修正し、ベースからの改善幅を自分の環境で確かめる。--mode parallel で候補を横に広げるか、--mode sequential で1つを深く磨くかも比べられる。
  • 仕組みを無料で眺める: harness2-demo は認証なしで、決め打ちの編集役を使って2つの探索モードが回る流れを確認できる(実際の改善効果は出ない)。
  • 独自タスクの研究基盤にする: BenchmarkAdapter を実装し、CLIをフォークすれば自前のタスクで手法を回せる(詳しくは後述)。

一般の開発者にとっての活用は、コードを動かすことより手法を自分のエージェント設定に持ち込むことです。以下はリポジトリの機能ではなく、READMEに書かれた手法を手作業に応用する、この記事からの提案です。

  • 8分類を見直しのチェックリストにする: README はハーネスを、システムプロンプト・ガードレール・メモリ・ツールガイド・サブエージェント・スキル・スクリプト・プラグインの8つに分けています。自分の CLAUDE.md や AGENTS.md に、どの分類が抜けているかを点検する枠として使えます。
    • 例: CLAUDE.md にコーディング規約(システムプロンプト)は書いてあるが、「本番DBには触らない」(ガードレール)や「テストは pnpm test で走らせる」(ツールガイド)が無い、と気づける。
  • 2つの版を同じタスクで比べてから残す: 設定を1か所変えたら、変更前と変更後で同じタスクを走らせ、結果の良し悪しだけでなく途中の挙動の違いを見てから採用する。Harness²が自動でやっている比較を、手で小さく回すやり方です。
    • 例: 「コミット前にlintを通す」の1行を足す前と後で、同じ修正依頼を2回投げる。lintを実行したか、何回やり直したかをログで比べ、変わらなければその1行は消す。
  • 汎用ルールと分野別ルールを分けて育てる: Harness²は編集案を「どのタスクにも効く汎用の編集」と「分野に特化した編集」に分けて試します。設定ファイルも同じように分けておくと、効いた理由を追いやすくなります。
    • 例: 「変更したらテストを走らせる」はどの作業にも効くので CLAUDE.md に置く。「記事の数値はREADMEと照合する」はブログ記事の作業だけなので、記事校正のスキル側に置く。
  • 効いた理由をメモに残して持ち越す: タスクごとに「何を変えて、なぜ効いたか」を残し、次の改善の出発点にする。Harness²がタスクをまたいで教訓を蓄積するのと同じ発想です。
    • 例: 「依存を足す前に既存のユーティリティを探す」の1行で重複実装が減ったなら、そのことをメモに残す。別のリポジトリで設定を書くとき、最初からその1行を入れられる。

動作環境

  • Linux OS、Python 3.12、uvパッケージマネージャー
  • Node.js 20+、Google Cloud CLI(モデルバックのベンチマーク実行時)
  • Docker(WorkBuddy-Bench実行時)、PandocおよびPoppler(LAB実行時)
始め方(クイックスタート)

ローカルデモはモデル認証なしで実行できます。

uv venv --python 3.12 .venv && source .venv/bin/activate && uv pip install -e '.[render]' && harness2-demo --output runs/demo --k 2

モデルを使用したベンチマーク実行には.envの設定とgcloud認証が必要です。詳細は公式リポジトリを参照してください。

コードを読んで確認したこと

実験は回していません。導入前に気になる点を、リポジトリのコードとdocsで確かめました(2026年10月13日のコミット時点)。

  • ファイルの置き場所: 依存物は dependencies/、ハーネスの組み立ては一時ディレクトリ、結果は runs/ に置かれます。ホームディレクトリの設定を書き換える処理は見当たりませんでした。Codexは専用の CODEX_HOME(dependencies/codex/home)で動くので、手元のCodex設定とは分かれます。一方OpenCodeは設定の分離が指定されていないため、手元にグローバル設定があると読み込まれる可能性があります。気になるなら別ユーザーかコンテナで動かすのが無難です。
  • Codexは隔離した環境で: Codexはサンドボックス無効・ネットワーク無制限で動きます。公式ドキュメントには、検証中のCodexが指示されていないのにJobBenchの採点基準(RUBRICS.json)をダウンロードした例が書かれています。公式の対策は、評価前にHugging FaceやGitHubへの接続をブロックすることです。ただ、手元のファイルにも触れられる状態なので、VMやコンテナでの実行をおすすめします。
  • 自分のタスクで使うには: ベンチマークごとの処理は BenchmarkAdapter(タスク一覧・実行・成果物の取り出し・初期ハーネスなど)にまとまっていて、これを実装すれば手法自体は回る設計です。ただしCLIで選べるベンチマークは jb/wb/lab に固定されているため、CLIもフォークして手を入れる必要があります。
  • Claude Codeとの関係: タスクを実行するエージェントはOpenCodeとCodexだけで、Claude Codeでは実行できません(改善役のモデルにはVertex AI経由のClaudeを使えます)。ただし出力されるハーネスは AGENTS.md やスキル(SKILL.md)、スクリプトといった普通のファイルです。runs/ に残る採用ハーネスの差分を見て、自分の環境に手で取り込むことはできます。

こんな人におすすめ

  • 重みを変えずにハーネス側でエージェント性能を上げる手法を、論文の実装で追試したい研究者・エンジニア
  • CLAUDE.md やスキルの改善を勘ではなく、比較で進める方法を知りたい開発者

関連リソース [PR]

※ Amazon アソシエイト・リンクを含みます。リンク経由の購入で当サイトが収益を得る場合があります。

本記事は GitHub Trending を元に自動生成しています。最新情報は公式リポジトリをご確認ください。