← トップへ戻る

プレプリント ·研究論文 ·速報 ·AI要約未精査 ·AIによる読み解き

エージェント能力評価を簡素化する新フレームワークPACEとは？

代理評価フレームワークPACEが提案され、エージェント能力評価を簡素化

元記事タイトル: 代理評価フレームワークPACE：エージェント能力評価の簡易化

arXiv cs.AI 2026年07月03日

査読未完了の可能性があります。完成した査読済み論文としてではなく、研究コミュニティ向けの早期共有として読んでください。

RESEARCH 研究論文 / Preprint

Field Note 読む前に確認

3行まとめ

高コストのエージェント能力評価を効率化するPACEフレームワークが提案
非エージェント型LLMベンチマークから選択されたインスタンスを使用
14モデルと4つのエージェント能力ベンチマークでの実験結果を示す

こんな人に関係ある話

AI研究者機械学習エンジニア開発者

信頼度メモ

プレプリント論文（査読前の可能性あり）

記事の読み解き Reading

元記事を材料に、要点、編集視点、良い点と懸念点を読みやすい順に整理しています。

この論文では、高コストで時間のかかるエージェント能力評価に対し、非エージェント型LLMベンチマークから選択したインスタンスを使用して代理評価フレームワークPACEを提案します。PACEは、既存の非エージェント型評価結果から最適なインスタンスを選定し、それらがエージェント能力ベンチマークでのパフォーマンスを予測する精度を最大化します。

編集部コメント

この論文は、エージェント能力評価におけるコストと時間の問題を解決する新たなアプローチを提示しています。PACEフレームワークが提案された背景やその効果的な利用方法について詳しく解説されています。

評価ポイント Assessment

良い点

代理評価フレームワークPACEにより高コストのエージェント能力評価を簡素化
選択されたインスタンスは、非エージェント型LLMベンチマークから得られる結果に基づく
実験では14のモデルと4つのエージェント能力ベンチマークを使用

業界・社会への影響 Impact

この研究は、エージェント能力評価を効率化し、リソース制約のある環境でもLLMの性能評価が可能となる可能性があります。これにより、開発者はより迅速かつ安価にモデルのパフォーマンスを評価でき、AI技術の進展を加速させることが期待されます。

深堀り Deep Dive

前提知識

エージェント型LLM（大規模言語モデル）の能力評価は、通常、複雑なタスク設計や膨大なリソースを要するため、コストが高く、時間がかかる。一方、非エージェント型のLLMベンチマークは、既存の評価結果が豊富であり、これらを活用してエージェント型モデルの能力を簡易的に評価する手法が求められている。

何が新しいのか

PACEは、非エージェント型のLLM評価結果から適切なインスタンスを選び出し、それらをエージェント型モデルの能力ベンチマークの性能予測に活用するフレームワーク。これにより、従来の高コストな評価プロセスを簡略化し、精度を維持しながら効率的な能力評価を実現する点が新しい。

今後見るべき論点

代理評価の精度が、エージェント型モデルの進化にどのように適応するか
非エージェント型ベンチマークのインスタンス選定アルゴリズムの透明性と再現性
PACEが他の分野（例：視覚処理やマルチモーダルタスク）に拡張される可能性

用語解説

エージェント型LLM タスクを自ら判断し、行動を起こす能力を持つ大規模言語モデル

非エージェント型LLM 指示に従って行動するのみで、自らの判断に基づいて行動しないLLM

ベンチマークモデルの性能を測定するための基準となるタスクやテストセット

代理評価直接評価が困難な対象に対して、関連する評価結果をもとに間接的に評価する手法

参照元 Sources

元記事と、深堀りで参照した情報源です。コミュニティ投稿やプレプリントでは、ここから根拠を確認できます。

代理評価フレームワークPACE：エージェント能力評価の簡易化

arXiv cs.AI

https://arxiv.org/abs/2607.02032

Paper page - PACE: A Proxy for Agentic Capability Evaluation https://huggingface.co/papers/2607.02032 used in analysis

この記事の見取り図

読む前に確認
記事の読み解き
深堀り
参照元
AI要約について
関連記事

キーワード

PACE agentic capability evaluation proxy benchmarks non-agentic LLM benchmarks

AI要約について

本記事の要約・分類・読み解きにはAIを使用しています。内容確認に努めていますが、誤訳・解釈違い・元記事更新の反映漏れを含む可能性があります。重要な判断を行う場合は、必ず元記事もご確認ください。

速報について — 速報は追加調査や本文抽出の結果で内容が更新される場合があります。初期要約には誤りや不足が含まれる可能性があります。

記事データ

Source	プレプリント
Category	研究論文
Status	速報
出典	arXiv cs.AI
公開日	2026-07-03

元記事の説明文

arXiv:2607.02032v1 Announce Type: new Abstract: Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.