agent-benchmark

angolul: agent benchmark

haladóelterjedt

Az agent-benchmark szabványos feladatsor, amellyel azt mérik, hogy egy AI-agent önállóan, több lépésben milyen arányban old meg valós munkához hasonló feladatokat.

Érthetően

Az agent-benchmark olyan az AI-agenteknek, mint a gyakorlati vizsga a jogosítványhoz. Nem azt nézi, hogy tudod-e a KRESZ-t, hanem azt, hogy el tudsz-e jutni A-ból B-be a valódi forgalomban.

A hagyományos AI-tesztek egy kérdésre egy választ várnak. Az agent-benchmark egész feladatot ad: javíts ki egy programhibát, foglalj le egy utat egy weboldalon, keress ki egy adatot több forrásból. Az agentnek magának kell megterveznie a lépéseket, eszközöket használnia és észrevennie, ha elrontott valamit.

Arra jó, hogy a különböző agenteket és a mögöttük dolgozó modelleket össze lehessen hasonlítani ugyanazon a pályán. Amikor a hírekben azt olvasod, hogy egy új modell „a feladatok 70 százalékát megoldotta”, gyakran egy ilyen mérés eredményét látod.

Hogyan működik

A kutatók összeállítanak egy feladatgyűjteményt, jellemzően néhány száz vagy néhány ezer valós munkából: programhibákból, webes ügyintézésből, irodai teendőkből.
Minden feladathoz felépítenek egy zárt próbakörnyezetet, például egy tesztszámítógépet, egy weboldal másolatát vagy egy programkódtárat, ahol az agent szabadon dolgozhat, de kárt nem okozhat.
Az agent megkapja a feladat leírását, majd emberi segítség nélkül dolgozik: olvas, kattint, parancsokat futtat, és a végén leadja az eredményt.
Többnyire egy automatikus ellenőrző nézi meg a végeredményt, vagyis azt, hogy átmennek-e a tesztek, megtörtént-e a foglalás, helyes-e a válasz. Azt, hogy az agent mit állít a saját munkájáról, nem veszi figyelembe. Egyes benchmarkokban ember vagy egy másik AI-modell pontoz.
Az eredményekből sikerességi arányt számolnak, és gyakran mellé teszik a költséget és a futási időt is, majd mindezt nyilvános ranglistán teszik közzé.

Példa a mindennapokból

A céged kódoló agentet választana, és minden gyártó egy-egy százalékban megadott eredménnyel hirdeti a termékét. Ezek a számok jellemzően olyan agent-benchmarkból származnak, ahol az agentnek valódi nyílt forráskódú programok hibáit kellett kijavítania. A szám tehát azt mutatja, a feladatok mekkora részét oldotta meg a tesztpályán, és nem azt, hogy nálatok hogyan fog teljesíteni.

Kit érint

vállalkozó, vezetőHa agentet vásárolsz vagy vezetsz be, a benchmark-eredmény az egyik kevés összehasonlítható adat, de a saját feladataidon végzett próbát nem pótolja.

fejlesztőEzekkel a mérésekkel tudod eldönteni, melyik modell vagy agent-keretrendszer éri meg a pénzét, és hogy egy módosítás után javult vagy romlott a saját agented. → Kód

munkavállalóA benchmarkok megmutatják, hogy a te munkádhoz hasonló feladatokból mennyit tud már egy agent önállóan elvégezni, és hol szorul még emberi felügyeletre. → Munka és HR

mindenkiAz AI-ról szóló hírek nagy része benchmark-számokra épül, ezért érdemes tudnod, mit jelentenek és mit nem.

Gyakori félreértés

TévhitHa egy agent 80 százalékot ért el egy benchmarkon, akkor a munkám 80 százalékát is el tudja végezni.

ValójábanA szám csak arra a konkrét feladatsorra érvényes, amely általában tisztább és jobban körülhatárolt, mint a valós munka. A saját környezetedben az eredmény ennél jóval gyengébb is lehet.

Korlátok és kockázatok

A népszerű feladatsorok megoldásai idővel bekerülhetnek a modellek tanítóanyagába, ilyenkor az eredmény részben emlékezetet mér, nem képességet.
Az eredmény nemcsak a modelltől függ, hanem a köré épített szoftveres kerettől, a próbálkozások számától és a ráfordított pénztől is, ezért két közzétett szám ritkán vethető össze egy az egyben.
A sikerességi arány nem árulja el, mekkora kárt okoz az agent, amikor téved, pedig a gyakorlatban egyetlen súlyos hiba többet számíthat, mint sok sikeres feladat.
Maga a feladatsor is lehet hibás: előfordul pontatlan feladatleírás vagy olyan ellenőrző, amely jó megoldást elutasít, illetve rosszat elfogad, és ez torzítja a számokat.
A gyártók szívesen emelik ki azt a mérést, amelyen jól szerepelnek, ezért érdemes független mérést és több benchmarkot is megnézned.

Hasonló, de nem ugyanaz

modell-benchmark – A modell-benchmark egy kérdésre adott egyetlen választ pontoz, az agent-benchmark egy több lépésből álló, eszközhasználattal járó feladat végeredményét.
ranglista – A ranglista csak az eredmények sorba rendezett táblázata, a benchmark maga a feladatsor és a mérési módszer, amelyből a táblázat készül.
értékelés (eval) – Az értékelés tágabb fogalom, egy cég saját, belső tesztjeit is jelenti, míg a benchmark nyilvános, szabványos, mindenkinél ugyanúgy lefuttatható feladatsor.

Kapcsolódó fogalmak

Tágabb

benchmark, AI-értékelés

Szűkebb

SWE-bench, GAIA, WebArena, OSWorld

Rokon

AI-agent, kódoló agent, ranglista, eszközhasználat, számítógép-használat, tanítóadat-szennyeződés

Röviden a története

A nagy nyelvi modellekre épülő agentek mérésére 2023-ban jelentek meg az első széles körben átvett feladatsorok, köztük a programhibák javítását mérő SWE-bench, az általános asszisztensi feladatokat mérő GAIA és a webes ügyintézést mérő WebArena. 2024-ben követte őket a teljes számítógép-használatot vizsgáló OSWorld.

Hol tart most

2026 végén szinte minden új modell és agent bejelentését benchmark-eredmények kísérik, és a cégek a beszerzési döntéseknél is gyakran hivatkoznak rájuk. Közben a korai feladatsorok telítődnek, vagyis a legjobb rendszerek már a feladatok nagy részét megoldják, ezért a kutatók folyamatosan nehezebb, hosszabb és valósághűbb feladatokat állítanak össze.

Állapot: 2026. november

Más nevei

agent benchmark · agent-benchmark · AI-agent benchmark · agentic benchmark · agent-teljesítményteszt · agent evaluation · agent eval

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.