eval

angolul: evaluation (eval)

alapelterjedt

Az eval olyan módszeres vizsga, amellyel előre összeállított feladatokon mérik, mennyire jól, megbízhatóan és biztonságosan teljesít egy MI-modell vagy agent.

Érthetően

Az eval az MI-rendszerek vizsgáztatása. Ahogy az autót műszaki vizsgára viszik, mielőtt forgalomba állhat, úgy a nyelvi modelleket és agenteket is feladatsorokon próbálják ki, mielőtt rád bízzák őket. A kérdés mindig az, hogy a rendszer mit tud valójában, és nem az, amit a hirdetés ígér.

Erre azért van szükség, mert egy MI-modell nem úgy működik, mint a számológép: ugyanarra a kérdésre többféleképpen válaszolhat, és néha magabiztosan téved. Néhány kipróbált kérdésből ezért nem derül ki, mennyire megbízható. Az eval sok száz vagy sok ezer feladaton méri meg ugyanazt, és számszerű eredményt ad.

Az eval nemcsak a tudást méri. Vizsgálhatja azt is, hogy a rendszer betartja-e a szabályokat, ellenáll-e a rosszindulatú kéréseknek, vagy hogy egy agent több lépésből álló munkát végig tud-e vinni. A fejlesztők minden változtatás után újra lefuttatják, hogy lássák, javult vagy romlott a rendszer.

Hogyan működik

Először eldöntik, mit akarnak mérni: például a válaszok pontosságát, a magyar nyelvű szövegértést, a kódolási képességet vagy a biztonságos viselkedést.
Összeállítanak egy feladatsort, és mindegyik feladathoz megadják a helyes megoldást vagy azt, hogy mi számít jó válasznak.
A modell vagy az agent megoldja az összes feladatot, gyakran többször is, mert a válaszai futásról futásra eltérhetnek.
A válaszokat pontozzák: egyszerű esetben program veti össze őket a megoldással, bonyolultabb esetben emberi szakértő vagy egy másik MI-modell bírálja el.
Az eredményeket összesítik, összehasonlítják a korábbi változatokkal vagy más modellekkel, és ez alapján döntenek a javításról vagy a bevezetésről.

Példa a mindennapokból

Azt olvasod a hírekben, hogy egy új modell „90 százalékot ért el” egy teszten, vagy „megelőzte a versenytársait” – ez egy eval eredménye. Ugyanez történik kicsiben, amikor a bankod ügyfélszolgálati chatbotját élesítés előtt több száz valódi ügyfélkérdéssel próbálják ki, és megnézik, hányra adott helyes választ.

Kit érint

fejlesztőEval nélkül nem tudja megmondani, hogy egy módosítás után jobb vagy rosszabb lett-e a modell vagy az agent. → Kód

vállalkozó, vezetőA saját feladatain lefuttatott eval mutatja meg, melyik MI-eszközt érdemes megvenni, és rá lehet-e bízni az ügyfeleket.

jogász, állampolgárAz uniós MI-rendelet a nagy kockázatú MI-rendszereknél tesztelést, a rendszerszintű kockázatot jelentő általános célú modelleknél pedig modellértékelést ír elő. Így az eval a jogi megfelelés és a számonkérhetőség egyik alapja. → Jog

mindenkiAz MI-ről szóló hírek rangsorai és százalékai evalokból származnak, ezért érdemes tudnod, mit jelentenek és mit nem.

Gyakori félreértés

TévhitHa egy modell magas pontszámot ér el egy teszten, akkor minden feladatban megbízható.

ValójábanAz eval csak azt méri, ami a feladatsorban szerepel. A te konkrét feladatodon a modell teljesíthet ennél sokkal jobban vagy sokkal rosszabbul is.

Korlátok és kockázatok

A nyilvános tesztek feladatai bekerülhetnek a modellek tanítóanyagába. Ilyenkor a pontszám a „bemagolt” válaszokat méri, nem a valódi képességet.
A gyártók szívesen emelik ki azokat a teszteket, amelyeken jól szerepeltek, ezért a saját közlésű eredményeket kezeld fenntartással.
A legismertebb tesztek többsége angol nyelvű, így az eredményük keveset mond arról, hogyan teljesít a rendszer magyarul.
Ha a válaszokat egy másik MI-modell pontozza, a bíráló is tévedhet vagy elfogult lehet.

Hasonló, de nem ugyanaz

benchmark – A benchmark szabványos, többnyire nyilvános feladatsor, amelyen sok modellt hasonlítanak össze. Az eval a tágabb fogalom: bármilyen mérést jelent, akár saját célra készítettet is.
szoftvertesztelés – A hagyományos szoftverteszt jellemzően egyértelmű jó–rossz választ ad. Az eval viszont változó kimenetű rendszert mér, ezért arányokkal és pontszámokkal dolgozik.
red teaming – A red teaming során emberek vagy programok szándékosan támadják a rendszert, hogy új hibákat találjanak benne. Az eval jellemzően ismételhető, előre rögzített mérés. A kettő összefügg: a red teaming során talált hibákból gyakran új eval-feladatok készülnek.

Kapcsolódó fogalmak

Tágabb

MI-biztonság, minőségbiztosítás, gépi tanulás

Szűkebb

benchmark, agent-kiértékelés, biztonsági kiértékelés, MI mint bíráló

Rokon

red teaming, hallucináció, ranglista, tesztadat, megfigyelhetőség

Röviden a története

A gépi intelligencia vizsgáztatásának gondolata Alan Turing 1950-es tanulmányáig nyúlik vissza, amely a később Turing-tesztként ismert próbát javasolta. Az „eval” rövid alak a nagy nyelvi modellek korában vált köznyelvivé a szakmában, különösen azután, hogy az OpenAI 2023-ban nyílt forráskódúvá tette Evals nevű keretrendszerét.

Hol tart most

2026 végén az eval a modellfejlesztés mindennapos része, és a nagy MI-cégek a modelljeik kiadásakor rendszeresen közölnek eval-eredményeket. Az agentek hosszú, többlépéses munkájának megbízható mérése viszont még kiforratlan, és a régebbi tesztek gyorsan elavulnak.

Állapot: 2026. november

A hírekben

4 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

Az Autoheal 7,9 millió dollárt gyűjtött AI-agentek kiértékelésére és javítására2026. szept. 28. · Kód
Belga professzor Budapesten: az MI egész iparágakat alakít át, példa a radiológia2026. szept. 14. · Egészség
A Claude Code plugin-kiértékeléseket kapott: hat kiértékelőtípus, alaphelyzet és CI-kapu2026. szept. 11. · Kód
NAIC: szeptember 29-ig lehet véleményezni az AI-kockázatértékelési kiegészítést2026. aug. 31. · Pénz

Más nevei

eval · evals · evaluation · kiértékelés · modellkiértékelés · MI-kiértékelés · AI evaluation · model evaluation

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.