13. lapszám · nov. 2–8. 2026Kiadások · Fogalomtár · Archívum · Módszer · RSS · HU / ENG

Az AI-korszak hírei, hetente válogatva

Fogalomtár › Alapok

benchmark

alapelterjedt

A benchmark egységes feladatsor és értékelési módszer, amellyel különböző AI-modellek teljesítményét ugyanazon a mércén mérik, hogy az eredményeik összehasonlíthatók legyenek.

Érthetően

Gondolj az érettségire: mindenki ugyanazt a feladatsort kapja, ugyanannyi idő alatt, ugyanazzal a pontozással, ezért a végén össze lehet vetni az eredményeket. A benchmark ugyanez az AI-modelleknek: előre rögzített kérdések vagy feladatok, amelyeket minden modell megold, a végén pedig egy pontszám vagy százalék jön ki.

Arra jó, hogy a hangzatos ígéretek helyett számok alapján lehessen megítélni, melyik modell mire képes. Külön benchmark méri például a matematikai gondolkodást, a szövegértést, a programozást vagy azt, hogy egy agent végig tud-e vinni egy többlépéses feladatot önállóan.

Abban más, mint a saját kipróbálás, hogy szabványos és megismételhető. Viszont csak azt méri, ami a feladatsorban szerepel. Ahogy a jó érettségi sem garantálja, hogy valaki jó munkatárs lesz, a magas benchmarkpontszám sem jelenti azt, hogy a modell a te feladatodra a legjobb.

Hogyan működik

  1. Kutatók összeállítanak egy feladatsort, amelyhez ismert a helyes megoldás, vagy pontosan le van írva, mi számít sikernek.
  2. A modell vagy az agent minden feladatot azonos feltételekkel kap meg: ugyanaz az utasítás, ugyanazok az eszközök, ugyanannyi próbálkozás.
  3. A válaszokat kiértékelik. Ezt végezheti egy program, amely automatikusan ellenőriz (például lefut-e a megírt kód), de végezhetik emberi bírálók vagy egy másik AI-modell is.
  4. Az eredményből pontszám lesz, amely gyakran egy nyilvános ranglistára is felkerül, ahol a modellek egymás mellett láthatók.
  5. Amikor a legjobb modellek már szinte hibátlanul teljesítenek, a benchmark „telítődik”, és nehezebb, újabb feladatsorra van szükség.

Példa a mindennapokból

Azt olvasod a hírekben, hogy egy új modell „80 százalékot ért el egy programozási benchmarkon, megelőzve a versenytársakat”. Ez azt jelenti, hogy egy rögzített feladatsor négyötödét sikeresen megoldotta. Azt viszont nem árulja el, hogy a te leveleidet vagy táblázataidat is jobban kezeli-e majd.

Kit érint

mindenkiAz AI-ról szóló hírek és reklámok többsége benchmarkeredményekre hivatkozik, ezért érdemes tudnod, mit jelentenek ezek a számok és mit nem.
vállalkozó, vezetőHa AI-eszközt választasz a cégednek, a benchmark jó első szűrő, de a döntés előtt a saját feladataidon is ki kell próbálnod.
fejlesztőA benchmarkok alapján választasz modellt vagy kódoló agentet, és a saját rendszered minőségét is hasonló tesztekkel tudod követni. → Kód
banki ügyfél, befektetőA ranglistás helyezések befolyásolhatják az AI-cégekről kialakult képet és a befektetői hangulatot, ezért érdemes kritikusan olvasni őket. → Pénz

Gyakori félreértés

TévhitAmelyik modell a benchmarkon az első, az mindenre a legjobb.
ValójábanA benchmark csak egy szűk, előre meghatározott feladatkört mér. Egy másik feladattípuson, más nyelven (például magyarul) vagy a te konkrét munkádban a sorrend egészen más lehet.

Korlátok és kockázatok

Hasonló, de nem ugyanaz

Kapcsolódó fogalmak

Tágabb

kiértékelés, mesterséges intelligencia

Szűkebb

SWE-bench, MMLU, ImageNet

Rokon

ranglista, Turing-teszt, AI-biztonság, nagy nyelvi modell, agent, tanítóadat, hallucináció, túltanulás

Röviden a története

A szó a földmérésből ered: a „bench mark” kőbe vésett jel volt, amelyhez a magasságméréseket viszonyították. A számítástechnika a gépek sebességének összemérésére vette át, a gépi tanulásban pedig a 2009-ben bemutatott ImageNet képadatbázis tette a fejlődés fő mércéjévé. A nyelvi modellek korában a 2018-as GLUE, az agentek korában a 2023-as SWE-bench vált meghatározó viszonyítási ponttá.

Hol tart most

2026 végén szinte minden jelentős modell megjelenését benchmarkeredmények kísérik, és a hangsúly egyre inkább az egyszerű kérdés-válasz tesztekről a hosszú, önállóan végzett agentfeladatok mérésére tolódik. Közben a régebbi tesztek sorra telítődnek, és erősödik a kritika, hogy a pontszámok egyre kevésbé tükrözik a valós használhatóságot.

Állapot: 2026. november

A hírekben

23 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

Más nevei

benchmark · benchmarkteszt · teljesítményteszt · összehasonlító teszt · viszonyítási teszt · AI-benchmark · benchmarking · AI benchmark

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.