Terminal-Bench (TB)
Nyílt tesztsorozat, amely azt méri, mennyire tud egy AI-agent önállóan, parancssorban elvégezni valódi, több lépésből álló számítógépes feladatokat.
Érthetően
A Terminal-Bench olyan az AI-agenteknek, mint a gyakorlati vizsga a szakmunkásnak. Nem azt kérdezik tőle, hogyan kell megjavítani a csapot, hanem odaállítják egy csöpögő csap elé, és a végén megnézik, csöpög-e még.
A „terminal” a parancssor: az a szöveges ablak, ahol a számítógépet nem kattintgatással, hanem begépelt utasításokkal irányítják. A rendszergazdák és a programozók gyakran itt dolgoznak, és a kódoló agentek többsége is így végzi a munkáját.
A feladatok valódi munkákra hasonlítanak: egy program telepítése és beállítása, hibás kód megjavítása, adatok feldolgozása, egy szerver elindítása. Az agent nem kap lépésenkénti segítséget, magának kell kitalálnia, mit gépeljen be, és hogyan javítsa ki, ha elrontott valamit.
A sima csevegőrobot-tesztek a válasz minőségét pontozzák. Itt csak az számít, hogy a munka a végén tényleg el van-e végezve.
Hogyan működik
- Minden feladathoz tartozik egy szöveges leírás és egy elzárt, eldobható számítógépes környezet (konténer). Ebben az agent szabadon dolgozhat, mert amit elront, az a környezeten kívül nem okoz kárt.
- Az agent megkapja a feladatot, majd parancsokat ad ki, elolvassa az eredményt, és ez alapján dönt a következő lépésről. Ez akár több száz körön át is tarthat.
- Ha lejár az időkeret, vagy az agent késznek nyilvánítja a munkát, előre megírt ellenőrző programok megvizsgálják a környezet végállapotát: működik-e a program, jó-e az eredmény.
- Egy feladat vagy sikerült, vagy nem, részpontszám nincs. A végeredmény a sikeresen megoldott feladatok aránya százalékban.
- Az eredmények nyilvános ranglistára kerülnek. Ezen a modell együtt szerepel az agentkerettel, vagyis azzal a programmal, amely a modellt a parancssorhoz kapcsolja és a munkáját irányítja.
Példa a mindennapokból
Olvasol egy hírt, hogy megjelent egy új AI-modell, és a cég azzal büszkélkedik, hogy „első lett a Terminal-Benchen”. Ez annyit jelent, hogy a modell egy adott agentkerettel a korábbi rendszereknél több parancssoros feladatot oldott meg önállóan. Ebből óvatosan következtethetsz arra, mennyire bízhatsz rá hosszabb, önálló informatikai munkát. Érdemes megnézned azt is, hogy a mérést a cég maga végezte-e, vagy független fél.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A pontszám a modell és az agentkeret együttes teljesítménye, ezért ugyanaz a modell más eszközben egészen más eredményt hozhat.
- A feladatok nyilvánosak, így előfordulhat, hogy egy modell a tanítása során találkozott velük, ami felfelé torzíthatja az eredményt.
- A cégek saját maguk által közölt eredményei nem mindig ugyanolyan beállításokkal készülnek, ezért az összevetésnél nézd meg, független-e a mérés.
- Csak a parancssoros munkát méri: a grafikus felületek kezeléséről, az ügyfélkommunikációról vagy a biztonságos viselkedésről keveset árul el.
Hasonló, de nem ugyanaz
- SWE-bench – A SWE-bench nyílt forráskódú projektek hibajegyeinek kijavítását méri, a Terminal-Bench tágabb: rendszerüzemeltetés, adatfeldolgozás, telepítés és sok más parancssoros munka is szerepel benne.
- Kódoló agent – A kódoló agent maga a munkát végző szoftver, a Terminal-Bench pedig a vizsga, amelyen megmérik.
- Harbor – A Harbor a tesztek futtatására szolgáló keretrendszer, a Terminal-Bench pedig maga a feladatgyűjtemény és a ranglista.
Kapcsolódó fogalmak
Benchmark, AI-értékelés, Agentértékelés
Terminal-Bench 2.0
SWE-bench, Kódoló agent, AI-agent, Ranglista, Homokozó
Röviden a története
A Terminal-Benchet 2025 májusában indította el a Stanford Egyetem kutatóinak és a Laude Institute-nak az együttműködése, nyílt forráskódú projektként. 2025 novemberében megjelent a nehezebb, alaposabban ellenőrzött feladatokból álló 2.0-s változat, vele együtt pedig a tesztek futtatására szolgáló Harbor keretrendszer.
Hol tart most
2026 végén a nagy AI-fejlesztő cégek új modelljeik bemutatásakor rendszeresen közlik a Terminal-Bench-eredményt, a kódoló agentek egyik alapmércéjévé vált. A legjobb rendszerek pontszáma gyorsan emelkedik, ezért a készítők a 2.0-s változattal már nehezítettek a feladatsoron, és további nehezebb feladatokon dolgoznak.
Más nevei
Terminal-Bench · Terminal Bench · TerminalBench · T-Bench · tbench · Terminal-Bench 2.0 · TB 2.0
Források
- Terminal-Bench – hivatalos oldal és ranglista
- Terminal-Bench – nyílt forráskód (GitHub, Laude Institute)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.