OSWorld

haladóelterjedt

Az OSWorld egy tesztsor, amely azt méri, mennyire tud egy AI-agent önállóan, valódi operációs rendszeren és valódi programokkal hétköznapi számítógépes feladatokat elvégezni.

Érthetően

Képzeld el a gyakorlati autóvezetői vizsgát. Ott nem a KRESZ-t kérdezik ki tőled, hanem beültetnek egy autóba, és meg kell mutatnod, hogy el tudsz jutni A-ból B-be. Az OSWorld ugyanez az AI-agenteknek: az agent kap egy tesztszámítógépet, és ténylegesen el kell végeznie rajta egy feladatot.

A feladatok olyanok, amilyeneket te is csinálsz az irodában vagy otthon: táblázat kitöltése, kép átméretezése, e-mail-melléklet elmentése, beállítás átírása a böngészőben. Az agent a képernyőt „nézi”, és egérrel, billentyűzettel dolgozik, ahogy egy ember tenné.

Azért lett fontos, mert összehasonlítható számot ad arra, hol tartanak a számítógépet kezelő agentek. Amikor egy AI-cég azt hirdeti, hogy a modellje „már használni tudja a gépedet”, gyakran az OSWorld-eredményére hivatkozik.

Hogyan működik

A kutatók elindítanak egy virtuális gépet, vagyis egy elkülönített „számítógépet a számítógépben”, amelyen valódi operációs rendszer és valódi programok futnak (például böngésző, irodai programcsomag, képszerkesztő).
Az agent szöveges utasítást kap, például: „Készíts kimutatást ebből a táblázatból, és mentsd el PDF-ben.”
Az agent képernyőképeket kap a gépről (egyes beállításokban a képernyő tartalmának szöveges leírását is), és lépésenként dönt: hová kattintson, mit gépeljen be, mit görgessen. Minden lépés után látja az új állapotot.
A végén egy ellenőrző program megnézi a gép tényleges állapotát: létrejött-e a fájl, jó-e a tartalma, átállt-e a beállítás. Az számít, hogy a feladat kész lett-e, az agent saját beszámolója nem.
A 369 feladat eredményéből százalékos sikerarány lesz, amelyet az emberi tesztelők nagyjából 72 százalékos eredményéhez szoktak hasonlítani.

Példa a mindennapokból

Olvasol egy hírt, hogy egy új AI-modell „rekordot döntött az OSWorldön”, és már az embereknél is jobban kezeli a számítógépet. Ez azt jelenti, hogy egy laboratóriumi tesztgépen a kiadott irodai és böngészős feladatok nagyobb részét oldotta meg, mint a korábbi modellek, és többet, mint a teszt emberi kipróbálói, akik nagyjából 72 százalékot értek el. Azt nem jelenti, hogy a te céges gépeden is mindent el fog tudni intézni.

Kit érint

munkavállalóAz OSWorld-eredmények jelzik, milyen gyorsan közeledik az a pont, amikor a rutinszerű képernyős irodai munkát agentek is el tudják végezni. → Munka és HR

vállalkozó, vezetőHa számítógépet kezelő agentet vásárolnál, ez az egyik leggyakrabban idézett mérőszám, amellyel a gyártók ajánlatait össze tudod vetni.

fejlesztőNyílt, bárki által futtatható tesztkörnyezet, amelyen a saját agentedet is kipróbálhatod és másokéhoz mérheted. → Kód

Gyakori félreértés

TévhitHa egy agent eléri az emberi szintet az OSWorldön, akkor bármilyen számítógépes munkát rá lehet bízni.

ValójábanA teszt néhány száz, előre megírt, viszonylag rövid feladatot tartalmaz tiszta laborkörnyezetben. A valódi munkahelyi gép egyedi programokkal, jogosultságokkal és váratlan helyzetekkel sokkal kuszább, és ott egy hibának valódi ára van.

Korlátok és kockázatok

A sikerarány csak azt mutatja, hogy a feladat elkészült-e, azt nem, hogy mennyi idő és pénz alatt: egy agent sokszor jóval lassabban dolgozik, mint egy ember.
A feladatok nyilvánosak, ezért a fejlesztők akarva-akaratlanul rá is hangolhatják a rendszerüket, így a jó pontszám nem feltétlenül jelent általános ügyességet.
Az eredmények csak azonos beállítások mellett hasonlíthatók össze (például hány lépést tehet az agent, melyik tesztváltozaton mérték), a hírekből ez gyakran kimarad.
A teszt a biztonságot alig méri: nem derül ki belőle, hogy az agent megtéveszthető-e egy rosszindulatú weboldallal, vagy töröl-e véletlenül valami fontosat.

Hasonló, de nem ugyanaz

Számítógép-használat (computer use) – A számítógép-használat maga a képesség, hogy az agent egeret és billentyűzetet kezel, az OSWorld pedig a vizsga, amellyel ezt a képességet mérik.
SWE-bench – A SWE-bench azt méri, hogy egy agent ki tud-e javítani valódi programhibákat a kódban, az OSWorld pedig azt, hogy tud-e programokat használni a képernyőn keresztül.
WebArena – A WebArena csak weboldalakon, böngészőben végzett feladatokat tesztel, az OSWorld a teljes asztali számítógépet, több programmal és fájlokkal együtt.

Kapcsolódó fogalmak

Tágabb

Benchmark, AI-agent, Agentek értékelése

Szűkebb

OSWorld-Verified

Rokon

Számítógép-használat, SWE-bench, WebArena, Böngésző-agent, Virtuális gép

Röviden a története

Az OSWorldöt 2024-ben mutatta be egy kutatócsoport a Hongkongi Egyetem vezetésével. Akkor a legjobb AI-rendszer a feladatok nagyjából 12 százalékát oldotta meg, az emberek pedig mintegy 72 százalékát. 2025-ben megjelent a javított, megbízhatóbb feladatokat tartalmazó OSWorld-Verified változat.

Hol tart most

2026 végén a számítógépet kezelő agentek egyik legtöbbet idézett mércéje, az AI-cégek rendszeresen közlik rajta az eredményeiket. A legjobb modellek a fejlesztőik közlése szerint 2026-ban elérték, néhány esetben meg is haladták a nagyjából 72 százalékos emberi szintet. Emiatt a teszt egyre kevésbé tud különbséget tenni az élmezőnyben, a kutatók pedig nehezebb és hosszabb feladatokból álló utódokon dolgoznak.

Állapot: 2026. november

Más nevei

OSWorld · OS World · OSWorld benchmark · OSWorld-teszt · OSWorld-Verified · OSWorld-mérce

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.