Fogalomtár › Kód

SWE-bench

A SWE-bench olyan teszt, amely valódi szoftverhibák kijavításán méri, mennyire tud egy AI-modell vagy kódoló agent önállóan programozói munkát végezni.

Érthetően

Képzeld el, hogy egy autószerelő-tanoncot nem tesztlappal vizsgáztatsz, hanem elé tolsz egy valóban elromlott autót: találd meg a hibát, javítsd meg, és a végén induljon be a motor. A SWE-bench ugyanezt teszi az AI-val, csak autó helyett szoftverekkel.

A feladatok nem kitalált iskolapéldák. Ismert, nyílt forráskódú programok valódi hibajelentéseiből és kisebb fejlesztési kéréseiből származnak, amelyeket annak idején emberi fejlesztők oldottak meg. Az AI megkapja a teljes kódot és a probléma leírását, a javítást pedig neki kell megírnia.

Azért lett fontos, mert egyetlen százalékos számmal mutatja meg, a feladatok mekkora részét oldotta meg egy modell. Ezt a számot idézik a cégek, amikor új modellt jelentenek be, és ezt hasonlítják össze az újságírók is.

Más, mint a korábbi programozási tesztek, mert azok rövid, önálló feladványokat adtak. Itt nagy, akár több ezer fájlból álló, élő projektben kell eligazodni, ahogy egy igazi munkahelyen.

Hogyan működik

1. A kutatók népszerű, nyílt forráskódú Python-projektekből összegyűjtöttek olyan hibajelentéseket, amelyekhez később elfogadott javítás is készült.
2. Az AI megkapja a projekt kódját a javítás előtti állapotban és a hibajelentés szövegét. Az eredeti megoldást nem látja.
3. A modell vagy agent átnézi a kódot, megkeresi a hiba helyét, és elkészíti a módosítást.
4. A módosított kódon lefuttatják a projekt automatikus tesztjeit. Azokat is, amelyek korábban a hiba miatt megbuktak, és azokat is, amelyek addig rendben voltak.
5. A feladat csak akkor számít megoldottnak, ha a hiba eltűnt, és közben semmi más nem romlott el. Az eredmény a megoldott feladatok aránya.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A feladatok nyilvános kódból származnak, ezért a modellek a tanulás során találkozhattak a megoldásokkal, és ez felfelé torzíthatja az eredményt.
• Az eredeti változat és a Verified is kizárólag Python-projektekre épül, így más nyelvekről és vállalati, zárt rendszerekről keveset mond.
• Az eredmény a modell köré épített eszközöktől és beállításoktól is függ, ezért a különböző cégek saját maguk által közölt számai nem mindig összevethetők.
• A sikert a tesztek átmenése jelenti, ami nem garantálja, hogy a javítás szép, biztonságos vagy hosszú távon karbantartható.
• Az ellenőrző tesztek sem hibátlanok: egyes feladatoknál a jó megoldást is elutasítják, vagy olyan részletet várnak el, amely a feladatleírásból nem derül ki.

Hasonló, de nem ugyanaz

• HumanEval – A HumanEval rövid, önálló programozási feladványokat ad, a SWE-bench viszont teljes, valódi projektekben kér hibajavítást.
• SWE-bench Verified – Ez a SWE-bench egy szűkebb, 500 feladatból álló része, amelyet emberek néztek át, hogy a feladat egyértelmű és megoldható legyen.
• Kódoló agent – A kódoló agent maga az eszköz, amely a munkát végzi, a SWE-bench pedig a vizsga, amelyen megmérik.

Kapcsolódó fogalmak

Röviden a története

A SWE-benchet 2023 őszén mutatták be a Princeton Egyetem kutatói a Chicagói Egyetem közreműködésével. Az eredeti készlet 12 Python-projekt 2294 feladatából állt, és az akkori legjobb modell ezeknek alig 2 százalékát oldotta meg. 2024 augusztusában az OpenAI és a szerzők együttműködésével elkészült az emberek által ellenőrzött, 500 feladatos SWE-bench Verified, amely az iparág fő viszonyítási pontja lett.

Hol tart most

2026 végén is ez a kódoló AI-k legismertebb mércéje, de a legjobb modellek a Verified változaton már 80 százalék körüli vagy afölötti eredményt érnek el, így a teszt alig tesz különbséget közöttük. A telítődés, az adatszennyeződés és a hibás tesztek miatt a szakma egyre inkább újabb, nehezebb tesztek (például a SWE-bench Pro) felé fordul. Az OpenAI 2026 elején jelezte, hogy a Verified eredményeit már nem tekinti mérvadónak.

Állapot: 2026. november

A hírekben

• Nyílt kódolómodellek: DeepSeek V4 Pro 80,6% a SWE-benchen, Qwen3.8-Max 16 napos futással2026. aug. 3. · Kód

Más nevei

SWE-bench · SWE bench · SWEbench · SWE-bench Verified · SWE-bench Lite · SWE-bench Pro · Software Engineering Benchmark · szoftverfejlesztési benchmark

Források

• Jimenez et al.: SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (arXiv, 2023)
• SWE-bench – hivatalos oldal és ranglista
• OpenAI: Introducing SWE-bench Verified (2024)

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.