modellkártya
angolul: model card
A modellkártya egy MI-modell rövid, nyilvános adatlapja: leírja, mire készült, min tanult, hogyan teljesít a teszteken, és mire nem szabad használni.
Érthetően
A modellkártya olyan, mint a gyógyszer betegtájékoztatója. Nem a hatóanyag pontos receptjét kapod meg, hanem azt, hogy mire való a készítmény, kinek nem ajánlott, és milyen mellékhatásokra számíts. Egy fontos különbség van: a betegtájékoztatót hatóság hagyja jóvá, a modellkártyát viszont általában senki sem ellenőrzi kívülről.
Egy nyelvi modellnél ez azt jelenti: ki készítette, milyen jellegű adatokon tanult, milyen feladatokra szánták, hogyan szerepelt a teszteken, és hol szokott hibázni. A jó kártya azt is kimondja, mire ne használd.
Miben más, mint a reklámanyag? A reklám csak az erősségeket sorolja, a modellkártyának a gyengeségekről és a kockázatokról is illik beszélnie. Ettől még nem független vizsgálat: a kártyát maga a fejlesztő írja.
Hogyan működik
- A fejlesztő a modell kiadása előtt teszteket futtat: méri a pontosságot, a tipikus hibákat, és azt, hogy a modell egyformán jól bánik-e különböző embercsoportokkal, nyelvekkel, helyzetekkel.
- Az eredményeket nagyjából állandó szerkezetű dokumentumba rendezi: a modell adatai, a szánt felhasználás, a tanítóadatok jellege, a mérési eredmények, a korlátok és az etikai megfontolások.
- A kártyát a modell mellé teszi ki, például a letöltőoldalra vagy a cég honlapjára. A nagy modellmegosztó oldalakon ez az első, amit egy modellről látsz.
- A nagy cégek az új csúcsmodellekhez gyakran bővebb változatot, rendszerkártyát adnak ki. Ebben biztonsági vizsgálatok is vannak, például hogy a modell rávehető-e káros tartalomra, vagy hogyan viselkedik, ha agentként önállóan hajt végre feladatokat.
- Új változat megjelenésekor a kártyát frissíteni kell, mert a régi számok az új modellre már nem érvényesek.
Példa a mindennapokból
A céged ügyfélszolgálati csevegőrobotot vezetne be, és két modell közül választotok. Az egyik kártyájából kiderül, hogy magyar nyelven alig tesztelték, és jogi tanácsadásra kifejezetten nem ajánlják. Ez többet ér, mint bármelyik hirdetés.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Nincs egységes, kötelező formátum, ezért két modell kártyáját nehéz egymás mellé tenni és összehasonlítani.
- A tesztszámok laboratóriumi körülmények között születtek, a te saját feladatodon a modell ennél gyengébben is teljesíthet.
- A tanítóadatokról a kártyák többnyire csak nagy vonalakban szólnak, a pontos források ritkán derülnek ki belőlük.
- Sok szabadon letölthető modell kártyája hiányos, elavult vagy teljesen üres. Ha ilyet látsz, az önmagában figyelmeztető jel.
Hasonló, de nem ugyanaz
- rendszerkártya – A rendszerkártya nemcsak magát a modellt írja le, hanem a köré épített teljes rendszert is, a biztonsági szűrőkkel és vizsgálatokkal együtt, ezért általában hosszabb és részletesebb. A szóhasználat nem egységes: van cég, amely ugyanezt a bővebb dokumentumot is modellkártyának hívja.
- adatkészlet-adatlap – Az adatlap a tanításhoz használt adatgyűjteményt dokumentálja, a modellkártya az abból elkészült modellt.
- teljesítményteszt (benchmark) – A benchmark maga a mérés és annak eredménye, a modellkártya pedig az a dokumentum, amely ezeket az eredményeket a többi tudnivalóval együtt közli.
Kapcsolódó fogalmak
átláthatóság, MI-dokumentáció, felelős mesterséges intelligencia, MI-irányítás
szánt felhasználás, biztonsági értékelés
rendszerkártya, adatkészlet-adatlap, teljesítményteszt, tanítóadat, torzítás, nyelvi modell
Röviden a története
A fogalmat Margaret Mitchell, Timnit Gebru és szerzőtársaik – többségükben a Google kutatói – vezették be a „Model Cards for Model Reporting” című tanulmányukban. Ezt 2018 őszén tették közzé, és 2019 elején mutatták be konferencián. A műfaj azóta a modellmegosztó oldalakon és a nagy MI-cégeknél is bevett gyakorlattá vált.
Hol tart most
2026 végén a nagy fejlesztők jellemzően modell- vagy rendszerkártyával adják ki az új modelljeiket, bár a kártya néha késve jelenik meg. A modellmegosztó oldalakon is ez az alapértelmezett dokumentáció. Az EU MI-rendelete 2025 augusztusa óta kötelezővé teszi az általános célú modellek szolgáltatóinak a műszaki dokumentációt. Ez azonban nem azonos a nyilvános modellkártyával: a hatóságnak és a modellt beépítő cégeknek szól, és a nyílt forráskódú modellek részben mentesülnek alóla. A nyilvános kártyák részletessége ezért továbbra is nagyon egyenetlen.
Más nevei
modellkártya · modell-kártya · modell kártya · model card · model cards · modelladatlap · rendszerkártya · system card
Források
- Mitchell et al.: Model Cards for Model Reporting (arXiv, 2018)
- Hugging Face Hub dokumentáció: Model Cards
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.