desztilláció (KD)

angolul: distillation (knowledge distillation)

haladóelterjedt

A desztilláció olyan eljárás, amelyben egy nagy, drága AI-modell tudását egy kisebb, gyorsabb és olcsóbb modellnek tanítják meg.

Érthetően

Képzeld el, hogy egy tapasztalt professzor nem a teljes könyvtárát adja át a tanítványának, hanem a saját, letisztult jegyzeteit és azt, ahogyan a feladatokról gondolkodik. A tanítvány kevesebbet tud, mint a mestere, de a lényeget sokkal gyorsabban elsajátítja, mint ha mindent elölről kellene megtanulnia. A desztilláció ugyanezt csinálja AI-modellekkel: a nagy „tanár” modell válaszaiból tanul a kis „diák” modell.

Azért jó, mert a legnagyobb nyelvi modellek futtatása lassú és drága, és hatalmas szerverparkot igényel. A desztillált modell a tanár teljesítményének nagy részét hozza, miközben jóval kevesebb számítási kapacitás kell hozzá. A legkisebb változatok akár telefonon vagy laptopon is elfutnak.

Más, mint a hagyományos tanítás: a diák nem csak a nyers adatokból tanul, hanem a tanár viselkedését is utánozza. Ha a tanár belső számai is hozzáférhetők, azokból az is látszik, mennyire biztos egy válaszban, és melyik másik válasz lett volna még majdnem jó. Ez a többlet sokat segít a kis modellnek. Ha csak a tanár kész szöveges válaszai érhetők el, a diák ezekből mint mintapéldákból tanul.

Hogyan működik

Kiindulásként van egy nagy, már betanított modell (a tanár) és egy jóval kisebb, még tanulatlan vagy csak részben tanított modell (a diák).
A tanárnak rengeteg kérdést, feladatot adnak, és rögzítik a válaszait. Ha hozzáférnek, azt is elmentik, mekkora valószínűséget adott az egyes lehetséges válaszoknak.
A diákot arra tanítják, hogy ugyanazokra a kérdésekre a tanáréhoz minél hasonlóbb választ adjon. Ha a valószínűségek is megvannak, nemcsak a helyes megoldást tanulja meg, hanem a tanár „bizonytalanságait” is.
A kész diák modellt teszteken összemérik a tanárral: mennyit veszített a minőségből, és mennyit nyert sebességben, költségben.
Ha az eredmény elfogadható, a kis modellt állítják munkába ott, ahol a nagy túl drága vagy túl lassú lenne.

Példa a mindennapokból

Amikor a telefonod internetkapcsolat nélkül is lefordít egy mondatot vagy összefoglal egy üzenetet, jó eséllyel egy desztillált (és többnyire más módon is tömörített) modell dolgozik benne. Hasonló a helyzet a csevegőalkalmazások „mini”, „lite” vagy „flash” nevű, gyorsabb és olcsóbb változataival: ezek sokszor részben a nagy testvérük tudásából készültek, bár a gyártók ezt nem mindig közlik.

Kit érint

mindenkiA telefonodon és a gyors, ingyenes AI-szolgáltatásokban gyakran desztillált modell válaszol, ami magyarázza, miért gyorsabb, de néha gyengébb a nagy modellnél.

vállalkozó, vezetőDesztillált modellel ugyanazt a feladatot sokszor a költség töredékéért lehet elvégeztetni, ezért érdemes megnézni, tényleg a legnagyobb modell kell-e.

fejlesztőÍgy lehet egy szűk feladatra szabott, gyors modellt készíteni, amely saját gépen fut, és amelyből több példány dolgozhat párhuzamosan, például egy kódoló agent alfeladatain. → Kód

jogász, állampolgárVitatott jogi kérdés, hogy szabad-e egy másik cég modelljének válaszaiból engedély nélkül saját modellt tanítani. → Jog

Gyakori félreértés

TévhitA desztillált modell ugyanazt tudja, mint az eredeti, csak kisebb helyen fér el.

ValójábanA kis modell a tanár tudásának csak egy részét veszi át: a gyakori, tipikus feladatokban közel azonos lehet, a ritka, bonyolult, több lépéses kérdéseknél viszont jellemzően gyengébb.

Korlátok és kockázatok

A diák modell örökli a tanár hibáit, tévedéseit és elfogultságait is, sőt néha fel is erősíti őket.
A minőségvesztés nem egyenletes: az átlagos teszteken alig látszik, de a szokatlan vagy szakmai kérdéseknél hirtelen előjöhet.
A legtöbb AI-szolgáltató a felhasználási feltételeiben tiltja, hogy a modellje válaszaiból versenytárs modellt taníts, ezért az engedély nélküli desztilláció jogi kockázatot hordoz.
A termék nevéből ritkán derül ki, hogy desztillált modellt használsz-e, ezért fontos feladatnál érdemes kipróbálni a nagyobb változatot is.

Hasonló, de nem ugyanaz

kvantálás – A kvantálás ugyanazt a modellt tömöríti a számok pontosságának csökkentésével, a desztilláció viszont egy új, kisebb modellt tanít be.
finomhangolás – A finomhangolás egy meglévő modellt tanít tovább új adatokon egy adott feladatra, a desztilláció pedig egy másik modell viselkedését másoltatja le egy kisebbel.
metszés (pruning) – A metszés a meglévő modellből vágja ki a kevésbé fontos kapcsolatokat, a desztillációnál a kis modell külön tanul a nagytól.

Kapcsolódó fogalmak

Tágabb

modelltömörítés, gépi tanulás, modelltanítás

Szűkebb

tanár–diák tanítás, öndesztilláció

Rokon

kvantálás, finomhangolás, kis nyelvi modell, szintetikus adat, nagy nyelvi modell

Röviden a története

A modelltömörítés alapötletét Cristian Bucilă, Rich Caruana és Alexandru Niculescu-Mizil írta le 2006-ban. A „desztilláció” elnevezést és a ma ismert módszert Geoffrey Hinton, Oriol Vinyals és Jeff Dean 2015-ös tanulmánya tette ismertté.

Hol tart most

2026 végére a desztilláció bevett ipari gyakorlat: a nagy AI-cégek kisebb, olcsóbb modellváltozatai és a készülékeken futó modellek jelentős része így készül. Közben folyik a jogi és üzleti vita arról, hogy mások modelljeit szabad-e engedély nélkül desztillálni.

Állapot: 2026. november

Más nevei

desztilláció · tudásdesztilláció · modelldesztilláció · tudáslepárlás · distillation · knowledge distillation · model distillation · KD

Források

Hinton, Vinyals, Dean: Distilling the Knowledge in a Neural Network (2015, arXiv)

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.