Fogalomtár › Nyelvi modellek

előtanítás

angolul: pre-training

Az előtanítás az a hosszú, költséges első tanulási szakasz, amelyben az AI-modell óriási mennyiségű adatból, nyelvi modelleknél főként szövegből, általános nyelvi és világismeretet szerez.

Érthetően

Az előtanítás olyan a nyelvi modellnek, mint az embernek az általános iskola és a gimnázium: nem egy konkrét szakmára készít fel, hanem széles alapműveltséget ad. A modell ilyenkor rengeteg szöveget „olvas el” (könyveket, cikkeket, weboldalakat, programkódot), és közben megtanulja, hogyan épül fel a nyelv, és mi mivel függ össze a világban.

Erre az alapra épül minden más. Ahogy az érettségi után valakiből orvos, jogász vagy szakács lehet, úgy az előtanított modellből is lehet ügyfélszolgálati csevegő, fordító vagy kódoló agent. Ehhez már csak sokkal kisebb, célzott tanításra vagy jó utasításokra van szükség.

Azért más ez, mint a korábbi megközelítés, mert régen minden feladatra külön modellt tanítottak a nulláról, külön összegyűjtött és ember által felcímkézett adatokon. Az előtanításnál nincs szükség címkéző emberekre: a szöveg maga adja a feladatot és a megoldást is.

A ChatGPT nevében a „P” betű éppen ezt jelenti: a GPT a Generative Pre-trained Transformer, vagyis a generatív, előtanított transzformer rövidítése.

Hogyan működik

1. Adatgyűjtés: a fejlesztők hatalmas szöveggyűjteményt állítanak össze, majd megtisztítják, és apró egységekre, tokenekre (szavakra, szótöredékekre) bontják.
2. Kitalálós feladat: a modell a szöveg egy részét látja, és meg kell tippelnie, mi következik. Például „A macska felmászott a …” után a „fára” szót várjuk tőle. Más modelleknél a mondatból kitakart szót kell kitalálni.
3. Javítás: a tippet összevetik a valódi folytatással, és ha a modell tévedett, a belső beállításait egy hajszálnyit a jó válasz felé igazítják. Ezek a beállítások a paraméterek: belőlük milliárdok, a legnagyobb modellekben akár ezermilliárdok vannak.
4. Ismétlés óriási léptékben: a modell így több ezer milliárd tokennyi szövegen halad végig, hetekig vagy hónapokig, több ezer speciális chipen. Közben nemcsak nyelvtant tanul, hanem tényeket, stílusokat és összefüggéseket is.
5. Ráépítés: az elkészült alapmodellt ezután finomhangolják, beszélgetésre és biztonságos viselkedésre tanítják, és csak így lesz belőle az a termék, amelyet te is használsz.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A modell tudása a tanítóadatok lezárásának időpontjában megáll, az azóta történtekről önmagától nem tud.
• A tanítószövegek tévedéseit, előítéleteit és egyoldalúságait a modell is átveszi, ezért a magabiztos válasz sem biztosan helyes.
• Az előtanítás rendkívül drága és energiaigényes, ezért a legnagyobb modelleket csak néhány tőkeerős cég tudja elkészíteni.
• A kisebb nyelveken, így magyarul is kevesebb a tanítószöveg, ezért a modell ezeken a nyelveken jellemzően gyengébb, mint angolul.

Hasonló, de nem ugyanaz

• finomhangolás – A finomhangolás a már előtanított modell rövid, célzott továbbtanítása egy szűkebb feladatra, míg az előtanítás az általános alapot adja.
• következtetés (inferencia) – A következtetés az a pillanat, amikor a kész modell válaszol a kérdésedre, és ilyenkor már nem tanul, csak alkalmazza a megszerzett tudást.
• visszakereséssel bővített generálás (RAG) – A RAG nem tanítja újra a modellt, hanem a válasz előtt friss dokumentumokat keres és ad a kezébe.

Kapcsolódó fogalmak

Röviden a története

Az előtanítás ötlete régebbi: a 2000-es évek második felében mély neurális hálókat már előtanítottak, a 2010-es években pedig a képfelismerésben bevett gyakorlat lett az ImageNet-adatbázison előtanított modellek továbbhasznosítása. A nyelvi modellekben 2018-ban vált meghatározó módszerré, amikor megjelent az OpenAI első GPT-modellje és a Google BERT-modellje. Mindkettő a 2017-ben bemutatott transzformer architektúrára épült. Megmutatták, hogy egy általánosan előtanított modell kevés további tanítással sokféle feladatban felülmúlja a célzottan épített rendszereket.

Hol tart most

2026 végén gyakorlatilag minden ismert nyelvi, kép- és hangmodell előtanítással készül, ez az iparág alapértelmezett módszere. A verseny a tanítás léptékéről, költségéről, energiaigényéről és a tanítóadatok jogi megítéléséről szól. Közben egyre nagyobb szerepet kap az előtanítás utáni szakasz, például a megerősítéses tanulás, valamint az, hogy a modell a válaszadás közben hosszabban „gondolkodhat”.

Állapot: 2026. november

Más nevei

előtanítás · előzetes tanítás · előtanított modell · pre-training · pretraining · pre-trained model · pretrained

Források

• Devlin et al.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (arXiv, 2018)
• Wikipedia: Generative pre-trained transformer

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.