katasztrofális felejtés

angolul: catastrophic forgetting

haladóelterjedt

Az a jelenség, amikor egy AI-modell új dolgot tanul, és közben hirtelen, nagy mértékben elveszíti a korábban megszerzett tudását.

Érthetően

Képzeld el, hogy megtanulsz spanyolul, és mire végzel, szinte teljesen elfelejtettél angolul. Az ember is felejt, de lassan és fokozatosan, nem egyik napról a másikra. A neurális hálóknál viszont ez valós veszély: ha egy kész modellt csak új anyagon tanítasz tovább, a régi képességei látványosan leromolhatnak.

Az ok az, hogy a modell tudása nem külön fiókokban van, hanem ugyanazokban a számokban (súlyokban) keveredik. Olyan ez, mint egy tábla, amelyre mindig ugyanarra a helyre írsz: az új szöveg felülírja a régit.

Részben ezért nem lehet a modelleket egyszerűen „napi frissítéssel” tanítgatni, mint egy kollégát. A fejlesztők külön módszerekkel védik a régi tudást, vagy a modellen kívül, például adatbázisban és jegyzetekben tárolják az új információt.

Hogyan működik

A modell az első feladat tanulása során beállítja a belső súlyait úgy, hogy azt a feladatot jól oldja meg.
Amikor új feladatot vagy új adatot kap, a tanítás ugyanazokat a súlyokat állítja át, hiszen csak az új feladat hibáját próbálja csökkenteni.
Mivel a régi példákat már nem látja, semmi sem jelzi neki, hogy közben elrontja azt, amit korábban tudott.
A régi feladaton a teljesítmény nem lassan kopik, hanem gyorsan és nagyot zuhan – ezért hívják katasztrofálisnak.
Védekezni többféleképp lehet: a régi példákat újra belekeverik a tanításba, a fontos súlyokat „lefékezik”, vagy az alapmodellt érintetlenül hagyják, és csak egy kis, levehető kiegészítő modult (adaptert, például LoRA-t) tanítanak rá. Az adapter sem csodaszer: bekapcsolva a modell régi feladatokon gyengébb lehet, de az eredeti modell sértetlen marad, és bármikor vissza lehet térni hozzá.

Példa a mindennapokból

Egy cég a saját jogi irataival tanítja tovább a csevegőmodelljét, hogy jobban értse a szerződéseket. Az eredmény: a szerződéseket tényleg jobban kezeli, de egy hétköznapi levél megírásában vagy általános kérdésekben érezhetően gyengébb lett, mint korábban: merevebben, jogi nyelven fogalmaz, és többet hibázik.

Kit érint

fejlesztőHa finomhangolsz egy modellt, a régi képességeit is újra kell mérned, különben észrevétlenül romlik el valami. → Kód

vállalkozó, vezetőA saját adatokon tanított modell olcsónak tűnő ötlet, de a rosszul végzett továbbtanítás ronthatja az általános használhatóságot.

munkavállalóRészben ez magyarázza, miért nem tanítják tovább a modellt minden beszélgetésből. Amit a munkahelyi AI-asszisztens megjegyez rólad, azt külső memóriában (jegyzetekben) tárolja, nem magában a modellben. → Munka és HR

szülő, diák, tanárJó példa arra, hogy a gépi tanulás nem úgy működik, mint az emberi, és a modell nem gyarapszik magától minden beszélgetéssel. → Oktatás és család

Gyakori félreértés

TévhitA csevegő AI azért felejti el a beszélgetés elejét, mert katasztrofális felejtés lép fel nála.

ValójábanAz a kontextusablak korlátja: a modell egyszerre csak adott mennyiségű szöveget lát. A katasztrofális felejtés a tanítás közben történik, amikor a modell súlyai változnak meg, nem beszélgetés közben.

Korlátok és kockázatok

A jelenséget csökkenteni lehet, de teljesen megszüntetni ma sem tudják; minden védekezés kompromisszum a régi tudás megőrzése és az új megtanulása között.
A romlás sokszor rejtve marad, mert a fejlesztők csak az új feladaton mérnek, a régieken nem.
A régi adatok újrajátszása hatásos, de drága, és adatvédelmi vagy szerzői jogi okból nem mindig őrizhetők meg az eredeti tanítóadatok.
Nem minden romlás katasztrofális felejtés: ha egy szolgáltató új modellváltozata egyes feladatokban gyengébb a réginél, annak más oka is lehet, például az, hogy teljesen újratanított, más modellről van szó.

Hasonló, de nem ugyanaz

kontextusablak – Az azt korlátozza, mennyi szöveget lát a modell egyszerre egy beszélgetésben; a katasztrofális felejtés a betanított tudás tartós elvesztése.
túltanulás – Túltanulásnál a modell bemagolja a tanítóadatot és rosszul általánosít; itt egy korábban jól működő képesség vész el új tanítás miatt.
modellsodródás – Sodródásnál a világ változik meg a modell körül, miközben a modell ugyanaz marad; itt maga a modell változik meg, és ettől romlik.

Kapcsolódó fogalmak

Tágabb

gépi tanulás, neurális háló, modelltanítás

Szűkebb

–

Rokon

finomhangolás, folyamatos tanulás, transzfertanulás, LoRA, túltanulás, újrajátszás, rugalmas súlykonszolidáció

Röviden a története

A jelenséget Michael McCloskey és Neal J. Cohen írta le 1989-ben, akkor még „katasztrofális interferencia” néven. 2017-ben a DeepMind kutatói a rugalmas súlykonszolidáció (EWC) módszerével mutatták meg, hogy a felejtés jelentősen mérsékelhető, és ez új lendületet adott a kutatásnak.

Hol tart most

2026 végén jól ismert, minden modelltanításnál számon tartott probléma, amelyet a gyakorlatban főleg kiegészítő modulok (adapterek) tanításával és külső memóriával kerülnek meg. Olyan széles körben használt modell, amely az emberhez hasonlóan, folyamatosan tanulna, még nincs; ez továbbra is nyitott kutatási kérdés.

Állapot: 2026. november

Más nevei

katasztrofális felejtés · katasztrofális interferencia · végzetes felejtés · catastrophic forgetting · catastrophic interference

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.