kontextusablak
angolul: context window
A kontextusablak az a szövegmennyiség, amelyet egy MI-modell egyszerre lát és figyelembe tud venni, amikor válaszol neked.
Érthetően
Képzeld el, hogy egy íróasztalnál dolgozol, amelyre csak adott számú papírlap fér ki. Amit az asztalra teszel, azt látod és használni tudod; ami nem fér ki, az a fiókban marad, és munka közben nem tudsz belenézni. A kontextusablak a nyelvi modell íróasztala.
Ebbe az ablakba kerül minden, amivel a modell éppen dolgozik: a kérdésed, a beszélgetés korábbi része, a feltöltött dokumentumok, a háttérben kapott utasítások és a készülő válasz is. A modell nem úgy emlékszik, mint az ember, hanem minden válasznál újraolvassa, ami az ablakban van.
A méretét nem szavakban vagy oldalakban, hanem tokenekben mérik. A token szótöredék: egy magyar szó jellemzően több tokenből áll, ezért ugyanaz a szöveg magyarul több helyet foglal, mint angolul.
Ez nem azonos a modell tudásával. A tudást a modell a betanítás során szerezte, és utána már nem változik. A kontextusablak a pillanatnyi munkaterület: minden új beszélgetésnél újraindul, és csak a háttérutasítások, illetve az esetleges memóriából betöltött adatok vannak benne eleve.
Hogyan működik
- A rendszer a beírt szöveget tokenekre bontja, és ezeket sorban elhelyezi az ablakban a korábbi üzenetekkel és a csatolt anyagokkal együtt.
- A modell a válasz minden egyes új darabjánál (tokenjénél) az ablak teljes tartalmát figyelembe veszi, és ebből számolja ki, mi következzen.
- A saját válasza is bekerül az ablakba, így a beszélgetés minden fordulóval több helyet foglal.
- Ha az ablak megtelik, valaminek ki kell kerülnie: az alkalmazás levágja vagy tömörítve összefoglalja a legrégebbi részeket, vagy jelzi, hogy új beszélgetést kell kezdened.
- A hosszan dolgozó agentek ezért külön gazdálkodnak a hellyel: jegyzeteket írnak fájlba, összefoglalják az addigi munkát, és csak azt töltik be, ami az adott lépéshez kell.
Példa a mindennapokból
Hosszú estén át tervezed a nyaralást egy chatbottal, és a beszélgetés elején megírtad, hogy a párod nem eszik halat. Két órával később a modell halvacsorát ajánl. Nem figyelmetlen volt: a korai üzeneted kicsúszott az ablakból, vagy elveszett egy tömörített összefoglalóban.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Ami kicsúszott az ablakból, arról a modell nem tud, és erre többnyire nem is figyelmeztet, hanem magabiztosan válaszol tovább.
- Minél több a betöltött szöveg, annál lassabb és drágább a válasz, és annál könnyebben keveredik össze a lényeg a mellékessel.
- Az ablak tartalma a beszélgetés végén elvész: a következő alkalommal a modell csak akkor tud róla, ha az alkalmazásnak külön memóriafunkciója van.
- A reklámozott maximális méret nem mindig áll rendelkezésedre: előfizetéstől és alkalmazástól függően kisebb lehet a ténylegesen használható keret.
Hasonló, de nem ugyanaz
- tanítóadat – A tanítóadatból a modell állandó tudása épült fel a betanításkor, a kontextusablak viszont csak az aktuális beszélgetés ideiglenes munkaterülete.
- memória (MI-asszisztensben) – A memóriafunkció beszélgetések között is megőriz rólad adatokat egy külön tárban, és ezekből csak annyit tölt be az ablakba, amennyi éppen kell.
- prompt – A prompt az, amit te írsz be, a kontextusablak pedig a teljes keret, amelyben a prompt mellett az előzmények, a csatolmányok és a válasz is helyet foglal.
Kapcsolódó fogalmak
nagy nyelvi modell, generatív mesterséges intelligencia, transzformer
rendszerprompt, kontextustömörítés, kimeneti tokenkorlát
token, prompt, kontextusmérnökség, visszakereséssel bővített generálás, hallucináció
Röviden a története
A fogalom a 2017-ben bemutatott transzformer architektúrára épülő nyelvi modellekkel vált meghatározóvá. Ezek egyszerre egy legfeljebb adott hosszúságú szövegrészt dolgoznak fel. A 2020-as GPT-3 ablaka még csak nagyjából kétezer token volt. 2024-ben a Google Gemini 1.5 Pro modelljével megjelentek az első, szélesebb körben elérhető egymillió tokenes modellek.
Hol tart most
2026 végén a vezető modellek ablaka jellemzően több százezer és egymillió token között mozog, egyes modelleknél ennél is nagyobb. Ez több könyvnyi szöveget jelent. A figyelem a puszta méretről arra tevődött át, hogyan lehet az ablakot okosan megtölteni, különösen a hosszan önállóan dolgozó agentek esetében.
Más nevei
kontextusablak · kontextus ablak · kontextus-ablak · context window · kontextushossz · context length · kontextusméret
Források
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.