Fogalomtár › Nyelvi modellek

hosszú kontextus

angolul: long context

A hosszú kontextus azt jelenti, hogy a nyelvi modell egyszerre nagyon sok szöveget – akár több könyvnyit – tud figyelembe venni a válaszához.

Érthetően

Minden nyelvi modellnek van egy „munkaasztala”: erre fér rá mindaz, amit egy beszélgetésben egyszerre lát. Ide tartozik a kérdésed, a csatolt dokumentumok, a korábbi üzenetváltások és a készülő válasz is. Ezt hívják kontextusablaknak. Hosszú kontextusról akkor beszélünk, amikor ez az asztal nagyon nagy: nem néhány oldal fér rá, hanem több száz, a legnagyobbaknál akár ezernél is több.

Olyan ez, mint a különbség egy kis íróasztal és egy tárgyalóasztal között. A kis asztalon egyszerre csak egy-két lapot tudsz kiteríteni, a többit vissza kell tenned a fiókba. A nagy asztalon az egész akta egyszerre van előtted, így könnyebben észreveszed, ha a 3. és a 240. oldal ellentmond egymásnak.

Ezért hasznos a hosszú kontextus, ha egész szerződést, hosszú jelentést, egy könyvet vagy egy teljes programkódot akarsz egyben átnézetni. Az agentek számára is fontos, mert egy hosszú, sok lépésből álló feladat közben rengeteg részeredmény gyűlik össze, amelyet fejben kell tartaniuk.

A nagy asztal viszont nem jelent tökéletes figyelmet. Minél több minden van rajta, annál könnyebben siklik el a modell egy-egy részlet fölött, és annál drágább, lassabb a munka.

Hogyan működik

1. A modell a szöveget apró darabokra, úgynevezett tokenekre bontja; egy token nagyjából egy szótagnyi vagy rövid szónyi egység. A kontextus méretét tokenben mérik.
2. Minden, amit a modell lát, ugyanabba a keretbe számít bele: a rendszer utasításai, a feltöltött fájlok, a beszélgetés előzményei és maga a válasz is.
3. Válaszadáskor a modell a keretben lévő tokeneket egymáshoz viszonyítja, így tud összekapcsolni egymástól távoli részeket. Ez a figyelmi mechanizmus. A szöveg hosszával a szükséges számítás gyorsabban nő, mint maga a szöveg.
4. Maga a modell nem tud túllépni a keretén. Ha a beszélgetés kinövi, a csevegőalkalmazás vagy az agent elhagyja a legrégebbi részeket, vagy összefoglalja, tömöríti őket. Ilyenkor a modell tényleg „elfelejti” a beszélgetés elejét, vagy csak egy összefoglalót lát belőle.
5. A fejlesztők ezért gyakran válogatnak: nem töltenek be mindent, hanem csak a feladathoz szükséges részeket adják oda a modellnek, mert ez olcsóbb és sokszor pontosabb is.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• Minél több szöveget adsz be, annál lassabb a válasz. Fizetős, használatarányos (API-s) elérésnél drágább is, mert ott a feldolgozott tokenek után számláznak, és nagyon hosszú bemenetnél egyes szolgáltatók magasabb díjat kérnek. Előfizetéses csevegőknél a hosszú anyag gyorsabban felhasználja a keretet.
• Nagyon hosszú anyagnál romolhat a pontosság: a modell összekeverhet részeket, vagy átsiklhat egy fontos mondat fölött, ezért a lényeges állításokat nézd meg az eredeti szövegben is.
• A hosszú kontextus nem tartós memória. Új beszélgetésben az előző beszélgetés kontextusa nem áll a modell rendelkezésére. Ha a szolgáltatás mégis „emlékszik” valamire, azt egy külön memória- vagy projektfunkció végzi, nem a kontextusablak.
• Amit feltöltesz, az a szolgáltató rendszerébe kerül, ezért személyes vagy bizalmas iratoknál előbb nézd meg az adatkezelési feltételeket.

Hasonló, de nem ugyanaz

• kontextusablak – A kontextusablak maga a keret, amely minden modellnél létezik; a hosszú kontextus azt jelenti, hogy ez a keret kiemelkedően nagy.
• memória (AI-asszisztensnél) – A memória beszélgetések között is megőriz információt, a kontextus viszont csak az adott beszélgetésen belül él.
• visszakereséssel bővített generálás (RAG) – A RAG előbb kikeresi a releváns részleteket, és csak azokat adja a modellnek, míg hosszú kontextusnál az egész anyag egyszerre kerül a modell elé.

Kapcsolódó fogalmak

Röviden a története

A mai nyelvi modellek alapját adó transzformer architektúrát 2017-ben írták le. A korai modellek csak néhány oldalnyi szöveget láttak egyszerre, a GPT-3 például nagyjából kétezer tokent. 2023-ban jelentek meg a százezer tokenes, 2024-ben pedig az egymillió tokenes kontextusú, széles körben elérhető modellek.

Hol tart most

2026 végén a vezető modelleknél a több százezer tokenes kontextus alapfelszereltség, és több szolgáltató kínál egymillió tokenes vagy nagyobb keretet is. A figyelem a puszta méretről arra tolódott, hogy mennyire megbízhatóan használja a modell a hosszú anyagot, és mit érdemes egyáltalán betölteni.

Állapot: 2026. november

A hírekben

• Nem ismert, ki építette az ingyenes Ox Alpha kódolómodellt, és hová kerül a kód2026. aug. 22. · Kód

Más nevei

hosszú kontextus · long context · hosszú kontextusablak · nagy kontextusablak · long context window · long-context model · egymillió tokenes kontextus · 1M context

Források

• Vaswani et al.: Attention Is All You Need (2017)
• Liu et al.: Lost in the Middle: How Language Models Use Long Contexts (2023)
• Wikipedia: Large language model

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.