prompt caching

haladóelterjedt

A prompt caching azt jelenti, hogy az AI-szolgáltató megjegyzi a kérések ismétlődő elejét, így azt nem kell minden alkalommal újra feldolgoznia – olcsóbban és gyorsabban válaszol.

Érthetően

Amikor egy nyelvi modellnek üzensz, a háttérben gyakran sokkal több szöveg megy el, mint amit begépeltél: hosszú utasítások, csatolt dokumentumok, a beszélgetés teljes előzménye. A modell ezt minden egyes kérdésnél elölről végigolvassa, és a szolgáltató minden alkalommal ki is számlázza.

A prompt caching ezt a pazarlást szünteti meg. Olyan, mint amikor valaki egy 200 oldalas iratot egyszer alaposan elolvas, és amíg frissen emlékszik rá, a kérdésekre fejből felel, nem lapozza végig újra az egészet minden kérdés előtt. Ha viszont sokáig senki nem kérdez, az emlék elhalványul, és újra el kell olvasnia.

A válasz ettől nem lesz más vagy rosszabb, csak a változatlan rész feldolgozását spórolja meg a rendszer. Ez főleg ott számít, ahol ugyanaz a hosszú szöveg sokszor ismétlődik: ügyfélszolgálati chatbotoknál, dokumentumelemzésnél és a sok lépésben dolgozó AI-agenteknél.

Hogyan működik

A kérés elejére kerül minden, ami állandó (utasítások, háttéranyagok, eszközleírások), a végére pedig az, ami változik, például a friss kérdésed.
Az első kérésnél a modell a teljes szöveget feldolgozza, és a szolgáltató elmenti az állandó rész feldolgozott, belső állapotát.
A következő kérésnél a rendszer megnézi, hogy a szöveg eleje betűre egyezik-e egy elmentett változattal.
Ha egyezik, a modell az elmentett állapotból folytatja, és csak az új részt dolgozza fel; a gyorsítótárból olvasott szövegrész ára a rendes díj töredéke.
Az elmentett állapot csak korlátozott ideig él: alapesetben néhány percig vagy egy óráig, egyes szolgáltatóknál beállítástól függően akár egy napig vagy tovább. Ha lejár, törlődik, és a folyamat elölről indul.

Példa a mindennapokból

Feltöltesz egy 80 oldalas szerződést egy AI-asszisztensnek, és egymás után tíz kérdést teszel fel róla. Az első válaszra még várnod kell egy kicsit, a többi viszont érezhetően gyorsabban jön, mert a rendszer a szerződést már nem olvassa végig újra.

Kit érint

fejlesztőA kérések felépítésén múlik, hogy működik-e a gyorsítótár, ami egy AI-alkalmazás költségét és sebességét is nagyban befolyásolja. → Kód

vállalkozó, vezetőEgy sokat használt chatbot vagy agent havi számlája jelentősen csökkenhet, ha a rendszer jól használja a gyorsítótárat; a válaszok megírásának költsége viszont nem változik.

mindenkiRészben ennek köszönhető, hogy hosszú beszélgetésekben és nagy dokumentumoknál is gyorsan válaszolnak az AI-asszisztensek.

Gyakori félreértés

TévhitA prompt caching azt jelenti, hogy az AI a korábban már megadott kész válaszokat húzza elő újra.

ValójábanNem a választ menti el, hanem a bemenet ismétlődő részének feldolgozását. A modell minden kérdésre újonnan fogalmaz választ, csak nem kell elölről végigolvasnia azt, amit már ismer.

Korlátok és kockázatok

Csak pontos egyezésnél működik: ha az ismétlődő részben akár egy karakter megváltozik (például egy beillesztett dátum), a változás helyétől kezdve a megtakarítás elvész.
A tárolt állapot hamar lejár, ezért ritkán érkező kéréseknél alig hoz hasznot.
Csak a bemenet költségét és feldolgozási idejét csökkenti; a válasz megírása ugyanannyiba kerül és ugyanannyi ideig tart.
Egyes szolgáltatóknál a gyorsítótárba írás felárral jár, így ha a szöveget nem használod fel újra, még drágább is lehet.
Rövid szövegeknél nem működik: a szolgáltatók csak egy bizonyos hossz fölött gyorsítótáraznak; ez a küszöb modelltől függően nagyjából ezer és négyezer token közé esik, ami néhány oldalnyi szöveg.

Hasonló, de nem ugyanaz

AI-memória – A memória azt jelenti, hogy az asszisztens hosszú távon emlékszik rád és a korábbi beszélgetéseidre, a prompt caching viszont csak rövid életű, technikai gyorsítás, amely semmit nem „tanul” rólad.
válasz-gyorsítótár (szemantikus cache) – Ott a hasonló kérdésekre adott kész válaszokat tárolják és adják vissza újra, itt a modell mindig friss választ ír.
RAG (visszakereséssel bővített generálás) – A RAG azt dönti el, milyen információ kerüljön a modell elé, a prompt caching pedig azt teszi olcsóbbá, hogy ugyanazt az információt többször elé teszed.

Kapcsolódó fogalmak

Tágabb

nagy nyelvi modell, prompt, gyorsítótár

Szűkebb

–

Rokon

token, kontextusablak, rendszerprompt, AI-agent, API

Röviden a története

Maga a technika (a modell belső számításainak újrahasznosítása) régóta ismert, a nagy AI-szolgáltatók kínálatában azonban csak 2024-ben jelent meg. Abban az évben a Google „context caching” néven, az Anthropic és az OpenAI „prompt caching” néven vezette be.

Hol tart most

2026 végére a nagy AI-szolgáltatók alapfunkciója, több helyen automatikusan, külön beállítás nélkül működik. A hosszan, sok lépésben dolgozó agentek gazdaságos üzemeltetésének egyik alapfeltétele lett.

Állapot: 2026. november

Más nevei

prompt caching · prompt-gyorsítótárazás · prompt gyorsítótárazás · prompt cache · context caching · kontextus-gyorsítótárazás · cached input · prompt-cache

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.