Fogalomtár › Nyelvi modellek

top-p

A top-p beállítás megszabja, hogy a nyelvi modell a következő szót a legvalószínűbb jelöltek mekkora köréből sorsolhatja ki.

Érthetően

A nyelvi modell szavanként (pontosabban tokenenként) írja a szöveget, és minden lépésben sok lehetséges folytatás közül sorsol egyet. A top-p azt szabályozza, hogy a jelöltek mekkora köre kerülhet be ebbe a sorsolásba.

Képzeld el, hogy egy étteremben a pincér ajánl neked valamit. Ha csak a legnépszerűbb fogásokból választ, mégpedig annyiból, amennyi együtt a rendelések 90 százalékát adja, akkor a ritkán kért, furcsa ételek szóba sem kerülnek. A top-p ugyanígy levágja a valószínűtlen szavak hosszú sorát.

A módszer rugalmas: ha a modell nagyon biztos a folytatásban, a kör egy-két szóra szűkül, ha sok jó folytatás van, akár több százra tágul. Alacsony értéknél a szöveg kiszámíthatóbb, magas értéknél változatosabb, de könnyebben csúszik bele oda nem illő szó.

Hogyan működik

1. A modell minden lehetséges következő tokenhez kiszámol egy valószínűséget, például: „kávé” 40%, „tea” 25%, „víz” 15%, és így tovább.
2. A jelölteket a legvalószínűbbtől a legkevésbé valószínűig sorba rendezi.
3. Felülről lefelé összeadja a valószínűségeket, amíg az összeg el nem éri a megadott p értéket (például 0,9-et, azaz 90%-ot). Azok a jelöltek alkotják a „magot” (nucleus), amelyek eddig a pontig sorra kerültek, beleértve azt is, amelyikkel az összeg elérte a küszöböt.
4. A magon kívüli jelölteket eldobja, a bent maradók valószínűségét pedig arányosan felszorozza, hogy együtt ismét 100%-ot adjanak.
5. Ebből a szűkített körből sorsolja ki a következő tokent, majd az egész elölről kezdődik a következő tokennél.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A top-p a változatosságot szabályozza, a tényszerűséget nem: alacsony értéknél is állíthat a modell magabiztosan valótlant.
• A hőmérséklettel együtt állítva nehezen követhető a hatása, ezért a szolgáltatók többnyire azt javasolják, hogy egyszerre csak az egyiket módosítsd.
• Túl alacsony értéknél a szöveg ismétlődővé és lapossá válhat, túl magasnál oda nem illő szavak csúszhatnak be.
• A legtöbb csevegőfelületen nem tudod állítani, és egyes újabb modelleknél a szolgáltató API-n keresztül is korlátozza vagy rögzíti.

Hasonló, de nem ugyanaz

• hőmérséklet – A hőmérséklet az összes jelölt esélyét módosítja: a különbségeket élesíti vagy kiegyenlíti, de a sorrendjükön nem változtat, és egyetlen jelöltet sem zár ki. A top-p viszont levágja a valószínűtlen jelölteket a lista végéről.
• top-k – A top-k mindig rögzített számú (például 40) jelöltet tart meg, a top-p-nél a jelöltek száma lépésenként változik aszerint, mennyire biztos a modell.

Kapcsolódó fogalmak

Röviden a története

A módszert Ari Holtzman és szerzőtársai írták le a 2019-ben az arXiv-on közzétett, majd 2020-ban az ICLR konferencián bemutatott „The Curious Case of Neural Text Degeneration” című tanulmányban. Azt mutatták meg, hogy a mindig legvalószínűbb szót választó generálás unalmas, önismétlő szöveget ad, a teljesen szabad sorsolás pedig zagyvaságot.

Hol tart most

2026 végén a top-p a legtöbb nyelvi modell API-jában állítható paraméter. A szolgáltatók viszont egyre gyakrabban korlátozzák vagy maguk rögzítik az értékét, különösen a gondolkodó modelleknél, így a felhasználók ritkábban nyúlnak hozzá.

Állapot: 2026. november

Más nevei

top-p · top_p · Top P · top-p mintavételezés · nucleus sampling · top-p sampling · nukleusz-mintavételezés · magmintavételezés

Források

• Holtzman et al.: The Curious Case of Neural Text Degeneration (arXiv, 2019)
• Wikipedia: Top-p sampling

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.