GGUF

haladóelterjedt

A GGUF olyan fájlformátum, amely egy nyelvi modellt egyetlen fájlba csomagol, hogy a saját gépeden, internet nélkül is futtatni tudd.

Érthetően

A GGUF egy fájlformátum, ahogy az MP3 a zenéé vagy a PDF a dokumentumoké. Ebben nem dal vagy szöveg van, hanem egy mesterségesintelligencia-modell: minden, ami ahhoz kell, hogy a program betöltse és beszélgetni tudj vele.

Olyan, mint egy gondosan becsomagolt költöztetődoboz. Benne van maga a modell (a több milliárd szám, amelyben a „tudása” lakik), és a doboz oldalára rá van írva, mi van benne, hogyan kell kicsomagolni és használni. Ezért többnyire elég egyetlen fájlt letöltened, nem kell hozzá külön beállítófájlokat vadásznod.

A GGUF-fájlok többsége tömörített, szaknyelven kvantált modellt tartalmaz. Ettől a modell a töredékére zsugorodik, így a kisebb és közepes modellek egy átlagos laptopon is elférnek, cserébe kicsit pontatlanabbak lesznek. A legnagyobb modellekhez tömörítve is erős gép kell. Így vált a formátum az otthoni, helyben futtatott AI egyik alapkövévé.

Hogyan működik

Valaki fog egy nyílt modellt, és egy átalakító programmal GGUF formátumba menti, többnyire többféle tömörítési fokozatban.
A fájl elején fejléc áll, amely leírja a modell felépítését, a szövegdarabolás (tokenizálás) szabályait és a beszélgetés sablonját. Ezután következnek a modell számai, a súlyok.
Letöltöd a gépedhez illő változatot: a kisebb fájl kevesebb memóriát kér, de gyengébb minőséget ad, a nagyobb fordítva.
A futtatóprogram (például a llama.cpp, az Ollama vagy az LM Studio) kiolvassa a fejlécet, és magától beállít mindent.
A fájl úgy van felépítve, hogy a program a háttértárról közvetlenül a memóriába tudja „térképezni”, ezért a modell gyorsan betölt. A futtatóprogramtól és a géptől függ, hogy a modell processzoron, videokártyán vagy a kettőn megosztva fut.

Példa a mindennapokból

Kipróbálnál egy ingyenes nyelvi modellt a saját laptopodon, ezért megnyitod az LM Studiót, és rákeresel egy modellre. A találatok között ilyen neveket látsz: „Q4_K_M.gguf, 4,9 GB”. Ez egy GGUF-fájl, amelyet letöltés után a program egy kattintással elindít, és a beszélgetésed nem hagyja el a gépedet.

Kit érint

fejlesztőHa helyben futó modellt vagy saját gépen dolgozó kódoló agentet építesz, nagy eséllyel GGUF-fájlokkal fogsz dolgozni. → Kód

vállalkozó, vezetőA GGUF-modellek lehetővé teszik, hogy érzékeny céges adatokat úgy dolgoztass fel AI-val, hogy azok nem kerülnek ki külső szolgáltatóhoz.

szülő, diák, tanárA modell letöltése után előfizetés és internet nélkül is kísérletezhetsz vele; a kisebb modellek egy átlagos otthoni vagy iskolai gépen is elfutnak. → Oktatás és család

mindenkiHa valaha „saját gépen futó AI-t” telepítesz, a háttérben nagy eséllyel egy GGUF-fájl dolgozik.

Gyakori félreértés

TévhitA GGUF egy konkrét AI-modell, vagy egy okosabb fajta mesterséges intelligencia.

ValójábanA GGUF csak a csomagolás: ugyanaz a modell létezhet GGUF-ban és más formátumban is. A minőséget a becsomagolt modell és a tömörítés mértéke dönti el, nem a formátum.

Korlátok és kockázatok

Az erősen tömörített változatok érezhetően gyengébb válaszokat adhatnak, mint az eredeti modell, ezért a legkisebb fájl nem mindig jó választás.
Csak megbízható forrásból tölts le GGUF-fájlt: a futtatóprogramok fájlbeolvasó részében találtak már biztonsági hibákat, és a fájlba ágyazott beszélgetési sablon is tartalmazhat ártó szándékú utasításokat.
A formátum futtatásra készült, nem tanításra: modellt továbbtanítani jellemzően más formátumban szoktak.
A fájl nem változtat a modell licencén: attól, hogy letölthető, még nem biztos, hogy üzleti célra is szabadon használhatod.

Hasonló, de nem ugyanaz

Kvantálás – A kvantálás maga a tömörítési eljárás, a GGUF pedig a fájlformátum, amelyben a (gyakran kvantált) modellt tárolják.
Safetensors – A safetensors csak a modell súlyait tárolja, a beállítások külön fájlokban vannak mellette, míg a GGUF mindent egyetlen fájlba tesz, helyi futtatásra szabva.
Ollama – Az Ollama egy futtatóprogram, amely modelleket tölt le és indít el, a GGUF pedig az a fájlformátum, amelyet az ilyen programok beolvasnak.

Kapcsolódó fogalmak

Tágabb

Modellformátum, Helyi AI

Szűkebb

–

Rokon

Kvantálás, Kvantált modell, llama.cpp, Ollama, Safetensors, Modellsúlyok, Nyílt forráskódú modell

Röviden a története

A GGUF-ot 2023 augusztusában vezette be a Georgi Gerganov által indított llama.cpp projekt közössége, a korábbi GGML formátum utódjaként. Az új formátum célja az volt, hogy bővíthető legyen, és a modell minden szükséges adata egy fájlban utazzon.

Hol tart most

2026 végén a GGUF a helyben futtatott nyelvi modellek legelterjedtebb terjesztési formátuma. A népszerű asztali futtatóprogramok támogatják, és a Hugging Face-en a népszerű nyílt nyelvi modellek nagy részéhez elérhető GGUF-változat. Nem egyeduralkodó: Apple-gépeken például az MLX, más környezetekben az ONNX formátum is használatos.

Állapot: 2026. november

Más nevei

GGUF · .gguf · GGUF formátum · GGUF-fájl · GGUF-modell · GGUF format · GPT-Generated Unified Format · GGUF file

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.