MoE

angolul: mixture of experts

haladóelterjedt

Olyan modellfelépítés, amelyben a nyelvi modell hálózatának nagy része sok kisebb, szakosodott részből áll, és a szöveg minden apró darabjánál (tokennél) csak néhány dolgozik közülük.

Érthetően

Képzelj el egy nagy rendelőintézetet. Nem minden orvos vizsgál meg minden beteget: a recepción eldöntik, kihez érdemes küldeni, és csak az a két-három szakorvos foglalkozik veled, akire tényleg szükség van. A MoE hasonlót csinál a nyelvi modellen belül, csak éppen nem kérdésenként dönt, hanem a szöveg minden apró darabjánál újra.

A hagyományos modell minden egyes szónál a teljes hálózatát megmozgatja. A MoE-modellben viszont a hálózat nagy része „szakértőkre” van felosztva, és egy kis elosztó rész dönti el, melyik néhány dolgozzon éppen. A modell így lehet nagyon nagy tudású, miközben egy-egy válaszhoz csak a töredékét kell kiszámolni.

Ennek a haszna a sebesség és a költség: ugyanakkora számítási munkával nagyobb modell futtatható. A „szakértő” szó viszont megtévesztő. Ezek nem témák szerint elkülönülő kis modellek, hanem a hálózat belső részei, amelyek a tanítás során maguktól szakosodnak, sokszor ember számára nehezen megnevezhető mintákra.

Hogyan működik

A modell a szöveget apró darabokra, tokenekre bontja, és ezeket rétegről rétegre dolgozza fel.
A MoE-rétegekben egyetlen nagy számítási blokk helyett több párhuzamos szakértő áll, például nyolc vagy akár több száz.
Egy kis elosztó hálózat (router vagy kapuzó) minden tokennél pontszámot ad a szakértőknek, és kiválasztja a legjobb néhányat.
Csak a kiválasztott szakértők számolnak, az eredményüket a modell a pontszámok szerint súlyozva összegzi; a többi szakértő ennél a tokennél pihen.
A tanítás során az elosztó és a szakértők együtt tanulnak, és külön trükkök gondoskodnak arról, hogy a munka egyenletesen oszoljon el, ne mindig ugyanaz a néhány szakértő dolgozzon.

Példa a mindennapokból

Letöltesz egy nyílt modellt a saját gépedre, és a leírásában azt olvasod, hogy „MoE, 8 szakértő”, vagy azt, hogy a sok milliárd paraméterből egyszerre csak néhány milliárd aktív. Ez azt jelenti, hogy a modell sok memóriát foglal, a válaszokat mégis gyorsabban adja, mint egy ugyanekkora hagyományos modell.

Kit érint

fejlesztőModellválasztásnál tudnod kell, hogy a MoE-modell gyorsabban válaszol, mint egy ugyanekkora hagyományos modell, de a teljes mérete miatt ugyanúgy sok memóriát kér. → Kód

vállalkozó, vezetőA MoE az egyik oka annak, hogy a nagy modellek használati díja csökkenhet, miközben a képességük nő.

mindenkiA hírekben és a modellek leírásában egyre gyakrabban találkozol ezzel a rövidítéssel, és érdemes tudnod, hogy felépítést jelent, nem minőségi rangot.

Gyakori félreértés

TévhitA MoE-modellben külön matekszakértő, jogászszakértő és programozószakértő ül, és a kérdésed témája dönti el, melyik válaszol.

ValójábanA szakértők a hálózat belső részei, amelyek tokenenként és rétegenként váltakoznak, és a szakosodásuk ritkán felel meg emberi témaköröknek. Egyetlen mondatod feldolgozásában is sokféle szakértő vesz részt.

Korlátok és kockázatok

A számítás kevesebb, a memóriaigény viszont nem: az összes szakértőnek be kell töltve lennie, ezért a MoE-modell nem fér el kisebb gépen csak azért, mert gyors.
A tanítása kényesebb, mert ha az elosztó rosszul terheli a szakértőket, egy részük kihasználatlan marad, és a modell gyengébb lesz.
A teljes és az aktív paraméterszám két külön adat, ezért két modell összehasonlításánál mindig nézd meg, melyiket közli a gyártó.
A MoE önmagában nem tesz megbízhatóbbá egy modellt: ugyanúgy tévedhet és kitalálhat dolgokat, mint bármely más nyelvi modell.

Hasonló, de nem ugyanaz

Többagentes rendszer – Ott több önálló agent beszélget és osztja fel a feladatot egymás között, a MoE viszont egyetlen modell belső felépítése.
Modellegyüttes (ensemble) – Az együttesben több teljes modell mindegyike lefut, és az eredményüket átlagolják, a MoE-ben viszont egy modellen belül csak néhány rész dolgozik.
Modellirányítás (model routing) – Az irányító a teljes kérdésedet küldi egy kisebb vagy nagyobb külön modellhez, a MoE elosztója viszont a modellen belül, tokenenként választ.

Kapcsolódó fogalmak

Tágabb

Neurális hálózat, Nagy nyelvi modell, Modellarchitektúra

Szűkebb

Ritka szakértőkeverék, Kapuzó hálózat

Rokon

Transformer, Paraméter, Token, Következtetés (inference), Kvantálás

Röviden a története

Az ötletet 1991-ben írta le Robert Jacobs, Michael Jordan, Steven Nowlan és Geoffrey Hinton. A mai nyelvi modellekben használt ritka, kapuzott változat alapját 2017-ben írták le a Google kutatói, még a korábbi típusú nyelvi hálózatokon. A szélesebb közönség a Mistral 2023 végén kiadott nyílt Mixtral modelljével ismerte meg.

Hol tart most

2026 végére a MoE bevett megoldás a nagy nyelvi modellekben, különösen a nyílt súlyú modellcsaládoknál, ahol a gyártók a teljes és az aktív paraméterszámot is megadják. A zárt modellek belső felépítését a gyártók gyakran nem közlik, így ott nem mindig tudható, használják-e.

Állapot: 2026. november

A hírekben

2 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

A Meta kiadta a Muse Spark Open nyílt súlyú, 816 milliárd paraméteres modellt és a Muse Wondert2026. okt. 12. · Agent Age
A JetBrains kiadta a Mellum2.1-et, a 12 milliárd paraméteres nyílt MoE kódolómodellt2026. okt. 8. · Kód

Más nevei

MoE · mixture of experts · mixture-of-experts · szakértők keveréke · szakértőkeverék · szakértői keverék modell · sparse MoE · MoE-modell

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.