föderált tanulás (FL)
angolul: federated learning
Olyan tanítási módszer, amelyben az MI-modell sok eszközön vagy intézménynél tanul helyben, és csak a tanulságok kerülnek közös helyre, a nyers adatok nem.
Érthetően
A hagyományos gépi tanulásnál az adatokat egy helyre gyűjtik, és ott tanítják rajtuk a modellt. A föderált tanulás megfordítja ezt: nem az adat megy a modellhez, hanem a modell megy az adathoz. A telefonod, a kórház vagy a bank helyben tanítja a modell egy példányát, és csak azt küldi vissza, hogy mit változtatott rajta.
Képzeld el, hogy száz szakács közösen akar tökéletesíteni egy receptet, de egyikük sem árulja el, kiknek főz és mit esznek a vendégei. Mindenki otthon kipróbálja a receptet, majd csak annyit küld be: „kevesebb só, öt perccel tovább sütni”. A javaslatokat valaki átlagolja, és mindenki megkapja a javított receptet. A vendégkönyv végig a konyhában marad.
Ez ott hasznos, ahol az adat érzékeny, vagy jogilag nem lehet összeönteni: egészségügyi leletek, banki tranzakciók, a telefonodon begépelt üzenetek. Így olyan szereplők is tudnak közös modellt építeni, akik egymásnak soha nem adnák át az adataikat.
Hogyan működik
- Egy központi szerver kiküldi a modell aktuális változatát a résztvevőknek, vagyis telefonoknak, kórházaknak, cégeknek.
- Minden résztvevő a saját, helyben tárolt adatain tanítja tovább a modellt egy rövid ideig.
- A résztvevők nem az adatot küldik vissza, hanem a modell módosításait, vagyis azt, hogy a belső számértékek (súlyok) merre és mennyit mozdultak.
- A szerver összesíti, jellemzően átlagolja a beérkezett módosításokat, és ebből készül a modell új, közös változata.
- A kör sokszor megismétlődik, amíg a modell elég jó nem lesz; a módosításokat gyakran titkosítással vagy szándékos zaj hozzáadásával is védik.
Példa a mindennapokból
A telefonod billentyűzete egyre jobban eltalálja, mit akarsz írni következőnek. Több gyártónál, például a Google Gboard billentyűzeténél ez úgy készül, hogy a készülék helyben tanul a gépelésedből, amikor éppen nem használod, töltőn van és wifire csatlakozik (jellemzően éjszaka). Csak a modell javításait küldi el, az üzeneteidet nem.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A résztvevők adatai nagyon eltérhetnek egymástól, ami miatt a közös modell lassabban tanul, és pontatlanabb lehet, mint egy központilag tanított.
- Egy rosszindulatú résztvevő szándékosan torz módosításokat küldhet, és ezzel elronthatja vagy manipulálhatja a közös modellt.
- Sok kommunikációt és helyi számítási kapacitást igényel, ami gyenge eszközökön vagy lassú hálózaton szűk keresztmetszet.
- Mivel senki sem látja a teljes adathalmazt, nehezebb ellenőrizni az adatok minőségét és kiszűrni a torzításokat.
Hasonló, de nem ugyanaz
- elosztott tanítás – Ez a tágabb fogalom: a tanítás több gépen folyik. A hagyományos formájában az adat egyetlen gazdáé, aki szabadon szétosztja a saját szerverei között, míg a föderált tanulásnál az adat a tulajdonosánál marad.
- differenciális adatvédelem – Ez matematikai módszer, amely szándékosan hozzáadott zajjal korlátozza, mennyi derülhet ki egyetlen ember adatairól; a kockázatot csökkenti, de nem szünteti meg. A föderált tanulást kiegészíti, nem helyettesíti.
- eszközön futó MI – Az csak azt jelenti, hogy a kész modell a készülékeden fut, a föderált tanulás viszont arról szól, hogyan tanul a modell sok készülék adataiból.
Kapcsolódó fogalmak
gépi tanulás, adatvédelmet erősítő technológiák, elosztott tanítás
föderált átlagolás, eszközközi föderált tanulás, intézményközi föderált tanulás
biztonságos összesítés, differenciális adatvédelem, eszközön futó MI, peremszámítás, szintetikus adat, tanítóadat
Röviden a története
A fogalmat a Google kutatói, Brendan McMahan és társai vezették be egy 2016-ban közzétett tanulmányban, amely a föderált átlagolás módszerét is leírta. A Google 2017-ben mutatta be nyilvánosan, a Gboard billentyűzet példáján.
Hol tart most
A mobiltelefonokon a háttérben már tömegesen működik, például billentyűzeteknél és hangfelismerésnél. Az egészségügyben és a pénzügyi szektorban egyre több az éles alkalmazás, de sok projekt még kísérleti.
Más nevei
föderált tanulás · federált tanulás · föderatív tanulás · összevont tanulás · federated learning · FL · collaborative learning · federated machine learning
Források
- McMahan et al.: Communication-Efficient Learning of Deep Networks from Decentralized Data (arXiv)
- Wikipedia: Federated learning
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.