Fogalomtár › Szabályozás és jog

algoritmikus diszkrimináció

angolul: algorithmic discrimination

Az algoritmikus diszkrimináció az, amikor egy automatizált rendszer indokolatlanul hátrányosabban kezel embereket például a nemük, életkoruk, származásuk vagy lakóhelyük miatt.

Érthetően

Képzeld el, hogy egy cég húsz évig szinte csak férfiakat vett fel mérnöknek, majd ezekből az adatokból tanítanak be egy programot az önéletrajzok szűrésére. A program nem gonosz, csak szorgalmasan megtanulja a mintát: a „jó jelölt” férfi. Olyan, mint egy tanuló, aki elfogult tankönyvből készült fel, és az elfogultságot is hibátlanul felmondja.

Algoritmikus diszkriminációról akkor beszélünk, amikor egy ilyen rendszer döntése vagy javaslata valakit egy védett tulajdonsága (nem, kor, etnikai származás, fogyatékosság, vallás stb.) miatt hoz rosszabb helyzetbe. Ez történhet hitelbírálatnál, munkaerő-felvételnél, biztosítási díj megállapításánál, szociális ellátásnál vagy hirdetések megjelenítésénél.

Az emberi diszkriminációtól abban tér el, hogy nehezebb észrevenni és sokkal gyorsabban terjed. Egy elfogult ügyintéző naponta néhány tucat embert érint, egy elfogult rendszer viszont egyszerre akár százezreket, ráadásul a gép tárgyilagosnak látszik.

Jogi szempontból nem számít, hogy a hátrányt ember vagy gép okozta. A felelősség elsősorban azé a szervezeté, amelyik a rendszert használja, de a fejlesztőnek is vannak kötelezettségei. A szándék hiánya nem mentség.

Hogyan működik

1. Elfogult tanítóadat: a rendszer múltbeli döntésekből tanul, és ha azokban benne volt az előítélet (például kevesebb nő kapott előléptetést), ezt szabályként veszi át.
2. Helyettesítő jellemzők: hiába törlik az adatokból a nemet vagy a származást, a rendszer más adatokból (irányítószám, keresztnév, iskola, vásárlási szokások) kikövetkeztetheti őket. Ez gyakran közvetett diszkriminációhoz vezet: egy látszólag semleges szempont a gyakorlatban egy védett csoportot sújt.
3. Hiányos lefedettség: ha egy csoportról kevés adat van, a rendszer náluk pontatlanabbul működik. Több vizsgálat szerint például az arcelemző és arcfelismerő rendszerek többet tévedtek sötétebb bőrű nőknél.
4. Önerősítő kör: a rendszer döntései új adatot termelnek, amely visszakerül a tanításba. Akit egyszer elutasítottak, arról nem keletkezik „jó adós” adat, így a torzítás idővel erősödhet.
5. Feltárás és javítás: a hibát úgy lehet megtalálni, hogy csoportonként összehasonlítják a rendszer döntéseit és tévedéseit. Ezután módosítani lehet az adatokat, a modellt vagy a döntési folyamatot, és emberi felülvizsgálatot lehet beépíteni.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• Kívülről ritkán bizonyítható: egyetlen elutasításból nem derül ki, hogy diszkrimináció történt-e, ehhez sok eset csoportonkénti összehasonlítása kell.
• A védett adatok (nem, származás) törlése önmagában nem megoldás, mert a rendszer más adatokból visszakövetkezteti őket.
• A méltányosságnak több matematikai mércéje van, amelyek egyszerre általában nem teljesíthetők, ezért mindig mérlegelni kell, melyik mit jelent az adott helyzetben.
• Nem minden különbségtétel diszkrimináció: a jog az indokolatlan, védett tulajdonsághoz kötődő hátrányt tiltja, a tárgyszerűen igazolható megkülönböztetést nem.

Hasonló, de nem ugyanaz

• algoritmikus torzítás – A torzítás a rendszer működésének szisztematikus eltérése, vagyis műszaki-statisztikai jelenség. A diszkrimináció ennek embereket érő, jogilag is értékelhető hátrányos következménye. Nem minden torzítás vezet diszkriminációhoz.
• profilalkotás – A profilalkotás személyes jellemzők automatizált kiértékelése, ami önmagában nem jogellenes, de diszkriminációhoz vezethet, ha a besorolás védett csoportokat sújt.
• személyre szabás – A személyre szabás a te viselkedésedhez igazítja az ajánlatot, a diszkrimináció viszont egy csoporthoz tartozásod miatt hoz hátrányba. A határ nem éles: a személyre szabás is diszkriminációvá válhat, ha a gyakorlatban egy védett csoportot sújt.

Kapcsolódó fogalmak

Röviden a története

A számítógépes rendszerek elfogultságát Batya Friedman és Helen Nissenbaum már 1996-ban tanulmányban írta le. A téma 2016-ban került a közfigyelem középpontjába, amikor a ProPublica megírta, hogy az amerikai bíróságokon használt COMPAS kockázatbecslő program a fekete vádlottakat gyakrabban minősítette tévesen magas kockázatúnak. A program fejlesztője vitatta ezt a következtetést, és a vita rámutatott, hogy a méltányosság többféleképpen mérhető. Az EU 2024-ben elfogadott mesterségesintelligencia-rendelete (AI Act) a magas kockázatú rendszereknél előírja a diszkriminációhoz vezető torzítások vizsgálatát és csökkentését.

Hol tart most

2026 végére a jelenség jól dokumentált, és a szabályozás is foglalkozik vele: az EU-ban az AI Act, a GDPR és az egyenlő bánásmódra vonatkozó szabályok együtt adnak rá keretet. Az AI Act kötelezettségei fokozatosan lépnek életbe: a tiltott gyakorlatokra vonatkozó szabályok 2025 februárja óta alkalmazandók, a magas kockázatú rendszerekre vonatkozó követelmények alkalmazását viszont az EU 2026-ban elhalasztotta, ezek legkorábban 2027 végétől kötelezők. A hatósági és bírósági joggyakorlat még formálódik.

Állapot: 2026. november

Más nevei

algoritmikus diszkrimináció · algoritmikus hátrányos megkülönböztetés · gépi diszkrimináció · MI-diszkrimináció · algorithmic discrimination

Források

• ProPublica: Machine Bias (2016)

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.