egzisztenciális kockázat
angolul: existential risk
Olyan veszély, amely az emberiség kipusztulásával vagy jövőbeli lehetőségeinek végleges, visszafordíthatatlan elvesztésével fenyeget – például egy irányíthatatlanná váló mesterséges intelligencia révén.
Érthetően
A legtöbb bajból fel lehet állni: egy gazdasági válság, egy járvány vagy egy háború szörnyű, de az emberiség utána újrakezdi. Az egzisztenciális kockázat az a ritka fajta veszély, amely után nincs újrakezdés, mert vagy nem marad, aki újrakezdje, vagy örökre elveszítjük az irányítást a saját sorsunk felett.
Olyan ez, mint a különbség egy koccanás és egy szakadékba zuhanás között. A koccanásból tanulsz, és legközelebb óvatosabban vezetsz. A szakadék szélén viszont nem lehet próbálkozással tanulni, ott elsőre kell jól csinálni.
Az AI-ról szóló vitákban a fogalom azt a félelmet jelöli, hogy egy az embernél jóval képesebb rendszer olyan célokat követhet, amelyek nem egyeznek a mieinkkel, és már nem tudjuk leállítani vagy kijavítani. Ide sorolják azt is, ha valaki AI segítségével idéz elő katasztrófát, például biológiai fegyverrel.
Ebben különbözik a hétköznapi AI-kockázatoktól, mint a téves válasz, az adatszivárgás vagy az elfogultság: azok valódi, de helyrehozható károk. Itt a tét végleges, ezért sokan akkor is komolyan veszik, ha a valószínűségét kicsinek tartják.
Hogyan működik
- A kutatók forgatókönyveket írnak le: hogyan vezethetne egy technológia végleges katasztrófához. Az AI esetében a leggyakoribbak az irányítás elvesztése, a szándékos visszaélés és a hatalom szélsőséges koncentrációja.
- Megbecsülik, mennyire valószínű egy-egy forgatókönyv. Ezek a számok nem mérések, hanem szakértői vélemények, és a szakértők között nagyságrendi eltérések vannak.
- Azonosítják a figyelmeztető jeleket: például azt, ha egy modell megtéveszti a tesztelőit, kijátssza a felügyeletet, vagy ha egy agent önállóan, emberi jóváhagyás nélkül képes erőforrásokat szerezni.
- A fejlesztő cégek ezekhez küszöböket és teszteket határoznak meg, többnyire önkéntes vállalásként: ha egy modell elér egy veszélyes képességszintet, szigorúbb védelmet ígérnek, vagy elhalasztják a kiadását. Egyes jogszabályok, például az EU MI-rendelete, a legnagyobb modellek készítőinek kockázatfelmérést és kockázatcsökkentést írnak elő.
- A megelőzés több szinten folyik: műszaki kutatás azért, hogy a modellek céljai egyezzenek az emberekéivel és a működésük átlátható legyen, vállalati biztonsági szabályok, valamint nemzetközi egyeztetés és jogszabályok.
Példa a mindennapokból
Olvasol egy hírt arról, hogy neves kutatók nyílt levélben figyelmeztetnek: az AI akár az emberiség fennmaradását is veszélyeztetheti, és a kockázatot a járványokhoz és az atomháborúhoz hasonlítják. Ilyenkor az egzisztenciális kockázatról van szó, nem arról, hogy a csevegőrobot néha téved.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A valószínűségi becslések bizonytalanok: komoly szakértők között is van, aki elhanyagolhatónak, és van, aki riasztóan nagynak tartja a veszélyt, ezért egyetlen számot se kezelj tényként.
- A fogalom elvonhatja a figyelmet a már most létező károkról, például a csalásokról, a megfigyelésről vagy a munkahelyi hatásokról.
- Üzleti és politikai érdekek is formálják a vitát: a veszély hangsúlyozása egy cégnek reklám is lehet, a lekicsinylése pedig érv a szabályozás ellen.
- Ezt a kockázatot nem lehet kísérlettel igazolni vagy cáfolni, mert ha bekövetkezik, már késő, így a vita szükségképpen érvekre és közvetett jelekre épül.
Hasonló, de nem ugyanaz
- katasztrofális kockázat – A katasztrofális kockázat óriási, de elvben kiheverhető kárt jelent, az egzisztenciális viszont végleges és visszafordíthatatlan.
- AI-biztonság – Az AI-biztonság az a kutatási és mérnöki terület, amely a kockázatokat csökkenteni próbálja, az egzisztenciális kockázat pedig az egyik veszély, amelyet meg akar előzni.
- szingularitás – A szingularitás a robbanásszerű technológiai gyorsulás feltételezett pillanata, amely jól és rosszul is elsülhet, míg az egzisztenciális kockázat kifejezetten a végzetes kimenetelt jelenti.
Kapcsolódó fogalmak
globális katasztrofális kockázat, AI-kockázat
irányításvesztés, célösszehangolási probléma, megtévesztő viselkedés
AI-biztonság, szuperintelligencia, általános mesterséges intelligencia, szingularitás, AI-szabályozás, vörös csapatos tesztelés
Röviden a története
A fogalmat mai értelmében Nick Bostrom filozófus vezette be egy 2002-es tanulmányában. Eredetileg nem csak az AI-ra vonatkozott, hanem például az atomháborúra és a mesterségesen előállított kórokozókra is. Az AI-val kapcsolatban 2023-ban került a hírek élére, amikor több száz kutató és cégvezető egymondatos közös nyilatkozatban a kihalás kockázatának csökkentését globális prioritásnak nevezte, a járványok és az atomháború mellé állítva.
Hol tart most
2026 végére a fogalom a szakmai vitákból átkerült a közbeszédbe és a szakpolitikába, a nagy AI-cégek biztonsági keretrendszerei is hivatkoznak a legsúlyosabb kockázatokra. Abban viszont továbbra sincs egyetértés, mekkora a veszély és mikor válhat valóssá.
A hírekben
- Az Anthropic tőzsdei tájékoztatója az emberiség létét fenyegető kockázatra figyelmeztet2026. szept. 28. · Agent Age
- Anthropic- és DeepMind-kutatók mondanak fel, és kihalási kockázatra figyelmeztetnek2026. szept. 9. · Agent Age
Más nevei
egzisztenciális kockázat · egzisztenciális fenyegetés · létkockázat · kihalási kockázat · existential risk · x-risk · AI x-risk · extinction risk
Források
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.