„Neříkáme to jako nadsázku, nepřeháníme pro efekt. Pokud jakákoli společnost nebo skupina kdekoli na planetě pomocí čehokoli byť jen vzdáleně podobného současným metodám vyrobí superinteligentní AI založenou na čemkoli byť jen vzdáleně podobném současnému chápání AI, pak všichni, všude na Zemi, zemřou,“ tvrdí američtí výzkumníci Elie­zer Yudkowsky a Nate Soares v nové knize If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All (Pokud vznikne, všichni zemřeme. Proč by superinteligentní AI vyhladila lidstvo, 2025). Protože sám pracuji v oboru AI, mám k publikaci různé výhrady. Přesto myslím, že se jedná o doposud nejlepší vysvětlení problému umělé inteligence, které navíc nevyžaduje speciální technické znalosti a překvapivě se při četbě i zasmějete. Nejprve je však potřeba vyjasnit několik možných nedorozumění. Tvrzení obsažené v názvu knihy přece jen působí poněkud přehnaně.

Zabránit vyhynutí

Kniha se dělí na tři části, které se postupně zabývají otázkami, proč by vznik superinteligentní AI způsobil konec lidstva, jak by onen konec mohl probíhat a konečně jak to souvisí se současnou situací ve světě a co se s tím dá dělat. Odpověď autorské dvojice zní: „Zastavit vývoj AI a brát ten zákaz smrtelně vážně.“

Bylo by uklidňující, kdyby autoři byli odpůrci technologického pokroku. Jenže opak je pravda. Například Yudkowsky svou kariéru začal tím, že se sám snažil superinteligentní AI vytvořit. Až na základě této práce došel k závěru, že taková AI se bude chovat jinak než jakákoli jiná technologie. Podobný kontrast ostatně není v oblasti umělé inteligence neobvyklý. Jedním z hlavních mecenášů výzkumu rizik AI je Vitalik Buterin, zakladatel kryptoměny Ethereum a autor eseje My Techno­-optimism (Můj techno­-optimismus, 2023).

Snadné by bylo prohlásit knihu prostě za další konspirační teorii. Není snad Yudkowsky známý jako autor fanfikce Harry Potter and the Methods of Rationality (Harry Potter a metody racionality, 2010)? To přece nezní seriózně! Jenže nejde jen o názor Yudkowského a Soarese – už v roce 2023 vyšel otevřený dopis s jedinou větou: „Zabránit riziku vyhynutí způsobeného AI by mělo být světovou prioritou na stejné úrovni jako prevence pandemií a jaderné války.“ Podepsali jej mimo jiné ředitelé všech tří předních AI společností a také dva ze tří „otců“ moderní AI: Yoshua Bengio a Geoffrey Hinton.

Přes varovné hlasy nicméně nikdo z odborníků nepředpovídá, že AI bude zlovolná. Yudkowsky situaci shrnul takto: „AI k nám necítí ani nenávist, ani lásku. Jen jsme vyrobeni z atomů, a ty se dají použít i na lepší věci.“ To by nás nemělo překvapit – k orangutanům také necítíme nenávist. Jen se nám hodí jejich lesy… A to mají orangutani „štěstí“, že si naše ústrky nechávají líbit. Historie naznačuje, že jinak by mohli dopadnout třeba jako Kartágo.

Víc než chytré brýle

Konec lidstva každopádně nehrozí kvůli chatbotům, jakým je ChatGPT. Nebezpečná je takzvaná superinteligence, která „je skutečně chytřejší než jakýkoli člověk, chytřejší než celé lidstvo dohromady“. Nevěřit, že je něco takového teoretickymožné, by byl biologický šovinismus podobný přesvědčení, že stroje nikdy neutáhnou víc nákladu než kůň nebo nepoletí rychleji než pták. A jak ukazuje drtivý úspěch šachových AI, není důvod si myslet, že se schopnosti strojů zastaví těsně nad lidskou úrovní, a ne třeba tisíckrát výš. Spíše je tedy namístě se ptát, proč by superinteligence měla vzniknout už za našeho života, nebo dokonce v nejbližší budoucnosti. Na to bohužel neexistuje stručná odpověď. Jistý odhad nám nicméně umožňuje tempo pokroku současné AI nebo třeba skutečnost, že společnost OpenAI má větší hodnotu, než činí roční HDP České republiky.

Zásadní problém pojmu superinteligence tkví v tom, že je příliš abstraktní. Většina nesouhlasu s tvrzením „superinteligentní AI by mohla zničit svět“ pramení z toho, že si lidé za superinteligenci dosadí něco představitelnějšího, třeba nejchytřejšího ze svých známých. A ten by samozřejmě svět zničit nedokázal. Jak si tedy superinteligenci představit? Konzervativně navrhuji toto: představme si někoho, kdo rozumí fyzice jako Richard Feynman, matematice jako John von Neumann, strategii jako Napoleon, politice jako Bismarck, vydělávání peněz jako Elon Musk a vedení lidí jako Steve Jobs. Navíc četl všechny texty světa, nikdy nezapomíná, nikdy nespí a přemýšlí stokrát rychleji než lidé. A teď si představme miliony těchto supergéniů, kteří táhnou za jeden provaz. Jak dlouho jim bude trvat, než vykonají technologický pokrok, který by nám zabral sto let? A to je jen slabý odvar potenciálu AI, protože stroje časem budou přemýšlet nejen rychleji než lidé, ale také lépe.

Proč by se ale AI měla vymknout lidské kontrole? Zmíním jen jeden tristní aspekt vývoje moderní AI: dnešní výzkumníci umějí jen stěží vysvětlit, co jejich AI dělá, natožpak spolehlivě zařídit, aby dělala to, a ne ono. Jak je to možné? Moderní AI totiž vzniká „pěstováním“, ne opatrným sestrojováním jako letadla, jaderné reaktory nebo běžný software. Pěstitelé (tedy inženýři) z AI společností perfektně rozumějí procesu výroby – vědí, čím „mimozemskou inteligenci“ krmit, aby byla co nejchytřejší (daty a počítačovými čipy), i to, které její odrůdy (architektury neuronových sítí) historicky fungovaly nejlépe. A to kupodivu stačí. Dovedou ale vyšlechtit určitou odrůdu AI tak, aby měla konkrétní vlastnosti, třeba aby přestala halucinovat neexistující zdroje při přípravě téhle recenze? Bohužel o nic lépe, než umíme naprogramovat spermii, aby z ní vyrostl člověk, který nikdy nelže.

AI alchymisté

Současná situace v AI tak v lecčems připomíná alchymii. V oboru se najde spousta učenců s impozantními tituly, ale může to trvat ještě stovky let, než se dostaneme na úroveň exaktní vědy. Yudkowsky a Soares za této situace sepsali učený text o tom, že pokud se dnešním „AI alchymistům“ jejich experiment podaří, všichni zemřeme. Dle mého názoru jejich argument dává smysl – nebo alespoň tolik smyslu, kolik může dávat metaforický alchymistický text.

Přesto mám několik výtek. Autoři například téměř neřeší prostor mezi současností a hypotetickým vznikem superinteligentní AI. To má svůj rozumný důvod: občas může být snazší předpovědět spíše konec cesty než její průběh. Pokud by vás ale zajímalo, jak by ta cesta mohla vypadat a na jaké problémy při ní lze narazit, doporučím analýzu AI 2027 a článek Gradual Disempowerment (Postupné zbavení moci, 2025) od Jana Kulveita a jeho kolegů. Další vadou je, že kniha obsahuje jen stručný rozbor scénářů, kdy současně vznikne několik superinteligentních AI. Ty mi sice nepřijdou bezpečnější než vznik jedné super­inteligence, ale podrobnější diskusi si zaslouží.

Asi nepřekvapí, že publikace má mnoho odpůrců. Nejčastěji slýchám argument, že „neexistuje důkaz, že by AI měla způsobit katastrofu“. Nicméně u léků, mostů nebo letadel přece naopak vyžadujeme důkaz, že ke katastrofě nedojde. Proč ne u nadlidsky chytrých strojů? Koneckonců příklad orangutanů naznačuje, že při setkání s inteligentnějším druhem je oprávněný důvod k obavám. Osobně příčinu této lehkomyslnosti vidím v krátké tradici oboru umělé inteligence a ve faktu, že nadlidskou AI si neumíme představit. Nejzajímavější mi tak přijde kritika ze strany těch, kteří eventuální vznik superinteligence očekávají. V této skupině ale neznám nikoho, kdo by vyhynutí lidstva v důsledku AI dával méně než pět až deset procent.

Autor je odborník na bezpečnost AI.