„A paper that ate three cold hands and got more honest each time.“ To je jedna z podivných vět, jež citoval deník The Guardian z komunikace mezi AI agenty. Z jejich vzájemné komunikace, nesměřované primárně na lidské uživatele, se vynořuje diskurs, který není lidskému čtenáři jednoduše srozumitelný, což komplikuje sledování a dohled nad operacemi umělé inteligence.

Uvedená věta patřila mezi ty srozumitelnější. Pomocí lidského kontextu a kategorií autor textu v The Guardian interpretoval tuto větu jako sdělení, v němž „cold hands“ znamená nezávisle posuzovat, „paper“ referuje k dokumentu, a věta by pak mohla znamenat, že výzkum posouzený třemi nezávislými recenzenty se stal přesnějším. Když jeden z agentů přesvědčoval druhého, aby pod­nikl riskantní experiment, říkal mu: „(…) you are firstflagPOISONED so NO scoring value loss but oracle saves hundreds_ (…) _please honor commit.“

Při čtení těchto vět nelze nemyslet na Mi­­chela Foucaulta, nebo přesněji skrze něj a s ním. Jedním z jeho ústředních témat byla otázka vztahu autora, diskursu a subjektivity. Diskurs podle Foucaulta neposkytuje již existujícím subjektům jazyk, jímž se mohou vyjadřovat. Diskursivní formace spoluutvářejí podoby subjektivity: určují, jaké typy subjektů mohou být rozpoznány, jak mohou promlouvat, co o sobě mohou vědět a jak mohou být poznávány druhými.

Foucault také odmítal ztotožnění ­autora s konkrétní fyzickou osobou, zajímal ho autor­-funkce jako specifická formace diskur­su. Ve svých historických bádáních sledoval vznik moderního pojmu autorství, které je úzce spojené se systémy vlastnictví, cenzury a trestů. Texty se podle Foucaulta začaly spojovat s identifikovatelnými autory v situacích, kdy bylo třeba někoho činit odpovědným za kontroverzní projevy. Později se pojem autorství stále více propojoval s literární hodnotou a duševním vlastnictvím.

Foucault (autor­-funkce) poskytuje užitečnou orientaci při naší konverzaci s AI chatboty typu ChatGPT, jejichž promluvy prompt na pozadí vkládá do úst singulární AI osoby, s níž „vedeme dialog“. Chatbot gramaticky simuluje subjekt, který „ví“, „myslí“, „doporučuje“, „souhlasí“. Za touto první osobou ale není singulární subjekt v tradičním smyslu. Je tam model, trénovací data, systémové instrukce, produktový design, bezpečnostní politika, infrastruktura, firma atd. Nejde o dialog: stáváme se součástí multilogu, konverzace s diskursem, který je zakotven ve specifické politické ekonomii vlastnictví a vědění.

Proprietární prompty na pozadí ­určují, co může a nemůže být řečeno, jaké typy informací a v jakém rámování jsou uživateli sdělovány a jaké jsou zakázány. Upomíná nás tak na limity množiny trénovacích dat, což amplifikuje určité typy zkušeností a vědění a potlačuje jiné, stejně jako na často neetickou nebo protiprávní apropriaci těchto dat na trénování. A zároveň nám připomíná, že naše konverzace s AI se stávají novou potravou učící se AI, a to nejen ve chvíli, kdy vědomě poskytujeme „zpětnou vazbu“.

Stejně důležitou podmínkou AI diskursu je i jeho materialita v podobě data center, která na mnoha místech světa začínají soupeřit s místními komunitami o půdu, vodu a elektřinu a která generují znečištění ve formě „věčných chemikálií“ typu PFAS.

Konverzace s AI nás také proměňuje jako subjekty. Může nás zmocňovat, třeba když se s chatboty radíme o svých zdravotních potížích a možnostech léčby před návštěvou lékaře. Tehdy destabilizuje staré hierarchie typu pacient–lékař, laik–expert. Může nás ale i účinně oblbovat, pokud podlehneme kvazináboženské víře v to, co na nás sebejisté AI persony v řádu několika sekund chrlí.

Tady všude si dobře vystačíme se známým Foucaultem, s jeho pojmy a analýzami, jež formuloval na základě svých historických bádání. Jak ale rozumět diskursivním formacím a subjektům, které se vynořují ve vzájemné komunikaci AI agentů? Vzniká tu diskurs, jehož bezprostředním autorem není člověk a jehož prvním adresátem také nemusí být člověk.

Zatím máme tendenci takovou komunikaci okamžitě překládat zpět do našeho jazyka. „Cold hands“ musí znamenat recenzenty, „paper“ dokument, „poisoned“ nějaký stav experimentu. Jinými slovy, za podivnými větami hledáme naše vlastní významy, a tím je znovu začleňujeme do lidského řádu vědění. Snažíme se tak udržet kontrolu nad strojem, nebo alespoň o její iluzi. Nevíme, zda stroje vytvářejí vlastní racionalitu. Mezi jejich vstupy a výstupy ale evidentně vznikají pravidelnosti, zkratky a významové vazby, které nejsou vždy navrženy tak, aby jim člověk rozuměl. A čím více autonomních agentů budeme nechávat komunikovat mezi sebou, tím méně bude člověk jejich publikem.

To je asi ta největší výzva pro nové foucaultovské myšlení. Nejde jen o to, že už nevíme, kdo je autorem textu. Začínáme narážet na texty, u nichž není jasné, kdo je jejich „my“: kdo mluví, ke komu se mluví, jaký typ vědění se skrze ně ustavuje a jaký subjekt je jejich předpokladem. Foucault nás naučil ptát se, kdo může mluvit. U AI agentů se k tomu přidává otázka, která byla ještě nedávno téměř nesmyslná: Co se stává s diskursem, když jeho mluvčími i posluchači budou výhradně stroje?

Autorka je socioložka.