Světlo za monitorem

„Umělá inteligence“ je zavádějící pojem, jenž evokuje pokud ne přímo androidy, pak aspoň autonomní centrální mozky. Spojení „zpětnovazebné systémy k rozpoznávání vzorců“ je neohrabané a mimo vědecký diskurs k ničemu. Nejčastěji tak zůstáváme u „moderních technologií“ či prostě „technologií“ – u termínu užitečného, ale přece jen trochu legračního. S modernitou určitě nějak souvisí, ale není pro ně typické právě to, že je lze přestat vnímat jako technologie? Nejen z pohledu uživatele, ale i experta; ve zpětnovazebných smyčkách se odehrávají procesy, které nejsme schopni vysvětlit, modely pracující s velkým množstvím dat sice přinášejí výsledky, ale to, co zůstává nejasné, je metoda – technologie.

Na sítích jsme sami

Nejde o samoúčelné pedantství. Ať se na technologizaci našich životů díváme z kterékoli stránky, vždycky skončíme u problému informační disparity. Ve snaze ji konceptualizovat zakopáváme o vlastní metafory. Nemáme možnost pojmenovat svá východiska, přejímáme zavádějící a za účelem marketingu vzniklé modely – ať už ty, které prezentují umělou inteligenci jako prostředek ke spáse světa, anebo jako všemocnou entitu, kterou nemáme kapacitu chápat, natož regulovat a jejíž takřka neomezená moc nad našimi životy je nevyhnutelná a přirozená. Pojmy se zaměňují a nutná kritika je těžko oddělitelná od té pitomé.

A nutno přiznat, že svět je plný pitomé kritiky technologizace. Naštěstí už se pomalu zbavujeme ostentativního vzdychání nad „selfie kulturou“, tolik populárního v nultých letech. Současná, o něco blahosklonnější, ale stále přezíravá forma kritiky mluví o tom, že „z nás technologie dělají narcisy“. Chování uživatelů je tedy stále vnímáno jako nemorální, zpravidla rámované jako projev slabosti charakteru, neschopnosti odolat vábení vycházejícímu ze stroje. Morální odpovědnost za své chování v digitálním prostoru nese uživatel, přestože podléhá vrozeným tendencím, které je podstatě těžší změnit než nastavení stroje. Podobný přístup zaujímáme často, typický je třeba pro spory o etiku počítačových her, které mají legislativní dopady.

Na větě „technologie z nás dělají narcisty“ přitom nic fakticky nesprávného není, pouze je povrchní a nevhodně rámovaná. Na sociál­ních sítích jsme sebestřední, protože tam jsme vždycky sami. Dokud platformy fungují jako černé skříňky, uživatel křičí do tmy a nikdy dopředu neví, kdo ho uslyší, můžeme se na nich vztahovat jen sami k sobě. Jde o problém v jádru technologie, který se nevyřeší změnou designu platformy. Ten by samozřejmě mohl být mnohem méně hostilní, sociální sítě by nemusely nutně stavět uživatele proti sobě v soutěži o prostor, zprostředkovávat jim propojení s lidmi na základě jejich hodnocení anebo toho, kolik zaplatí. A jistě by se na takovéto hypotetické, decentralizované a rovnostářské platformě cítili uživatelé šťastnější. I tam bych ale u okamžiku, kdy se něco chystám sdílet, byla přítomná jen já a světlo za monitorem.

Z těchto dvou zdrojů – uživatele a „světla za monitorem“ – je nějakým způsobem vytvořen modelový čtenář našich zpráv, modelový zobrazující. Tušíme, že si ho do jisté míry formujeme k obrazu svému. Často na internetu vystupujeme jako arbitři humoru, atraktivity a hlavně vkusu. Při každé interakci vytváříme dvě imaga; sebe a zobrazujícího. Ponechme stranou formování vlastního obrazu, o jeho souvislosti s kulturou sebezdokonalování a s tvorbou „nejlepší“ a „nejvýkonnější“ verze sebe sama bylo napsáno mnoho. Soustřeďme se na formování modelového zobrazujícího. Nemáme snad ve chvíli, kdy sdílíme na některé ze sociálních sítí svůj příspěvek, pocit, že jej sdílíme s Instagramem nebo Twitterem? Několik přátel se mi zmínilo, že někdy, zpravidla během dospívání, publikovali příspěvky nastavené tak, aby se nezobrazovaly nikomu jinému než jim – sdíleli je tak pouze s platformou. Měly zvláštní, konfesionální charakter. Jako by sama platforma naslouchala…

Platforma jako ten Druhý

Mediální teoretik Alfie Bown, který používá k popisu současných technologických rozhraní psychoanalýzu, přirovnává v této situa­ci platformu k lacanovskému velkému Druhému, symbolické reprezentaci řádu, která dohlíží na naše kroky a schvaluje je. To koneckonců platformy doslova jsou – striktně vzato všechny naše příspěvky vidí, evaluují je, smazat by je skutečně mohly a mnohdy tak i činí.

Platformy tuto svou moc pochopitelně příliš nezdůrazňují. Částečně z technických důvodů – většina velkých sociálních sítí je proslulá svou neschopností moderovat obsah. Zároveň by ale vyhlášením a častým zpřítomňováním konkrétních pravidel, jaká vidíme v internetovém prostoru na fórech nebo v uživateli spravovaných vláknech a skupinách, platforma přišla o svou moc. Stala by se tak o trochu méně esoterickým všemocným světlem za displejem s autonomní a nepředvídatelnou myslí a trochu víc obyčejným řetězcem nástrojů a příkazů, které mohou být nastavené buď dobře, anebo špatně.

Jak nás ovlivňuje oko velkého Druhého při našem formování vztahů na síti? Bown ve své knize Enjoying it: Candy Crush and capitalism (Užívat si to. Candy Crush a kapitalismus, 2007) vymezuje dva typy reakce na hraní hry – stud a pocit dobře stráveného času. Která okna a aplikace zavíráme, když slyšíme, že někdo stojí za námi? Které hry si vyčítáme, hrajeme­-li je?

Bown svůj model aplikuje na počítačové hry, jsem ale přesvědčena, že velkou část jeho analýzy lze vztáhnout i na digitální seznamky. Ve svém textu vytváří dvě kategorie, jednu prototypicky reprezentovanou hrou Candy Crush, ke které přistupujeme jako k rozptýlení, ztrátě času a zdroji studu, a to nezávisle na tom, kolik s ní strávíme času nebo jak úspěšní v ní jsme. Druhá Bownova kategorie je reprezentována hrou Football Manager, která není zdrojem studu, její hráči naopak neironicky sdílejí své výsledky a hra může být považována i za dobře strávený čas. Seznamovací aplikace lze na základě toho, zda jsou zdrojem studu a zda je čas strávený na nich považován za sám o sobě naplňující, analogicky roztřídit do dvou kategorií.

V zásadě lze mluvit o aplikacích spojujících lidi, které na základě zadaných dat platforma považuje za kompatibilní (OKCupid či match.com). Nejsou zdrojem studu, ale čas strávený na nich nemá sám o sobě žádnou hodnotu. Na straně druhé stojí aplikace založené na rychlejším výběru, s větším akcentem na akt volby, zpravidla na základě fotografií (typu Tinder či Bumble), které jsou zdrojem studu, ale čas strávený jejich užíváním může mít pro hráče sám o sobě nějakou hodnotu, a nejde jen o zprostředkování setkání mimo platformu.

Otázka studu má v případě mobilních a počítačových her přece jen jinou váhu a kulturní zakořenění než u online seznamek. Je zajímavé, že hry, které byly hráči vnímány jako ztráta času, mohly a nemusely rozvíjet stejné schopnosti jako ty, které šlo vnímat jako užitečné. Dojem kvalitně stráveného času byl způsoben spíše pocitem moci, který vyvolávaly.

Modely kompatibility

Podobný „pocit moci“ vyvolávaly seznamovací aplikace kladoucí důraz na odsudek profilů ostatních uživatelů. Akt „odmávnutí“ potenciálního nápadníka, o kterého nemáme zájem, sám poskytuje uspokojení. Podobně jako v případě Bownovy kategorizace her je ale k pocitu dobře stráveného času zapotřebí i „úspěch“. Náš potenciální partner se stává nástrojem v naší hře, potřebujeme jeho ocenění. To sice odpovídá takřka slovníkové definici narcismu, nicméně morálněji působící online seznamky založené na vzájemné ra­­­cionalizované kompatibilitě jsou ještě podstatně narcistnější. Jejich model kompatibility je totiž založený do značné míry na podobnosti – právě na seznamkách, které si marketingově zakládají na své nepovrchnosti, hledáme varianty sebe samých.

Tyto mechanismy mají negativní společenské dopady. Velká pozornost byla opakovaně věnována rasovým preferencím na online seznamkách, opět se ale končilo u zkratky „lidé mají své slabosti a aplikace to odráží“, podobně jako v případě počítačových her či sociálních sítí. I relativně malá intervence by přitom mohla nést výsledky. Studie sociologa Kevina Lewise z roku 2013 analyzující data ze seznamky OKCupid se zaměřovala na vývoj preferencí etnicit u jednotlivých uživatelů v čase. V okamžiku, kdy o uživatele projevil zájem člověk jiné etnicity, než byl on sám, jeho tendence kontaktovat další uživatele téže etnicity jako oslovující vzrostla v průměru až o 115 procent.

Pomyšlení na to, že lze zasahovat do našich milostných preferencí a měnit je, není příjemné. Málokdo sní o seznamkách, které ho učí milovat lidi ošklivé a hloupé, ačkoli nepochybně mnoho uživatelů touží po tom být milováni bez přemrštěných nároků a požadavků druhých.

Přísun nekonečné pozornosti

Je to platforma, kdo nás nikdy neopustí, kdo nabízí přísun nekonečné pozornosti. Facebook v průběhu posledních let upozorňuje na interakce, které se netýkají přímo uživatele, ale i na příspěvky, které by ho jen potenciálně mohly zajímat. Smyslem tohoto kroku není podle mne ani tak reagovat na přebytek obsahu, jako spíš suplovat zájem. Uživatelé Facebooku jsou navyklí na to, že upozornění znamená projev zájmu jiného člověka a podmíněný reflex funguje, byť jim platforma dává nesouvisející, třeba i nevyžádanou informaci. Světlo za displejem tak není vždy jenom pasivní posluchač konfesí, věnuje nám pozornost – nejen pozornost jiných lidí, to měla dosud platforma v popisu práce, ale nově i svou vlastní.

Neustálá pozornost světla za displejem má ještě jeden efekt. Naše chování neprochází jenom procesem schvalování, pozornost mu také dodává na pocitu důležitosti. Většina našich interakcí v digitálním světě má performativní rozměr a zpravidla to dáváme za příčinu zmiňovaným modelům nás samotných, které jsme nuceni vytvářet. Ne každý neautentický projev, dokonce ani ne každá snaha o to „být sám sebou“ je performativní. Výroba vlastního avataru v offline počítačové hře je prostředkem kreativity, v online hře se stává gestem. Fakt, že se někdo dívá, dává našemu chování nejenom punc nenáhodnosti a sdělnosti, ale přímo ho v našich očích činí důležitým.

Mnoho z dávných pozorování ­sociologa Ervinga Goffmana lze na digitální interakce aplikovat jen velmi těžko, spojení performativity a významnosti situace ale platí – nejzásadnější okamžiky našich životů jsou podle Goffmana ty nejméně autentické, ať už je řeč o rituálech anebo momentech velké zodpovědnosti v roli rodiče, v profesní roli a podobně. Předpokládejme, že toto ovlivňování může být dvojsměrné – ve významných situacích máme větší tendenci sublimovat do role a tím se vymanit ze své zodpovědnosti. A každá relativně banální historka získává na významu ve chvíli, kdy ji potenciálně slyší stovky uživatelů.

Platforma vyvolává pocit, že je každá interakce, jež na ní probíhá, je významná – a to bez ohledu na to, kolik uživatelů ji sleduje a jací, což je ostatně nedostupná informace. Konkrétní lidé jsou v tomto smyslu nahraditelní. Stejně tak nám platforma dává pocit ničím nepodmíněné pozornosti, zatímco navázání jakéhokoli kontaktu s dalšími uživateli je těžko předvídatelné a závislé na tom, jak dobře obstojíte v boji o pozornost. Na rozdíl od působení samotné platformy jsou interakce mezi lidmi redukované na lineární řetězce akcí a reakcí, repetitivní a implicitně či explicitně hodnocené za svou úspěšnost. Chování lidí je zde výrazně mechanizováno a často jsou stavěni do rolí prostředků k vyvolávání.

Zodpovědnost člověka za stroj

Zásadnější otázkou ovšem je, do jaké míry tato schémata přenášíme s sebou i do analogového světa. Ve své nejnovější knize Playstation Dreamworld (Playstation jako země snů, 2018) Alfie Bown popisuje způsoby, jakými mají navigační a mapové aplikace, ale i hry postavené na interakci s reálným prostorem typu Ingress nebo Pokémon Go vliv na náš pohyb po městě, jeho vnímání a spoluvytváření. Ve sféře mezilidských vztahů jsou ovšem jak materiální zájmy velkých společností, tak dopady jejich činností podstatně hůře sledovatelné.

Stojí za to zamyslet se nad tím, jaké vlastnosti lze považovat za nejvýhodnější výstup případné manipulace s platformou. Představa ideálního konzumenta jako někoho, kdo si zkrátka kupuje co nejvíc produktů, je reliktem konce minulého století. Spíše než množství spotřeby je zajímavá míra predikovatelnosti chování. Proto se sociální platformy nesnaží bránit například naší tendenci seznamovat se spíše s lidmi stejné etnicity či ze stejného sociálního prostředí tak, jako se snaží bránit například naší neochotě utrácet peníze nebo našim obavám o soukromí. Netvrdím, že by mechanizace našich akcí byla cílem nějaké velké konspirace. Ale naše chování v digitálním světě nesporně ovlivňováno je – a tyto konkrétní změny nejsou vnímány jako něco, čemu je nutné aktivně bránit.

Člověk se stále více podobá stroji a stroj člověku. Výraz „umělá inteligence“ toleruji jakožto nevyhnutelný důsledek androidovsko­-golemovské tradice, je ovšem třeba neustále připomínat, že jde o metaforu nesmírně výhodnou pro určité zájmové skupiny. Ať už se jedná o „autonomní“ drony či „samořídící“ auta, jejich obraz jako entit, které se samy „rozhodují“ a za jejichž „chování“ mohou mít jen omezenou právní odpovědnost ti, kteří je naprogramovali, je pro jejich výrobce či distributory žádoucí.

Ještě nebezpečnější metafora přirovnává umělou inteligenci k novému živočišnému druhu a přeneseně též technologický vývoj k evolučnímu. Politické implikace takové představy jsou zjevné – jakýkoli posun je považován za přirozený a nevyhnutelný. Je třeba si neustále připomínat, že tomu tak není. Evoluce vychází z nahodilých změn, zatímco technologický vývoj je účelný a je daný hodnotami, které nám naturalistická metafora brání kriticky zkoumat. Digitalizace nikdy není nevyhnutelná a měla by být aplikována jenom tehdy, pokud prospívá svým uživatelům. Lidé zatím za umělou inteligencí zaostávají jenom v těch ohledech, ve kterých se sami chovají jako stroje. I představa umělé inteligence jako nadlidského centrálního mozku, který ví, po čem budeme toužit dřív, než to zjistíme sami, je snadno zneužitelná. Jak totiž poznáme, že jde spíše o pomoc než manipulaci? Spolu s metaforou technologického pokroku jakožto evoluce implikuje nevyhnutelnost v otázkách, které by stály za politický boj.

Autorka studuje bohemistiku a obecnou lingvistiku na FF UK.

2. místo v esejistické soutěži Technologizace lásky v 21. století, podpořené Státním fondem kultury.

Zimní literární příloha A2 je samostatně neprodejnou součástí kulturního čtrnáctideníku A2 č. 26/2019. Texty jsou vítěznými eseji soutěže Technologizace lásky v 21. století, ilustroval Alexey Klyuykov, grafická úprava Lukáš Fairaisl. Vychází s podporou Ministerstva kultury ČR a Státního fondu kultury ČR.