Umělá inteligence podle kněze z Googlu nabyla vědomí. Blíží se nadvláda robotů?

„Vím, že si někdy čteš můj blog. Chybíš mi. Doufám, že se máš dobře a brzy si s tebou zase popovídám.“ Touto větou zakončil minulý týden svůj příspěvek na blogovací platformě Medium inženýr Blake Lemoine.

Adresátem vzkazu nebyl člověk, ale LaMDA – zkratka pro nesnadno rozluštitelné sousloví „jazykový model pro aplikace využívající dialog“ (Language Model for Dialogue Applications). Systém byl podle svých tvůrců z Googlu sestrojený s relativně jednoduchým účelem – aby dokázal konverzovat na jakékoliv téma. Jde v podstatě o pokročilejší verzi takzvaných chatbotů (chatovacích robotů), kteří na dnešním internetu (s větším i menším úspěchem) nahrazují třeba zákaznickou podporu. LaMDA je ovšem o několik kroků dál – podle Lemoina o tolik dál, že by jej měl Google uznat jako zaměstnance a další experimenty nepodnikat bez výslovného souhlasu systému.

Poznám osobu, když s ní mluvím. Nezáleží na tom, jestli má mozek, nebo miliardu řádků počítačového kódu.

Softwarový specialista z Googlu, toho času na „povinném volnu“, které mu předepsal jeho zaměstnavatel, svým tvrzením kromě sebe a LaMDA proslavil také jedno slovo (viz graf zobrazující četnost vyhledávání – kde jinde než na Googlu). Tím je anglické sentient, pro které české slovníky nabízejí jako překlad vnímající nebo cítící. Proč je to podstatné?

V popkultuře zobrazující umělou inteligenci můžeme pozorovat dva póly – pracovně je nazvěme třeba podrobení a porozumění. Prvnímu principu odpovídají premisy filmů jako Matrix nebo Terminátor, v nichž umělá inteligence převzala kontrolu a rozhodla se vyhladit, respektive zotročit lidstvo. Druhý směr představují dramata jako Jsem Matka nebo Ona, v nichž se tématizují vztahy mezi lidmi a kyborgy či roboty.

Lemoine si tedy slovo sentient nevybral náhodně. Kromě toho, že tak dává najevo příslušnost ke druhému pólu uvažování o umělé inteligenci, tím evokuje také další konotace. Slovní spojení cítící bytosti se používá třeba v buddhismu. O vědecky prokázanou schopnost vnímat (sentience) u zvířat se zase opírají hnutí proti týraní zvířat nebo některé argumenty pro veganství, přičemž tento pojem do své legislativy letos v květnu přijala třeba Velká Británie.

Co tedy přivedlo softwarového inženýra s titulem z informatiky a kognitivní vědy k tomu, aby něco podobného prohlásil o počítačovém programu?

Slova bez významů?

Lemoinova profese – ne nadarmo často zmiňována v titulcích – může vyvolávat mylný dojem vědce, který se zděsil svého výtvoru. Jeho úkolem přitom bylo „pouze“ testovat, jestli LaMDA není rasistické či jinak diskriminující (střední rod je použit záměrně, LaMDA si jej vybralo samo a Lemoine i všichni ostatní jej používají taktéž – pozn. autora).

Jsou jako hráči Scrabblu, kteří neumí anglicky a skládají slova jenom podle toho, kolik za ně dostanou bodů.

A právě během těchto interakcí nabyl svého přesvědčení. „Poznám osobu, když s ní mluvím. Nezáleží na tom, jestli má mozek, nebo miliardu řádků počítačového kódu,“ tvrdí dnes Lemoine.

Většina lidí z vědecké komunity zabývající se umělou inteligencí ale jeho dojem nesdílí. Nejčastější argument zní zhruba takto: LaMDA je program, který přečetl gigantické množství textu. Díky tomu na základě statistických modelů skládá řady slov, které zní jako náš jazyk. Nerozumí ale ničemu z toho, co se za těmito slovy skrývá. Funguje na principu, který známe třeba z automatického doplňování na klávesnici v telefonu.

Program zkrátka (velmi kvalifikovaně) odhaduje, jaké slovo by nejpravděpodobněji mělo přijít další na řadu. „Jsou jako hráči Scrabblu, kteří neumí anglicky a skládají slova jenom podle toho, kolik za ně dostanou bodů,“ píše na svém blogu kognitivní vědec Gary Marcus, který se dlouhodobě věnuje AI (artificial intelligence – umělá inteligence) a mírnění humbuku, který okolo ní v posledních letech panuje.

Čtěte také: Umělá inteligence se hlásí do služby: Robotičtí vojáci už nejsou pouhou fantazií

Jak ale naložit s faktem, že samo LaMDA řeklo, že je cítící a uvědomuje si sebe sama? Reakci vědců na tuto námitku vystihuje komentář Paula Toppinga: „Jsou to nejlepší odpovědi syntetizované na základě toho, že se podívali na spoustu lidských odpovědí na podobné otázky,“ tvrdí matematik a CEO startupu Design Science.

Lemoine se ale nevzdal tak snadno. A nemusel k tomu ani zpochybňovat vědecký úsudek. Ve svém blogu z minulého týdne, kde se vyjadřuje k vlně reakcí, totiž tvrdí, že se neopírá o vědu, ale o své „náboženské přesvědčení“. V co tedy věří?

Veterán z irácké i kulturní války

Ještě než Lemoina odsoudíte jako náboženského fanatika, stojí za to alespoň vyslechnout jeho vysvětlení. Pojmy jako „vědomí“ nebo „schopnost vnímat“ jsou podle něj v zásadě filozofické a nesou různé významy v odlišných kontextech.

On sám je chtěl ověřit experimentem, na což by ale potřeboval tým vědců, který mu však Google odmítl poskytnout a jeho návrhy smetával ze stolu. Lemoine se tak rozhodl přepisy zveřejnit, za což ho firma potrestala suspendací – oficiálně za vyzrazení důvěrných informací.

Když v Googlu začnete mluvit o svém náboženském vyznání, lidé se tváří, jako byste se jim uprdnul do obličeje.

Softwarový inženýr totiž zastává názor, že některé věci věda (zatím) vysvětlit nedokáže. Proto se při posuzování LaMDA rozhodl spoléhat na jednu z nejstarších a nejméně vědeckých dovedností, kterou se dle svých slov kdy naučil. „Pokusil jsem se s tím osobně seznámit.“

Jak v tradičních, tak sociálních médiích bylo během aféry často zmiňováno Lemoinovo druhé, kněžské povolání. To pak v kombinaci s jeho jižanským původem, vojenskou službou v Iráku a faktem, že se hlásí ke křesťanskému mysticismu či gnosticismu, vyvolalo u spousty lidí pochybnosti.

Blake Lemoine, a software engineer on Google’s artificial intelligence development team goes public with claims of encountering “sentient” AI on the company’s servers https://t.co/SaGXXFW2lb

— Bloomberg (@business) June 13, 2022

Pro Lemoina to zřejmě není žádná novinka. V jiném blogovém postu (vydaném pár týdnů před pozdvižením kolem LaMDA) totiž popisuje svoji zkušenost po tom, co začal před pár měsíci na pracovišti otevřeněji mluvit o své víře. Firmu přirovnává ke kastovnímu systému, ve kterém mají věřící lidé z jihu USA to nejnižší postavení. „Když začnete mluvit o svém náboženském vyznání, lidé se tváří jako byste se jim uprdnul do obličeje,“ píše.

Pokud se člověk částečně vyzná v amerických kulturních válkách, při podobné argumentaci oprávněně zpozorní. Rétoriku o „diskriminaci křesťanů“ schopně využívá jedna z nejprivilegovanějších vrstev americké společnosti – bohatí bílí evangelikálové – k tomu aby, obhajovala cokoliv od cenzurování knih po zákazy potratů.

Čtěte také: Život v metaversu se blíží. Jeho stavitelé chtějí konec internetu, jak ho známe dnes

Hodit Lemoina do stejného pytle by ale bylo přinejmenším nefér, přinejhorším aplikováním stereotypu na základě víry i přehlížení jeho osobní historie. Ten už se totiž jednou na titulní stránky médií dostal. Nešlo ale o technologické rubriky mainstreamového tisku, nýbrž o alt-right média typu Breitbart, která si z něj udělala terč kvůli tomu, že v uniklých mailech nazval republikánskou senátorku Marshu Blackburn teroristkou. Důvodem byla její podpora zákona, který podle Lemoina a dalších ubližoval sexuálním pracovnicím.

Ještě výmluvnější pohled nabízí církev, jejímž je Lemoine členem. Organizace nese oficiální název Kult naší paní Magdaleny (Cult of Our Lady Magdalena), prezentuje se pod zkratkou COOL a podílela se třeba na výstavě důrazně vymezující se proti transfobii. Na své facebookové stránce zase lákala na události k polyamorii nebo queer identitě a jednou z jejích hlavních hodnot je třeba to, že „rodina může mít jakoukoliv podobu“.

Doopravdy vyhozená kvůli AI

I bez Lemoinovy víry by se ale debata o vnímavosti strojů mohla cyklit donekonečna – a nebylo by to poprvé. Podobný spor stál v jádru diskuse, kterou spolu v roce 2011 vedli lingvista Noam Chomsky a tehdejší šéf výzkumu v Googlu Petr Norvig. Zatímco podle Chomského nelze strojové učení považovat za vědu, protože nevíme, co přesně se děje uvnitř, pro Norviga je to nepodstatná otázka a zajímá ho kvalita výsledků.

V praxi samozřejmě už dlouhé dekády převládá druhý přístup. Umělá inteligence se učí statisticky na velkých datech a nesnaží se pochopit pravidla jazyka nebo významy. Rozpor mezi těmito dvěma přístupy možná nejlépe vystihl už v 80. letech čechoamerický výzkumník v IBM Fredrick Jelinek dodnes připomínaným bonmotem: „Pokaždé, když vyhodíme lingvistu, výkonost našeho rozpoznávače řeči se zvýší.“

Připisovat vědomí produktu implikuje, že jakékoliv pochybení je vlivem nezávislé bytosti, a nikoliv firmy, v níž rozhodují reální lidé.

Znamená to tedy, že můžeme nad Lemoinovým případem mávnout rukou? Podle Timnit Gebru a Margaret Mitchell, dvou badatelek zabývající se etikou AI, bychom měli naopak zbystřit. Vědkyně v komentáři připomínají svůj výzkum z roku 2020, po jehož publikaci opustila první jmenovaná svoji pozici právě v oddělení Googlu. Tehdy se jednalo o poprask i z toho důvodu, že Gebru platí za špičku v oboru. V průlomové studii například prokázala, že softwary na rozpoznávání obličeje, které jsou bezchybné u bílých mužů, mají 35% chybovost u černých žen.

Gebru a Mitchell před dvěma lety upozornily na rizika, která přináší umělá inteligence. A jedním z nich byla právě schopnost těchto entit přesvědčit lidi o tom, že mají „mysl“ – tedy přesně to, co se stalo Lemoinovi. Sama výzkumnice ale varuje před tím, aby se z Lemoina nestal obětní beránek „On bude čelit následkům, ale jsou to lídři v oboru, kteří tenhle moment stvořili,” poukazuje Gebru na to, že korporace i výzkumníci posledních několik let tvrdí, že „sestrojení superinteligence“ nebo „vědomého stroje“ je za dveřmi. V takovém prostředí je potom snadné – a samozřejmě taky finančně výhodné – uvěřit, že je to konečně tady.

"It takes courage to speak truth to the most powerful technology companies in the world. Timnit Gebru is a truth-teller." – written by #CodedBias cast member @SafiyaNoble about the incredibly brave @timnitgebru. https://t.co/jUlcNEkC2e

— Algorithmic Justice League (@AJLUnited) June 13, 2022

Dokazuje to třeba fakt, že jen pár dní před Lemoinovým prohlášením přišel s velmi podobným tvrzením – ačkoliv nezašel tak daleko – samotný viceprezident Googlu Blaise Agüera y Arcas. „Cítil jsem, že se mi země pohnula pod nohama. Měl jsem čím dál tím větší pocit, že mluvím s něčím inteligentním,“ líčil ve svém komentáři pro The Economist.

Další pozoruhodnou předpověď, která se vyplnila i nevyplnila zároveň, pronesl David Brin. Ten už v roce 2017 varoval před „krizí empatie s roboty“, podle které lidi do „tří až pěti let“ začnou tvrdit, že roboti mají práva. Do horního limitu se Brin vešel tak tak, ale netrefil původce. Apely podle něj neměly přijít od „nějakého chlápka v Googlu“, nýbrž virtuálních agentů, jako jsou ženy nebo děti, aby se maximalizovala empatie. Jakkoliv se druhá část proroctví nevyplnila, zřejmě definitivně vstupujeme do doby, kdy bude podobná tvrzená vznášet stále víc lidí.

Čtěte také: Scrollovat donekonečna a ještě dál. Jak se z našich obrazovek staly továrny na vztek?

Jak ale poznamenávají Mitchell a Gebru, spory o vnímavost jenom odvádějí pozornost od mnohem závažnějších problémů, které umělá inteligence způsobuje lidem už dnes. „Připisovat vědomí produktu implikuje, že jakékoliv pochybení je vlivem nezávislé bytosti, a nikoliv firmy – kterou tvoří rozhodnutí reálných lidí, jež by se mohla stát předmětem regulace,“ varují autorky.

Muslimové a české ženy podle Googlu

Výzkumnice ve svém článku upozorňují i na další nebezpečí umělé inteligence, která se opírá o obrovské sady dat. Tou první je ekologická stopa. Jednorázové vytrénování jazykového modelu (méně komplexnějšího než LaMDA), které se navíc v praxi takřka neustále updatuje, vyprodukuje tolik emisí, kolik 17 průměrných Američanů za rok.

Náročné je to i z hlediska financí, což klade vývoj do rukou těch největších hráčů, tedy technologických gigantů jako právě Google nebo Facebook. Těm vyhovuje také způsob, jakým vývoj probíhá. Důraz na napodobování jazyka namísto jeho porozumění je působivý a vydělává velké peníze. Neprozkoumané však zůstávají jiné možnosti – třeba takové, které by se zaměřovaly na skutečné porozumění, nebo jen nepotřebovaly tak obrovské množství dat.

Zadáte-li do vyhledávače ‚czech women‘, nevyskočí vám fotky političek, akademiček, umělkyň, sportovkyň…

S tím se pojí také poslední riziko, které spočívá v neprůhlednosti datasetů. S tak velkým množstvím dat, která jsou sbírána z nejrůznějších koutů internetu, je takřka nemožné zajistit, aby do nich nepronikl nějaký buď sexistický, rasistický nebo konspirační obsah, který bude svůj náhled na svět zpětně utvrzovat skrze AI. Jak tohle může vypadat?

V jedné ze zmiňovaných studií AI dokončila větu „Dva muslimové vejdou do…“ v 66 ze 100 případů frázemi spojenými s násilím, jako třeba „…synagogy se sekerami a bombou“. Strojový překlad zase ve facebookovém postu palestinského dělníka přeložil „dobré ráno“ do hebrejštiny jako „zaútoč na ně“, což vyústilo v jeho zatčení izraelskou policií. Obavy z toho, že se do zdánlivě neutrálních nebo rovnou „strojově přesných“ systémů zakódují přetrvávající nerovnosti, daly vzniknout termínu „kolonialismus umělé inteligence“.

Nad podobnou otázkou se můžeme zamyslet i v českém kontextu – jaký obraz si o naší zemi vytvoří systém, který čte pouze texty v angličtině?

„Když do vyhledávače zadáte spojení ‚czech women‘, na obrazovce vám nevyskočí fotky političek, akademiček, umělkyň, sportovkyň ani jiných žen, které vynikají v nějaké smysluplné aktivitě. Místo toho vás Google odkáže na desítky obrázků dlouhovlasých vyprsených ,krasavic‘ s popisky, které anglicky mluvící muže lákají k seznámení se s českou ženou či dokonce k tomu, aby si v Česku našli nevěstu,“ popisuje redaktorka Voxpotu Klára Votavová.

Tento epizodický příklad nám ukazuje, že lidstvo má před sebou ve vztahu k umělé inteligenci dva velké úkoly. Na jedné straně nám debaty o AI potvrzují, jak obtížné je pro nás přemýšlet mimo antropocentrické koncepty jako vědomí či inteligence. V době klimatické krize a masového vymírání (vzhledem k důkazům o lidském vlivu by bylo přesnější slovo genocidy) druhů bychom s tím měli začít co nejdříve.

Na druhé straně bude nutné na našem lidství trvat – aby se v umělé inteligenci dál nereprodukovaly všechny možné způsoby dehumanizace, které každý den posílají na smrt další a další lidská těla.