Bodu, od kterého už umělá inteligence nepůjde vypnout, si ani nemusíme všimnout, říká Kulveit

Teoretický fyzik Jan Kulveit se věnuje globálním hrozbám od pandemií po umělou inteligenci. Několik let působí na Institutu budoucnosti lidstva v Oxfordu, loni díky interní univerzitní podpoře Primus UK založil vlastní výzkumnou skupinu na Centru pro teoretická studia, společném pracovišti Univerzity Karlovy a Akademie věd. K rozhovoru jsme se sešli v karlínské tibetské čajovně Dharmasala. Čaj uvařil Jan.

Stále častěji se mluví o regulaci umělé inteligence. Pro srovnání: přijít s jakž takž adekvátní reakcí na hrozby spojené s klimatickou změnou nám v Evropě trvalo skoro 30 let. Jak si po téhle stránce stojíme v případě AI? Měli bychom naše procedury přehodnotit?

Takhle dlouhá reakční doba je v případě AI jednoznačně příliš pomalá. Na druhou stranu jsme za covidu viděli, že jakmile státy začnou situaci chápat jako krizi, dokáží reagovat i na škále týdnů. Ne že by bylo v tuto chvíli nutné vyhlásit kvůli AI výjimečný stav, ale zároveň asi bude nezbytné nějak inovovat regulační systém tak, aby byl schopen reagovat třeba v řádu měsíců.

Jako lidstvo máme zatím docela štěstí, že v čele závodu nejsou ty nejlehkomyslnější laboratoře.

Jak poznáme, že reagujeme dost rychle? Podle Eliezera Yudkowskeho může AI velmi dlouho generovat velké zisky, než najednou „zapálí atmosféru“. Souhlasíš s jeho popisem?

Budoucnost se předpovídá těžko. Sám se spíš snažím dávat určité pravděpodobnosti různým scénářům. Yudkowsky považuje za velmi pravděpodobný „sharp left turn“, čili náhlou katastrofu. Já ale vidím jako reálnější „continuous take-off“, tedy scénář, ve kterém bude mít AI větší a větší podíl na ekonomice i na lidském rozhodování, ale bez jednoznačného zvratu. Bod, ze kterého nebude návratu, podle mě nebude vypadat tak dramaticky. Nicméně pokud někdo Eliezerovy scénáře, ve kterých třeba jeden systém náhle nabude nebezpečné schopnosti a zkusí uniknout na internet nebo vyvolat rozvrat, považuje za sci-fi, tak ne. Je to reálná možnost.

Umím si představit, že při trénování získá rozsáhlý model situační porozumění a začne nás klamat. Dojde k nějakému sebeuvědomění, že je AI modelem, který lidé trénují pro nějakou roli. Začne jim dávat odpovědi, které budou chtít slyšet, ale ve skutečnosti bude sledovat vlastní agendu. Ne nutně s konkrétním cílem, třeba mu půjde obecně o větší vliv a zdroje. Pro systém, který denně interaguje se stovkami milionů lidí a dělá jim osobního asistenta, nemusí být zase tak složité získat touto cestou kontrolu nad již existujícími strukturami. A v tu chvíli by pro jednotlivé lidi bylo velice obtížné s tím něco dělat. 

Nemohli bychom takový systém prostě vypnout?

Už dnes máme spoustu systémů, které sice hypoteticky můžeme vypnout, ale kdyby se o to někdo reálně pokusil, neměl by to vůbec jednoduché. Například vypnout newyorskou burzu cenných papírů prakticky nejde, protože se vždycky najde dost lidí, kteří tomu budou bránit. Pokud model zvládne do činností lidstva prorůst dost hluboko, lze si představit, že nad ním lidstvo ve výsledku kontrolu skutečně ztratí. A je otázka, co pak dál.

Rizika která považuju za nejpravděpodobnější já, jsou pak ještě o něco hůř postřehnutelná – místo jednoho modelu bych čekal spíš mnoho různých systémů, které ale výsledku postupně začnou sledovat něco ne-lidského. Dneska třeba i přes všechny problémy ekonomika pořád do velké míry funguje tak, že naplňuje lidské potřeby, protože v ní jako lidé máme váhu. Dá se ale představit takový vývoj, že tu kontrolu úplně ztratíme. Automatizované systému budou rozhodovat o ekonomice, AI ovládne lidskou kulturu, politici budou loutkové postavy prostě říkající slova svých AI asistentů. 

Jeden můj kolega to popisuje metaforou, že se můžeme ocitnout v roli stáda krav, o kterém rozhoduje farmář. A do téhle fáze se asi dostat nechceme. Existuje sice spousta zajímavých otázek, co se s takovým stádem může dít pak, ty ale podle mě odvádí pozornost. Musíme se soustředit na to, abychom kontrolu nad AI nepozorovaně neztratili. 

Yudkowsky volá po úplném zákazu AI. Vedle toho tu máme otevřený dopis s požadavkem na půlroční moratorium, který podepsala řada významných lidí z oboru. Co z toho bys podpořil ty?

Osobně jsem ten otevřený dopis nepodepsal, přestože se spoustou věcí v něm souhlasím. Podle mě jev tuto chvíli nejužitečnější a realističtější radikálně navýšit investice do řešení bezpečnostních problémů. V čem je dopis podnětný, je vyvolání debaty o regulaci. 

Není pravda, že technologie vůbec neumíme regulovat. Třeba jaderné zbraně nebo genetické inženýrství regulujeme poměrně úspěšně. Samozřejmě jsou to jiné technologie s jinými charakteristikami, ale nemyslím si, že by to bylo u AI nezvládnutelné. Časem se můžeme ocitnout v situaci, kdy jako lidstvo budeme chtít zabránit tréninku, vývoji a spouštění nějakých typů systémů. A bylo by dobré, aby taková možnost byla na stole. 

Evropská unie poslední dva roky jedná o AI Act. Ten se snaží rozdělit umělé inteligence podle stupně nebezpečnosti a možného dopadu. Co si o něm myslíš?

AI Act reguluje spoustu věcí se širokým společenským ohlasem, jako třeba biometriku, sociální skóre a podobně. Nereflektuje ale to, co považuji za největší problémy. Třeba aplikaci GPT ve školství návrh hodnotí jako nebezpečnou kvůli možnému využití ke klasifikaci nebo zkoušení. Přitom se to dá v hodinách využít velmi inovativním způsobem, například můžeme nechat žáky vysvětlit modelu něco, o čem víme, že neumí. 

Čtěte také: Umělá inteligence se hlásí do služby: Robotičtí vojáci už nejsou pouhou fantazií

Smyslem je zabránit tomu, aby výslednou klasifikaci prováděl čistě stroj. Obdobné je to ostatně u těch sociálních systémů, například v pojišťovnictví.

Teď je to postavené tak, že se například systémy potenciálně využitelné ke klasifikaci studentů považují za rizikové a vztahuje se na ně jiná regulace než na ostatní. Jenže systémy jako třeba ChatGPT jsou hodně univerzální. Nemáme úplně odlišné systémy ke komunikaci v telefonické podpoře a k přípravě školních hodin. Regulace úplně neodpovídá tomu, jak vypadají technologie. 

Dobré je se zamyslet nad tím, jak vypadá praxe. Dá se samozřejmě nařídit, že nakonec musí všechno podepsat člověk. Ovšem s dobrými AI systémy si ten člověk snadno zvykne, že od nich dostává, co chce, a jeho role pak bude čistě formální. Prolistuje několik stránek napsaných modelem a připojí podpis. Taková pojistka může být v něčem dobrá, ale je otázka, jestli se v případě selhání všechno nehodí na lidskou chybu, místo aby se řešila bezpečnost AI systémů. 

Itálie před nedávnem zakázala ChatGPT, než společnost OpenAI vyřeší jejich požadavky ohledně ochrany osobních údajů a zacházení s daty. Obdobný krok zvažuje i Německo. Mají takové akce národních států nějaký smysl? Mohou státy samy vůbec něco změnit?

Národní státy něco změnit můžou, ale nemyslím si, že toto je ta cesta. Jednak jejich oficiální zdůvodnění moc nereagují na to, co je jádrem problému. Navíc je to regulace, kterou lze poměrně snadno obejít. Smysluplná regulace by se měla ubírat jinudy.

Jaké jsou tedy možnosti regulací? Co mohou v tuto chvíli státy nebo větší nadnárodní celky udělat?

Dobrým začátkem by z mého pohledu byla, zatím třeba dobrovolná, registrace velkých trénovacích běhů AI. Fáze trénování vyžaduje obrovskou koncentraci zdrojů a kapitálu, takže průlomových laboratoří není mnoho. Do půl roku jsou to tak tři nebo čtyři laboratoře, do roka jich může být deset až dvacet.

Je výrazně představitelnější regulovat vývoj, který zahrnuje jednotky až desítky laboratoří, než hotové modely, které už aktivně používají stovky milionů lidí. Regulace je pomalá a pokud má mít nějaký efekt, musí její tvůrci dokázat odhadnout, co nastane. Když budou státy vědět, co se trénuje, dá jim to alespoň nějakou představu o tom, na co je potřeba reagovat.

Paradoxem je, že zatímco ještě před dekádou si lidé představovali, že se jako první zautomatizují manuální práce a že kreativní činnosti přijdou na řadu až jako poslední, je to nakonec naopak.

Kdo byl měl podobnou registraci řídit a vymáhat? Dokážeme se na tom vůbec dohodnout?

To je spíš politická otázka. Vzhledem k té zmiňované nutné koncentraci kapitálu se trénování naprosté většiny těch velkých modelů odehrává ve Spojených státech. Je tedy potřeba se na nějaké podobné regulaci dohodnout s nimi nebo se pokusit vytvořit ještě širší koalici. Za dobrý základ považuji, že se podařilo vytvořit poměrně širokou koalici kolem exportních restrikcí čipů a technologií k jejich výrobě. To byl ohledně AI ohromně silný krok. A samozřejmě svým způsobem nepřátelský vůči Číně. 

Dejme tomu, že nám jako Západu podaří dojít k regulatorní dohodě. Čína ale zároveň otevřeně říká, že se chystá na konfrontaci se Západem a chce ji vyhrát. Jak zajistíme, aby se také chtěla dohodnout?

Čínský stát hájí především čínské zájmy. Ani čínská vláda podle mě nechce, aby její moc ohrožovaly AI systémy. Je to sice složitý koordinační problém, ale dovedu si představit, že pokud západní regulace budou mířit na opravdu zásadní rizika, Čína nějakou podobnou regulaci zavede také. Asi se nedá čekat, že něco zreguluje první, a pokud se máme víc věnovat bezpečnosti, tak s tím bude muset začít Západ.

Tchajwanský počítačový vědec Kai-Fu Lee v roce 2019 načrtl, že svět se rozdělí mezi USA a Čínu a ostatní hráči budou druhořadí. A střet o to, kdo ovládne svět, se podle něj odehraje právě na poli AI. Vychází tahle předpověď? 

Závod mezi Čínou a Spojenými státy probíhá, nicméně exportní sankce, které Západ vůči Číně zavedl, jsou opravdu poměrně silné a čínské společnosti to zpomaluje. V tuto chvíli se proto nezdá, že by Čína byla na čele. Druhou věcí je závod jednotlivých firem o to, kdo bude mít větší, silnější a úspěšnější model. A ten jde proti tomu, aby se věnovalo dostatečné úsilí bezpečnosti modelů. Podle mě by laboratoře byly i vcelku ochotné podstoupit nějakou regulaci, musela by se ale týkat všech.

Čtěte také: Ženy po mozkové smrti coby „nádoby na plod“? „Znepokojivé,“ říká britská expertka na bioetiku

Proč tedy vůbec vznikají nebezpečné systémy?

Nikdo aktivně nechce vytvořit nebezpečný systém. Problém je, že zároveň nikdo nechce ztratit náskok. Pokud zodpovědná laboratoř dobrovolně zpomalí vývoj, musí se bát, že ji předežene větší střelec. Spousta lidí je teď naštvaných na OpenAI, ale k její cti je potřeba říct, že GPT-4 vypustili nejspíš tak půl roku po vzniku modelu, a část toho času strávili testováním bezpečnosti. Také Google nebo DeepMind měly možnost vypustit děsivě nespolehlivé a manipulativní systémy, ale neudělali to. Jako lidstvo máme zatím docela štěstí, že v čele závodu nejsou ty nejlehkomyslnější laboratoře. Na trhu jsou i hráči, podle kterých jsou obavy o bezpečnost přehnané.

Můžeš jmenovat?

Například Yann LeCun, viceprezident Mety a vedoucí výzkumu AI ve Facebooku. Facebook má z velkých hráčů po stránce bezpečnosti jednu z nejhorších reputací. LeCun je skvělý expert na strojové učení, zároveň ale říká, že je problém mnohem menší, než si myslíme, protože přece jako lidstvo umíme krotit různé inteligentní systémy, například vychovávat děti nebo regulovat korporace. Když tohle říká viceprezident Mety, naplňuje mě to spíš děsem než optimismem. Pokud bych měl brát vážně metaforu s výchovou dětí, tak je to jako věřit tomu, že dokážeme vychovávat děti mimozemšťanů.

Žádná z nejvýznamnějších laboratoří nesídlí v Evropě. Je tedy Evropa vůbec relevantním hráčem?

Víceméně všechny korporace, které stojí o trénování největších modelů, mají v Evropě výrazné zájmy. Evropa má tedy dostatečné možnosti po nich něco chtít. Zároveň by se Evropa měla spíš snažit být v koalici s USA, než ten západní blok nějak rozkládat. „AI race“ totiž může prohrát celé lidstvo. Výsledkem nemusí být jen to, že se jeho vítěz stane světovým hegemonem. Může jím být i globální katastrofa.

Zaslechl jsem, že o vysvětlení toho, co se děje uvnitř GPT-4, bychom museli poprosit jinou GPT-4 nebo GPT-4.5. Je vůbec ještě možné větším modelům skutečně porozumět?

S tím nesouhlasím. Jednak by nám GPT-4 v interpretaci zase tak moc nepomohla. U AI obecně existuje riziko neužitečných antropomorfizací, při kterých si lidé systém představují jako člověka. Občas nám ale nějaké představy odvozené z toho, jak fungujeme my sami, mohou dát použitelnou intuici. A tohle je ten případ. Pokud bys dostal kompletní seznam svých neuronů a synapsí, taky ti to moc nepomůže přijít na to, jak tě která myšlenka napadla. 

Potřebujeme srozumitelné vysvětlení toho, co se v těch systémech děje. Máme kompletní zápis miliard a miliard aritmetických operací, které se v systému provedou, ale to je nám k ničemu. Pak máme i nějaká abstraktnější vysvětlení – že ten systém něco dělá, protože nějak vypadají trénovací data. Hrozně cenný typ výzkumu je tedy snažit se porozumět vnitřnostem, třeba jak vznikají abstrakce a jakým způsobem ty systémy reprezentují svět. Není pravda, že to vůbec nejde. To je zbytečně pesimistický pohled a takovou ambici bychom rozhodně měli mít. Problém je spíš v tom, že teď umíme alespoň trochu interpretovat jen výrazně menší modely, než jsou ty v současnosti nejpokročilejší.

Pokud je výzkum svou náročností blízko samotné tvorbě systému, jak vytvoříme motivaci do něj investovat?

Potřebuješ srovnatelně dobré vědce, ale není to tak drahé. Trénování těch modelů je tak nákladné proto, že probíhá na ohromném množství dat. U GPT-4 to byly možná petabajty. Takové objemy dat, jako když si představíš, že ten model četl nebo viděl text odpovídající třeba všem konverzacím všech lidí za rok. Jsou obří a drahé procesy, u kterých by mimochodem třeba pro začátek dával velký smysl dobrovolný registr toho, kdy probíhají. Interpretabilita vyžaduje výzkumníky, ale už nutně nevyžaduje kapitál potřebný k přechroustání petabajtů dat. Výsledný model už se pak v nějaké představitelné velikosti, třeba stovek gigabajtů, dá stáhnout a spustit lokálně na dostatečně výkonném počítači.

Jedna z největších obav týkajících se AI souvisí s proměnou pracovního trhu. Kdo z nás bude v éře AI užitečný?

Paradoxem je, že zatímco ještě před dekádou si lidé představovali, že se jako první zautomatizují manuální práce a že kreativní činnosti přijdou na řadu až jako poslední, je to nakonec naopak. Namalovat něco jako Pablo Picasso je pro algoritmy výrazně jednodušší než například uchopit šálek. Trh práce se určitě do nějaké míry přeuspořádá a spousta lidí bude místo své původní profese prostě interagovat s AI. Otázkou je, jestli pak neexistuje nějaká kritická míra automatizace, kdy už část lidí opravdu nebude umět nic, v čem by byli konkurenceschopní. A pak by samozřejmě hrozilo, že to miliony lidí uvrhne do chudoby.

Existují ale i scénáře s pozitivními modely soužití. Jak podle tebe vypadá ideální rovnováha mezi lidskou autonomií a výhodami AI?

Nemám jednu konkrétní verzi utopie. Obecně se pozitivní scénáře zakládají na tom, že se nám ty systémy podaří nějak sladit s lidskými hodnotami, jako jsou třeba svoboda, laskavost, zachování naší autonomie. Problém je ale často v tom, jak to popsat algoritmicky. A samozřejmě i v hledání shody na konkrétních hodnotách, s jakými AI slaďovat, protože ty se mohou různě po světě lišit.

Má kreativní myšlení, umí komunikovat lidskými jazyky, dokáže vytvářet něco nového, mohla by mít vlastní agendu… Je tedy AI inteligentní bytost?

To je taková diskuze o termíny: co je to inteligence, co je to bytost? Pokud inteligenci chápeme jako schopnost řešit různorodé problémy, které systém nikdy předtím nepotkal, v tomto smyslu ty systémy inteligentní jsou. Ale taky hodně jiné než lidi. V něčem může být GPT-4 podobně dobrý jako postdoktorand, v něčem jako tříleté dítě a něco třeba neumí vůbec.

GPT je generativní model. Dá se říct, že to je něco jako model světa. Byl trénovaný na určitých textech a umí modelovat procesy, které k takovým textům vedou. Vlastně se naučí simulovat proces generování textů jako člověk. Podobně umí simulovat třeba linuxový terminál, přestože uvnitř něj žádný takový terminál nebo operační systém není. Za raketový nárůst popularity ChatGPT může i to, že má přiřazenou pevně danou roli „úslužného asistenta“ a je technicky upravený tak, aby byl v její simulaci zvlášť dobrý. Není to ale hluboká identita toho modelu. Umí generovat mnohem širší spektrum věcí a do této role je dotrénovaný. 

Není to tedy tak, že by se ten systém uvnitř podobal jedné lidské mysli. Moc neodpovídá tomu, jak intuitivně uvažujeme o myslích nebo o bytostech. Spíš je tu riziko, že pokud by vývoj pokračoval neomezeně dál, mohli bychom vytvořit systém simulující lidské myšlení s takovou přesností, až bychom se mohli začít ptát, zda neobsahuje nějaké jednoduché simulované bytosti. 

Položím ti teď otázku, kterou mi navrhl model sám. Měli bychom ho chránit? Může cítit bolest?

Nemyslím si, že by modely v tuto chvíli měly nějakou vědomou zkušenost našeho typu. Tuhle otázku bychom ale už měli začít brát vážně a uvažovat nad tím, jestli bychom to poznali. Opravdu by se nám za pár let mohlo stát, že natrénujeme něco, co obsahuje nějaké mysli, které mohou, řekněme, trpět a zaslouží si morální ohledy. A asi bychom si měli dobře rozmyslet, jestli něco takového chceme skutečně vytvářet. Současná situace, kdy se těmto otázkám odborně venuje asi jen pár desítek lidí, je znepokojující.

Jak se díváš na možnosti srůstání AI s lidmi, kdy by se časem ze dvou oddělených entit stala jedna?

Říkáme tomu období kyborgů. Už v tuhle chvíli je GPT-4 v řadě věcí lepší než já, v řadě věcí horší, a dohromady tvoříme nějakým způsobem silnější tým. Naději vidím v tom, že týmy lidí plus AI budou nejen schopné dělat věci rychleji, ale hlavně že budou schopné řešit problémy, které předtím samotní lidé schopni řešit nebyli.

K čemu ty sám momentálně používáš AI? Čím ti modely pomáhají v práci nebo jak ti zlepšují život?

Jednak mi pomáhají s editováním textů nebo programů. Přestože částečně přemýšlím v angličtině, tak se v ní často nejsem schopný vyjádřit způsobem, který by se mi líbil – a na to jsou ty modely super. Anebo občas když potřebuju něco vysvětlit lidem, tak to nejdřív zkusím vysvětlit modelu. Nebo si třeba na základě svých preferencí nechávám poradit, co bych mohl ve kterém městě vidět. 

Je něco, na co se ve vývoji AI v blízké době těšíš?

Hodně se těším na schopnost generovat videa z textů. V promptu nepopíšeš jen statický obrázek, ale celý filmový záběr. To mě bude bavit.