Mezinárodní společenství by se mělo dohodnout na zákazu autonomních zbraní, domnívá se odbornice Amnesty International Verity Coyle. Umělá inteligence v ozbrojených konfliktech neumí spolehlivě zaměřovat cíle, vraždí nevinné a navíc posiluje diskriminaci. Odpovědnost za zabití člověka by i nadále měl nést jedině člověk, argumentuje.
„Rusko se nás snaží přesvědčit, abychom rezignovali na tvorbu mezinárodního práva, protože ho stejně nedokážeme vymáhat. Na to bychom neměli přistoupit,“ varuje expertka a aktivistka londýnské pobočky Amnesty International Verity Coyle. Tvorba mezinárodních standardů je podle ní stále důležitá, aby se zločiny nejen ve válkách daly pojmenovávat a postihovat.
V souladu s tímto principem se aktuálně spolu s Amnesty International a koalicí Stop Killer Robots snaží prosadit mezinárodní zákaz využívání autonomních zbraní ve válečných konfliktech, na hranicích či v práci policie. Do České republiky Verity Coyle přijela na pozvání Ministerstva zahraničí. O autonomních zbraních hovořila při svém veřejném vystoupení, které pořádal Ústav mezinárodních vztahů společně s nadací Heinrich-Böll-Stiftung a jež jsem měla možnost moderovat.
Co si máme vlastně pod pojmem autonomní zbraně představit? Můžete je definovat?
Jde o zbraně, které jsou ve svých kritických funkcích nezávislé na lidech. Po aktivaci umějí vybrat, vyhledat a zaměřit cíl a potom proti němu násilně zakročit bez jakéhokoli lidského podnětu. Útok podniknou, pokud informace z jejich senzorů odpovídají naprogramovanému profilu vojenského cíle. Člověk přitom nestanovuje čas ani místo útoku.
Máme mnoho důkazů, že se technologie na rozpoznávání obličejů či emocí často pletou a významně narušují soukromí.
Existují také napůl autonomní zbraně, kde je člověk v některých krocích zapojen: například si ta zbraň umí najít svůj cíl, ale o útoku rozhodne až člověk.
Zdá se, že mezi autonomními zbraněmi a sledovacími technologiemi, které pro tyto systémy sbírají data, je relativně tenká hranice. Vy byste rádi zakázali i systémy rozpoznávání obličejů, které jsou pro autonomní zbraně klíčové. Proč? (O používání sledovacích softwarů v Latinské Americe přinese Voxpot v úterý článek; pozn. redakce)
V rámci Amnesty International a širšího hnutí za občanská a politická práva existuje mnoho organizací, které kritizují rozpoznávání obličejů nebo využívání detekce emocí, například pomocí senzorů snímajících teplotu těl. Zjistí se tak, zda je někdo v davu neklidný, což pro prediktivní policejní práci (predictive policing) nebo autonomní zbraně může znamenat, že se chystá provádět nezákonnou činnost.
Čtěte také: Technologie na export diktátorům i do rukou policie. Jak je na tom Česko s biometrickým sledováním?
Tyto senzory ale nedokážou rozpoznat, že je někdo neklidný, protože mu umřel rodič, měl opravdu špatný den nebo dostal pokutu za parkování. Máme mnoho důkazů, že se technologie na rozpoznávání obličejů či emocí často pletou a významně narušují soukromí. Jako Amnesty International bychom si přáli, aby takové aplikace umělé inteligence byly zakázány.
Také argumentujete, že umělá inteligence ve skutečnosti není tak chytrá, jak si myslíme, ale že se vlády a vývojáři zbraní chovají, jako by tomu tak bylo. Jaké jsou tedy klíčové problémy umělé inteligence, kvůli kterým je její použití v ozbrojených konfliktech obzvláště nebezpečné?
Ve vývojářském centru jenom těžko předpovíte, jak to bude vypadat na bitevním poli. Umělá inteligence může být třeba naprogramována tak, aby našla loď a zaútočila na ni. V laboratoři lze spočítat velikost, hmotnost a rychlost plavidla, způsob, jak se pohybuje, pomocí čehož ho algoritmy zaměří.
Čtěte také: Umělá inteligence se hlásí do služby: Robotičtí vojáci už nejsou pouhou fantazií
Jenže poté se přesuneme do konfliktní situace, kde se odehrává mnoho nepředvídatelných věcí. Dochází k výbuchům, věci létají vzduchem a plavou ve vodě. Loď se v těchto podmínkách nepohybuje standardně, zejména pokud je poškozená. Umělá inteligence v takovém prostředí cíl nerozpozná a místo toho zaútočí třeba na záchranný člun. Nikdy nebudete moci natrénovat v laboratoři konfliktní scénáře, protože ty se neustále mění.
Pokud autonomní zbraň zlikviduje špatný cíl, zabije třeba civilistu, kdo je za to zodpovědný?
V OSN se o problému odpovědnosti diskutuje, ale zatím nebyl vyřešen. Vlády se nedokážou shodnout na tom, zda by za rozhodnutí autonomních zbraní měli zodpovídat velitelé, nebo vývojáři těchto systémů.
Technologie rozpoznávání obličejů, vyvíjené i na základě nelegálního stahování našich fotek, zesilují rasovou diskriminaci a ohrožují právo na protest.
Mluví se často o tom, že autonomní zbraňové systémy musí být srozumitelné a předvídatelné. Ale není jasné, jak velitel v poli porozumí složité sadě kódů, které určují, co bude stroj dělat v různých scénářích. Pro to by potřeboval zcela novou úroveň dovedností. Pokud navíc stroje budou upravovat své parametry přímo na bojišti pomocí strojového učení, stanou se ještě nesrozumitelnějšími.
„Inteligentní“ samopal
Můžete na konkrétních příkladech popsat, jaké autonomní zbraně i v jaké míře se dnes používají?
Jejich počet roste exponenciálně. Mezi autonomními zbraněmi jsou nejrozšířenější drony. Například bezpilotní letouny Reaper byly původně zaměřeny pouze na průzkum, ale dnes umí identifikovat cíle a mohou sloužit i jako zbraň pro pozemní útoky nebo pro protivzdušnou obranu. Další již užívané autonomní zbraně jsou turecké drony STM Kargu nebo ruské Kalašnikov KUB-BLA.
V roce 2021 panel expertů OSN konstatoval, že systém Kargu 2 autonomně zaútočil na jednu z bojujících frakcí v Libyi, což byl vůbec první případ svého druhu. Drony KUB-BLA pak dle neověřených zpráv používají Rusové na Ukrajině.
Čtěte také: Americká armáda má nového mazlíčka: robotického psa s puškou. Čekají nás války strojů?
V Gaze se zase technologie na rozpoznávání obličejů dlouhodobě využívají na hraničních přechodech, a v minulém roce na jednom z přechodů přibyl také samopal ovládaný umělou inteligenci. Je to docela mrazivý příklad toho, jak se rozpoznávání obličeje spojuje se strojem se schopností zabíjet.
Tento příklad z Gazy ukazuje, že autonomní zbraňové systémy najdou uplatnění například u policejních sil nebo na hranicích. V čem je problém takového užití?
Technologie rozpoznávání obličejů, které jsou vyvíjeny pomocí nelegálního stahování našich fotek ze sociálních sítí, zesilují rasovou diskriminaci v policejní práci a ohrožují právo na protest. Zejména černošské a menšinové komunity jsou vystaveny riziku nesprávného zatčení na základě technologie, která se velmi často mýlí. Používají ji také majitelé bytů, aby sledovali chování nájemníků z řad menšin, nebo americké imigrační úřady proti lidem bez dokumentů. V případě protestů je zase technologie na rozpoznávání obličejů nástrojem hromadného sledování.
Europarlament navrhuje zákaz využívání umělé inteligence ke sledování ve veřejném prostoru, rozpoznávání emocí či k prediktivní policejní práci.
Abych ještě rozvedla izraelský příklad, na kontrolních stanovištích města Hebron na okupovaném Západním břehu izraelské úřady používají experimentální nástroj pro rozpoznávání obličejů – známý jako Red Wolf – k dalšímu omezení pohybu Palestinců. To je podle našeho názoru automatizovaný apartheid.
Kdybyste měla jmenovat země, kde se autonomní zbraňové systémy většinou vyvíjejí a používají, tak bych z toho, co říkáte, hádala, že je to Izrael, pak USA…
Obrovské investice vojenského i soukromého sektoru do autonomních zbraňových systémů vidíme v USA, Velké Británii, Francii, Austrálii, Izraeli. Zájem o tyto technologie má i Indie nebo Rusko. Určitě je tam přímá úměra s velikostí armád. Samozřejmě že země, které jsou nejvíce pokročilé ve vývoji těchto zbraňových systémů, také nejvíce protestují proti jejich mezinárodní regulaci.
Autonomní odzbrojení
Zastavme se tedy u zmíněné regulace. Jste členkou řídicího výboru koalice Stop Killer Robots. Můžete nám představit tuto platformu a její cíle?
Stop Killer Robots je globální koalicí více než 180 mezinárodních, regionálních a národních nevládních organizací. Amnesty International je jedním z devíti subjektů v řídicím výboru této koalice. Naším cílem je přijetí nové mezinárodní smlouvy, která by zakázala plně autonomní zbraňové systémy. Napůl autonomní systémy bychom pak rádi přísněji zregulovali.
Kdo by měl takovou smlouvu vyjednat a jak by potom byla vymáhána?
Existují různé způsoby vytváření odzbrojovacích smluv. Někdy je to přes Valné shromáždění OSN, někdy přes speciální úmluvy. Jednou z nich je Úmluva o některých konvenčních zbraních (Convention on Certain Conventional Weapons; CCW), která reguluje některé typy zbraní s nízkou rozlišovací schopností. My si myslíme, že by mohl vzniknout nový protokol k této Úmluvě, který by zahrnul právě autonomní zbraně.
Čtěte také: Bodu, od kterého už umělá inteligence nepůjde vypnout, si ani nemusíme všimnout, říká Kulveit
Které vlády podporují tento protokol?
Ze států, které CCW podepsaly, podporuje závazný protokol o zákazu autonomních zbraní 91 vlád, dalších 34 postoj nedeklarovalo. Pouze hrstka členů CCW se vyjádřila proti závaznému nástroji. Jde například o Austrálii, Indii, Estonsko, Izrael, Japonsko, Polsko a Rusko. Mezi významné nedeklarované země patří Francie nebo Německo, které výrazně ovlivňují postoj celé EU. Takže bychom byli opravdu rádi, kdyby se posunuli na naši stranu.
A jaký je v celé věci postoj České republiky?
Vaše vláda nepatří k těm 91, co protokol explicitně podporují. Existují nicméně vyjádření, která naznačují, že možnost zákazu smrtících autonomních zbraní vnímá spíše pozitivně.
Co si myslíte o unijním Aktu o umělé inteligenci, o němž na červnovém plénu hlasoval Evropský parlament? Myslíte, že tohle nařízení bude stačit?
Akt o umělé inteligenci se určitě ubírá správným směrem. Evropský parlament například navrhuje zákaz využívání umělé inteligence ke sledování ve veřejném prostoru, rozpoznávání emocí nebo k prediktivní policejní práci. Konkrétně tento zákaz je hodně důležitý, protože prediktivní policejní práce je obrovský problém v celé Evropě. Uvidíme, co se v nařízení nakonec udrží. Taková regulace by určitě měla velký efekt i na státy mimo EU. Často stačí, aby jeden region něco ošetřil, a zbytek světa se pak inspiruje.
Kontroverzní mocní hráči
Pojďme se podívat ještě na mocenská centra mimo EU. Ze Silicon Valley v poslední době vycházejí hlasy znepokojené z rychlého rozvoje umělé inteligence. Jejich příkladem je otevřený dopis podepsaný mimo jiné Elonem Muskem. Ten volá po pozastavení vývoje AI do chvíle, než stihneme zvážit její dopady a ošetřit rizika. Zároveň ale existují i silné obchodní zájmy na tom, aby se dále rozvíjela, a to i ve zbraňových systémech. Jak vnímáte pozici Silicon Valley?
Silicon Valley bude i nadále hrát zásadní roli v rozvoji technologií, a v diskusi o jejich regulaci proto musíme s názory odborníků z tohoto špičkového centra počítat. Varování ohledně umělé inteligence, která odtamtud aktuálně přicházejí, jsou dost ostrá.
Můžeme argumentovat, že mezinárodní právo již zachránilo bezpočet životů a že by mělo být aktualizováno, aby pokrylo i nové hrozby.
Je zajímavé, že vlády pořád nechtějí poslechnout ani jednoduchý apel na to, aby se vývoj umělé inteligence na čas pozastavil. Aby lidstvo pochopilo, co se děje, a zamyslelo se nad tím, jaký vztah chce mít s tímto typem technologie, jak se vyvíjí, a jaké má chyby.
Takže Silicon Valley stojí na správné straně, ale vlády jej neposlouchají?
To je dost zjednodušující. Postoje různých technologických společností se samozřejmě liší. Zároveň pořád vyvíjejí technologie, které mají negativní dopady zejména na mladé lidi po celém světě. Takže nedokážu jednoduše říct, že stojí na správné straně.
Můžete přiblížit postoj Spojených států k regulaci autonomních zbraní – ke zmíněnému protokolu CCW?
USA vyvinuly nezávazný kodex ošetřující využívání autonomních zbraní, který obsahuje tak 90 % toho, za co se zasazujeme. Ve Spojených státech sice takové kodexy většinou dobře implementují, pořád to ale odvádí pozornost od potřebného řešení, kterým je právně závazná smlouva. Problém je, že USA se proti závazným nástrojům dlouhodobě vymezují.
A co další světové mocnosti – Čína, Rusko? Je vůbec možné, že by na zákaz autonomních zbraní přistoupily?
Čína na papíře podporuje vznik právně závazného nástroje. Ale dokud nebude jasný mandát a nezačne se vyjednávat nad konkrétním zněním smlouvy, není úplně jasné, co to v praxi znamená.
Čtěte také: Komunistou musí být i umělá inteligence. Jak Čína kontroluje jazykové modely?
Rusko je proti právně závaznému nástroji. V rámci konvence CCW jeho zástupci jednají dost problematickým způsobem, a to jak z hlediska obsahu, tak i z hlediska přístupu občanské společnosti. Opakovaně se pokoušejí uzavřít zasedání OSN tak, aby se nemohl zúčastnit nikdo jiný nežli členské státy této organizace. To z jednání vylučuje například EU nebo Palestinu, kde přitom s autonomními zbraněmi mají velké zkušenosti. Pokud jde o obsah, skupina vládních expertů v rámci CCW například vypracovala nadějný dokument, ale vinou Ruska z něj nakonec nezbylo nic mimo formulace typu „podporujeme mezinárodní právo“.
V řadě otázek – týkajících se třeba klimatu či přístupu k jaderným, ale vlastně i autonomním zbraním – často vidím určitý rozpor mezi etikou na jedné straně, a geopolitickým závoděním a zbrojením na straně druhé. Vnímáte to také tak?
Ano, a platí to zejména v armádě a ve válčení. Tam je pořád obrovská touha mít tu nejlepší technologii, získat nad ostatními výhodu. Aktuálně vidíme všeobecný nárůst vojenských výdajů, rozšiřování NATO. Takže tohle je oblast, kde asi etické argumenty fungovat nebudou. Můžeme ale upozorňovat na to, že aktuální mezinárodní právo je zastaralé.
Platné úmluvy jako CCW vznikly dříve, než byla myšlenka autonomie zbraní vůbec na stole. Můžeme argumentovat, že mezinárodní právo již zachránilo bezpočet životů a že by mělo být aktualizováno, aby pokrylo i nové hrozby. Myslím, že právě tak vlády uvidí, že máme pravdu, a začnou konečně něco dělat.
Podívejte se také na naši reportáž o autonomních zbraních:
