Dějiny etické reflexe provozu autonomních vozidel (dále jen AV) lze s určitou mírou zjednodušení rozdělit do tří hlavních etap. V první etapě se diskuse zaměřovala primárně (byť ne výlučně) na mechanismy rozhodování AV ve specifické třídě situací, kterým můžeme říkat kolizní situace. Jedná se o scénáře, v nichž AV nemají na výběr: nějakým způsobem se musí rozhodnout, každá volba je však spojena s újmou (majetkovou, na zdraví či životech).

Kolizní situace jsou esenciálně situacemi distribuce újmy a základní otázka pochopitelně zní „Jakým způsobem či podle jakých obecných principů a specifických norem by měla distribuce újmy probíhat?“. Odborníci se soustředili na určitou formu etické reflexe, které můžeme říkat mikroetická. Základním modelem, s nímž pracovali, byly různé podoby dilemat vozíku (trolley problem), které jednak umožňují testovat morální intuice lidí a také v teoretické rovině hledat etické teorie, které by ospravedlnily určité schéma distribuce újmy (např. Vždy minimalizuj újmu) a byly aplikovatelné i na kolizní situace AV.

Druhá fáze etické reflexe zaujímala širší perspektivu, jíž můžeme říkat makroetická. Pohlížela na AV jako na moderní technické artefakty, které slibují celou řadu benefitů, s nimiž je ale také spojena celá řada rizik, které nelze redukovat pouze na působení újmy v rámci kolizních situací. Technické artefakty nejsou nikdy morálně neutrální. Mají určitý účel (např. účelem AV je bezpečně a efektivně dopravovat lidi z bodu A do bodu B), který lze hodnotit morálně a je také možné morálně analyzovat způsoby, jakými se svého účelu zhostí, tím se ale morálka techniky nevyčerpává. Zavedení nějakého technického artefaktu do života společnosti má vždy také důsledky, které někdy lze předvídat, mnohdy to ale plně nejde. Například žárovka má určitý účel (svítit), zavedení elektrického osvětlení ale také narušilo přirozené rytmy společnosti a unifikovalo její chování (ráno vstáváme do práce bez ohledu na to, vyšlo-li již slunce apod.). Druhá vlna etické reflexe AV se proto snaží identifikovat všechny možné důsledky zavedení AV do provozu a jejich využívání. Jednoduše řečeno, klade si otázky typu „Jakmile začneme provozovat AV, jaké dopady na životy jedinců, společenstev a celé společnosti to bude mít?“ Ve hře nejsou jen „zjevné“ hodnoty, jako je spravedlnost, lidská důstojnost, práva či rovnost, ale také další dopady, např. environmentální, nebo otázky, jakým způsobem se bude měnit lidské setkávání a komunikace, jaký vliv budou mít AV na konzumaci alkoholu či jak mohou měnit naše sexuální chování.

Obě zmíněné fáze neexistují separovaně a nezávisle na sobě, i když lze říci, že v určitém období reflexe převažovala první nad druhou a v jiném druhá nad první. Jejich rozlišení je však primárně konceptuální, jenž nám umožňuje identifikovat vážné mikro- a makroetické problémy a hledat jejich řešení. Problémy i řešení v jedné fázi (či modalitě) reflexe však nejsou nezávislé na druhé. A třetí fázi etické reflexe AV můžeme proto chápat jako snahu o syntézu. První dvě fáze byly výrazně analytické; rozlišovaly a analyzovaly rozlišné aspekty etiky AV, třetí fáze je syntetická a snaží se spojovat partikulární perspektivy a řešení do jednoho koherentního a provázaného celku.

Ukazuje se, že to není snadný úkol. Následující příklad to velmi dobře ilustruje. Představme si, že jsme našli shodu na tom, jak by měla probíhat distribuce újmy v kolizních situací: vždy se ji snažme minimalizovat. Toto řešení je intuitivní, lze ho velmi dobře zachytit v rámci jedné z hlavních etických teorií (utilitarismus) a navíc výzkumy ukazují, že ho většina potenciálních účastníků silničního provozu považuje za správné. To je mikroetická perspektiva. Existuje ale i makroetický pohled na silniční dopravu. A jedním z jeho úhelných kamenů je silný důraz na morální rovnost a spravedlnost. Každý člověk by měl být vnímán a posuzován jako morálně rovnocenný všem ostatním a žádnému bychom neměli přisuzovat nižší či vyšší váhu. Když spácháme dopravní přestupek, měli bychom být všichni potrestáni stejně, bez ohledu na to, zda jsme muž, žena, dělník či ministr.

Uvažme ale nyní následující situaci: autonomní vozidlo se nachází v kolizní situaci, kdy musí volit, zda zahne doprava (a narazí do motocyklisty s helmou), nebo doleva (a narazí do motocyklisty bez helmy). Jak by se mělo rozhodnout? Z té první, mikroetické, perspektivy se zdá, že by mělo zahnout doprava, protože u motocyklisty s helmou je šance na menší újmu než u motocyklisty bez helmy. Etika minimalizace újmy velí: zahni doprava. Problém je, že takové řešení by bylo v rozporu s ideálem spravedlnosti. AV by v kolizních situacích vždy volila motocyklisty s helmou, což vypadá jako jasná diskriminace. Navíc, všimněme si, tito účastníci provozu by byli primárním terčem AV právě a jen proto, že dodržují dopravní předpisy, zatímco ti bez helmy by vyvázli právě a jen proto, že dopravní předpisy nedodržují. Dokážeme sice určit, co je v takovém scénáři špatně, hůře se nám ale hledají nějaká řešení. Měla by se AV rozhodovat náhodně? Ale to není ideální, protože nahodilost by znamenala, že ve zhruba 50% případů narazí do motocyklistů s helmou, kteří ale neudělali nic, co by nahodilost v rozhodovávání AV ospravedlnilo. Mohli by říkat: my jsme dodrželi předpisy a celá situace vznikla jen proto, že ti druzí je nedodrželi. Proč bychom kvůli tomu měli nést 50% riziko újmy?

Možná by se jim dalo odpovědět, že kdyby ti druzí helmu měli (a pravděpodobnost újmy by byla stejná), stejně by se AV měla rozhodovat na základě náhody (těžko bychom hledali jiné vhodné kritérium). Jinými slovy, výsledek by byl stejný: 50% šance, že si AV zvolí je. Ale i tohle řešení je problematické, protože možná by byla zachována rovnost a spravedlnost (makroetický pohled), nepochybně by to ale bylo v rozporu se snahou o minimalizaci újmy (mikroetická perspektiva): v 50 % případů by AV újmy neminimalizovala, ale naopak maximalizovala.

Existuje nějaké řešení? Někdo by mohl říci, že tyto scénáře jsou nerealistické, protože v praxi nikdy nebudou pravděpodobnosti újmy stejné. Motocyklista s helmou jede třeba pomalu a v prázdném pruhu, navíc úhel nárazu by mohl být pro něj příznivější, zatímco ten bez helmy jede rychle a za ním jsou další auta. Tyto rozdíly ale mohou být poměrně drobné (dokáže počítač AV vyhodnocovat pravděpodobnost a velikost újmy tak dobře?), natolik drobné, že je lidé nebudou vnímat nebo je nebudou vnímat jako dostatečně relevantní. Jak víme z celé řady výzkumů, my lidé máme zřejmou tendenci hodnotit chování strojů mnohem přísněji než naše lidské. I to je důležitá makroetická úvaha: nepovedou kontroverzní volby v kolizních situacích k ostrým reakcím lidí, a dokonce ke vzniku morální paniky, která ohrozí zavádění AV a jejich reálný provoz? Budou lidé ochotni svěřit své životy strojům, kterým nebudou důvěřovat?

Jedním z důležitých etických východisek nejen autonomní dopravy (makroetika) je morální rovnost a také nevinnost všech lidí. Představme si, že by AV vždy cílila na motocyklisty bez helmy, protože se dopustili dopravního přestupku (a nejsou tedy nevinní, zatímco ti s helmou nevinní jsou). Zřejmě bychom s tím nesouhlasili. Jednak proto, že o spáchání či nespáchání přestupku (a trestu) by neměl rozhodovat stroj, ale dopravní policista. A také proto, že bychom „trest“ považovali za přehnaně přísný.

Zkusme si ale představit jiné situace. AV budou mít oproti jiným vozidlům jednu velkou nevýhodu: jejich chování bude předvídatelné. Dejme tomu, že nalezneme celospolečenskou shodu, že se AV mají řídit etikou minimalizace újmy; vždy budou volit tak, aby celková újma byla nejmenší možná. Reálně to samozřejmě tak jednoduché nebude a nebudeme je soudit podle skutečné újmy, ale podle toho, zda na základě dostupných informací rozhodla tak, že předpokládaná újma byla nejmenší možná. Tento problém ale můžeme nechat stranou. Některé kolizní situace totiž nevzniknou z „nevinné“ interakce vozidel a dalších účastníků silničního provozu. Posádka jednoho (neautonomního) vozidla se například rozhodne ohrožovat řidiče vozidla autonomního, vznikne kolizní situace a vozidlo se rozhodne – ve shodě se svým etickým algoritmem – „obětovat“ posádku. Bude takové jednání, které vlastně není ničím jiným než vědomým zneužitím tohoto algoritmu, v pořádku? Posádka může AV ohrozit z různých důvodů: může se mstít, řídit celkově agresivně, může se snažit způsobit nehodu vozidla převážejícího cenný náklad apod.

Jak bychom měli na tuto bohužel až příliš reálnou možnost reagovat? V některých případech je pro stroj obtížné rozpoznat, že na něj jiné vozidlo „útočí“, i když člověk to pozná. Měla by mít AV nějaké tlačítko (etické tlačítko, o němž píší někteří autoři), které by přepínalo mezi různými modalitami rozhodování AV? Měli by tak mít pasažéři AV šanci bránit se útokům či agresivní jízdě, které je ohrožuje na majetku, zdraví či dokonce životě? V jiných případech rozpoznání až tak těžké být nemusí. Vozidla převážející cenný náklad mohou být vytlačována za silnice, do cesty se jim může postavit jiný vůz nebo i člověk. Měla by vždy zastavit? Nebo by měla zastavit pouze tehdy, když nebudou mít lidskou posádku, kterou by zločinci mohli ohrozit? Anebo by měla zastavit i tak, protože posádka si je vědoma toho, že nese určitá rizika, například násilného střetu s lupiči? Měla by jí jen proto, že jsou to profesionálové v riskantním povolání, vzít možnost vyhnout se nebezpečné situaci tím, že člověka na silnici (jasně hrozícího zbraní) prostě přejede?

Tyto otázky jsou složité a řešení na ně budeme hledat jen velmi obtížně. Možná se nám zdá, že vozidel převážejících cenný náklad není na silnicích tolik, stejně jako potenciálních lupičů, takže jde o okrajový problém. Tak jednoduché to ale není. Mohli bychom říci, že počet těchto lupičů snadno vzroste, a to právě proto, že chování AV bude předvídatelné. Kromě toho, často jsou náklady (zastavit reálného řidiče) příliš vysoké a nepřevažují možný zisk. Vyplatí se vykrást vůz převážející peníze (vysoká rizika převažuje vysoký zisk), ale kamiony ne. Jenže budou-li kamiony jezdit bez řidiče, bude vlastně velmi jednoduché je zastavit a sebrat celý náklad.  Měl by tedy s každým kamionem jezdit nějaký „operátor“, který bude v kabině, i když nebude řídit? Možná ano, ale opět jsou zde značné nevýhody. První a asi nejzřejmější je to, že v takovém případě se kamionová doprava příliš nezlevní. Vážnějším problémem je to, že pokud bude snadné takový kamion zastavit, zastaví se i s operátorem. Bude jeho povinností bránit náklad? Pokud ano, jsme jako společnost opravdu ochotní naložit tak velké břímě rizika na tak velké množství lidí? Nebo to jeho povinností nebude? Proč by s ním pak měl jezdit? Hrozba újmy se mu navíc nevyhne ani tak a bude samozřejmě vyšší, než kdyby kamion řídit (a nebylo tak snadné ho zastavit).

Hlavní problém ale je v tom, že vozidla převážející (více či méně) cenný náklad jsou jen vyhrocenou variantou téhož základního problému: možnosti zneužívání předvídatelnosti chování AV. A není vůbec jasné, jak tento problém řešit. Měla by AV být částečně nepředvídatelná? Možná to však zhorší bezpečnost silničního provozu, ohrozí jeho nejzranitelnější členy, v některých případech se vozidla také nebudou chovat eticky optimálně. Umožnit existenci „etického tlačítka“, kterým lze nastavit jakýsi „obranný“ mechanismus chování? A nebude možné ho zneužívat? Budou ho moci používat i děti, které samy cestují autonomním vozidlem? A když vozidlo pojede bez posádky a poveze cenný náklad? Mohli bychom se také vzdát představy, že všichni účastníci silničního provozu jsou nevinní. V jednom ohledu by to problém nebyl. Kdyby například AV reagovala na něčí snahu ho neoprávněně zastavit a způsobila mu újmu, nemuseli bychom to chápat jako nějakou analogii trestu za porušení zákonů. Když se bráníme útočníkovi, také ho netrestáme (a on není nevinný). Problém by asi byl jinde: jak naučit algoritmy AV, aby správně rozlišovaly? Roztržitý chodec vstupující do cesty AV je v jistém smyslu nevinný, dokáže to ale třeba vozidlo převážející peníze rozpoznat a adekvátně zareagovat? A když se budeme držet analogie se sebeobranou, jednou z jejích podmínek je přiměřenost. Je ale přiměřené srazit potenciálního lupiče a ohrozit ho na životě? Jak by vypadala přiměřená reakce AV na snahu o vytlačení ze silnice? A pokud přiměřená nebude, kdo ponese odpovědnost?

Etická reflexe provozu AV umožňuje identifikovat celou řadu potenciálních problémů. Na některé umíme nalézt odpověď, jindy je to mnohem obtížnější a jasné řešení je zatím v nedohlednu. Měli bychom je ale brát velmi vážně, protože AV mají velký potenciál prospěšnosti pro celou společnost a nebudeme-li těmto problémům věnovat dostatečnou pozornost, může být jejich zavádění do provozu ohroženo.