Praktický provoz automatizovaných vozidel ukazuje na řadu omezení či neschopností si poradit s některými situacemi. Část těchto omezení nevyplývá ani tak ze samotné technologie, jakožto spíše z toho, že její tvůrce nenapadlo tyto technologie na některé situace naprogramovat či přizpůsobit.

Například výzkumníci Technologického Institutu v Georgii zjistili, že autonomní vozy mají problémy s rozpoznáním chodců s tmavší barvou pleti. Při simulaci auta s větší pravděpodobností srážela právě tyto chodce. Během zkoumání příčin výzkumníci zjistili, že do vzorku chodců pro senzory byli zahrnuti spíše jenom běloši. Senzory mají problém také s rozpoznáním žluté barvy na semaforu, což může v některých případech vyústit v nebezpečné situace.

Pro senzory jsou dále náročné na vyhodnocení cyklisté, jelikož jsou velmi proměnlivým podnětem. To automatizovaným vozům často komplikuje rozhodování. Proto jsou například v Nizozemsku navrhována i řešení, kdy nedojde k integrování automatizovaných aut do běžné dopravy, ale spíše k oddělení jednotlivých druhů dopravy.

Autonomní shuttle firmy Navya v ulicích Vídně (foto: archiv CDV)

Kromě senzorů má svoje omezení i netechnologická část vozidla. Například dle manuálu společnosti Waymo je potřeba při zastavení ponechat aspoň jedny dveře auta otevřené, aby bylo zajištěno, že vůz sám neodjede. Manuál má také rozsáhle zpracované kapitoly zaměřené pro případ nehody, z čehož si lze vyvodit, že automatizované vozidlo může od nehody samo od sebe ujet. V případě nehody je tak nejspolehlivější způsob vyřadit z provozu baterku vozidla.

Zvláštní kategorie jsou agresivní reakce od ostatních účastníků provozu. Kromě reakcí přímo v provozu se vyskytují i nedopravní incidenty. Při testování autonomních aut společnosti Waymo v Arizoně došlo v posledních dvou letech minimálně k 21 incidentům, při nichž byly autům prořezány pneumatiky, a auta se také stala obětí spršky kamenů. Dle výzkumů zastává většina místních obyvatel spíše negativní postoje k automatizovaným autům.

Útoky nemusí být jen fyzické, automatizované dopravní prostředky jsou terčem také hackerských útoků. V současnosti padají hackerům za oběť například elektrické koloběžky Xiaomi, které lze na dálku buďto zrychlit nebo rozjet. V případě autonomních vozidel nicméně nadále zůstává skutečností, že nejslabším článkem v kyberbezpečnosti zůstává člověk.