Technologie nás přivedly na okraj války i v minulosti
Ta zpráva zní hodně děsivě: chyba umělé inteligence (AI) vyslala do vzduchu americké stíhačky, aby zaútočily na čínskou loď. Obě země byly údajně jedinou minutu od útoku, a tedy možná zahájení války. Kdo by to ale chtěl využít jako další argument proti rozvoji AI, měl by si nejdřív připomenout, že podobná situace nastala v minulosti několikrát. Dávno před zrodem AI.
Podle zpráv, s nimiž zřejmě jako první přišla CNN, totiž umělá inteligence chybně vyhodnotila, že jedna z čínských lodí na Blízkém východě převáží součásti pro jaderný program. Stalo se tak letos na jaře a armáda se měla podle CNN začít připravovat na zadržení plavidla s tím, že ve vzduchu byla vojenská letadla a vojáci se chystali na nalodění. Naštěstí několik zodpovědných osob prověřilo závěry AI „ručně“ a usoudilo, že jde o omyl. Přesněji řečeno, špatné vyhodnocení nákladu.
Nabízí se závěr, že umělá inteligence je nebezpečná. Ale mnohem blíž skutečnosti by asi bylo, že spoléhání se na umělou inteligenci je nebezpečné. Navíc není ani novinkou, že selhaly jakékoliv technologie ještě předtím, než se AI přestěhovala ze světa experimentů do praxe.
spíše než AI je nebezpečné se na ni spoléhat
Asi nejslavnější je případ z roku 1983. Tehdy sovětský varovný systém Oko vyhodnotil odrazy světla od mraků jako zážehy motorů mezikontinentálních raket. Na sovětské straně tak vzniklo varování, že na území státu míří pět nosičů jaderných hlavic. Naštěstí duchapřítomný důstojník Stanislav Petrov usoudil, že kdyby Spojené státy chtěly zaútočit, bylo by těch raket mnohem víc. Požádal o prověření informací dalšími radary a teprve potom informoval o incidentu vyšší patra. Možná tím zabránil jaderné válce.
Mýlil by se však, kdo by si myslel, že něco takového se mohlo stát jen v SSSR. Dokonce ještě dřív, v roce 1979, došlo v jednom z počítačů velitelství protivzdušné obrany USA k záměně magnetické pásky. Na té, která v počítači neměla co dělat, ale ocitla se v něm, byla simulace sovětského útoku. Naštěstí se i tady našli důstojníci, kteří nechali vše prověřit jinými cestami a pohotovost, resp. poplach se nakonec zrušil.
Aby toho nebylo málo, o zhruba sedm měsíců později začaly systémy znovu hlásit útok. Naštěstí pro svět, především Američany a obyvatele SSSR, čísla na obrazovkách údajně skákala tak zmateně, až bylo poměrně rychle jasné, že tady něco nehraje. Přesto piloti nasedli do kokpitů a generálové nechali vzbudit Zbigniewa Brzezinského, aby o všem zpravil prezidenta Jimmyho Cartera.
Jinými slovy, omyly techniky jsou tak staré, jak dlouho ji lidstvo používá. Případů, které na rozdíl od těch zmíněných měly tragický konec (například pacienti zavraždění násobně silnějším ozařováním, než by odpovídalo léčbě), je řada.
Ve třech popsaných případech nakonec – stejně jako v tom aktuálním – zabránil katastrofě člověk. Nebo lidé. V souvislosti s AI anebo prostě i jen se strojovým učením se ale vkrádají hned tři myšlenky:
- Nedostaneme se do fáze, kdy bude tak rychlá a integrující tolik zdrojů a dat, že je prostě nebudeme s to kontrolovat? V případě, jako je ten z letošního jara, lze kontrolovat nikoliv ji, ale její výsledek. Ale co případy, kdy prostě nelze použít běžné radary, teploměry apod.? Nemluvě o tom, že ne vždy vidíme do jejích procesů.
- Dáme jí v případě, kdy ji nebudeme moct zkontrolovat, autonomii v rozhodování?
- A nehrozí, že veřejně přístupné modely použije i někdo, kdo měl přitom věci řešit jinak a jednotlivé kroky ověřovat? Což se možná právě teď stalo (údajně důstojník použil AI dokonce i k napsání reportu).
Těch otázek by mohlo být více, ale už tyhle stačí, abychom z toho byli nervózní. Zvlášť, když šlo o potenciální konflikt s Čínou a její obří armádou.
P.S. I při psaní tohoto komentíře poslužila AI jako vyhledávač některých faktů. Jenže na rozdíl od jiných si staří boomeři ta nalezená fakta následně ověřují v originálních zdrojích.