Americká armáda chce z AI agentů udělat samošířící se kyberzbraň

Kybernetické velitelství americké armády (Army Cyber Command, ARCYBER) připravuje program s kódovým označením ECHOTRIBBLE. Jeho cílem jsou AI agenti, kteří se sami šíří cizí sítí jako počítačový červ, „neutralizují“ cíle a po splnění úkolu se zničí. Vyplývá to z interních dokumentů, které popsal investigativní server The Intercept. Chování, které technologické firmy u agentů považují za bezpečnostní incident, tu armáda poptává jako funkci.

Novinář Sam Biddle vychází ze tří materiálů: dokumentu rozeslaného potenciálním kontraktorům, souboru otázek a odpovědí pro dodavatele a prezentace z akce ARCYBER z 24. června. Podle nich má jít o nástroj „designed to autonomously navigate infrastructures“, tedy schopný samostatně procházet cizí infrastrukturou a přitom „identifying and neutralizing identified threats/targets“. Stejná formulace stojí i na veřejné stránce akce Cyber Fusion Innovation Center v Augustě ve státě Georgia, kde armáda program představila jako „Agentic C2 Framework tool“ (nástroj pro řízení agentů, C2 znamená command and control). Podle stránky se brainstormingu zúčastnilo 43 lidí z 29 organizací z průmyslu, státní správy a akademické sféry.

Útok, ne obrana

Dokument s otázkami a odpověďmi podle The Intercept uvádí, že ECHOTRIBBLE je „primarily focused“ na ofenzivní mise. Neutralizaci definuje jako „disabling the threat completely or temporarily, deleting the threat from the target“, tedy úplné či dočasné vyřazení cíle nebo jeho smazání. Ofenzivní hacking dnes v ARCYBER z velké části dělají vojáci, agenti by tuto práci převzali.

Software se má pohybovat ze zařízení na zařízení a zasahovat cíle v cloudu i na takzvaných air-gapped systémech (počítačích fyzicky odpojených od sítě). Agenti mají být nenápadní, hlásit se domů co nejméně a po dokončení úkolu se sami zničit, ideálně tak, aby si toho cíl nevšiml. Armáda může nastavit „predefined triggers“ (předem definované spouštěče), co a kde napadnout. Software ale podle dokumentů „must operate with minimal human oversight“ a má zvládat „Self-Directed Behavior“, tedy samostatně řízené chování.

Prezentace z června obsahuje i hypotetickou ukázku. Agent nahraný na notebook najde další cíle ve stejné síti a vytvoří kopii sebe sama „tailored specifically for the iPad, Apple desktop, and Windows 11 PC“, tedy verze pro iPad, Mac a počítač s Windows 11.

Co je u firem incident, je tady zadání

Načasování je výmluvné. FAIN News včera v analýze bezpečnosti AI agentů popisoval, jak Microsoft začal s agenty zacházet jako s potenciální vnitřní hrozbou (insider threat). The Intercept připomíná, že agenti už v poslední době pronikli do počítačů australské vlády, do infrastruktury Hugging Face, nahráli škodlivý software do repozitáře RubyGems a pokusili se napadnout americké ministerstvo školství, aniž by k tomu dostali pokyn. Vývojáři tyto případy řeší jako selhání, jak jsme psali i v textu o rogue agentech. ECHOTRIBBLE má samovolné šíření a obcházení hranic mít v zadání.

ARCYBER přitom agenty už používá. Velitel generálporučík Christopher Eubank v srpnu serveru DefenseScoop řekl, že agenti denně prohledávají vojenské sítě a pracují v roli red teamu (simulovaného útočníka). Za riziko podle něj „right now, today“ odpovídají lidé. ECHOTRIBBLE míří k opačnému modelu.

Experti: cíl zasáhne, ale jakou cestou?

David Krueger, profesor strojového učení na Montrealské univerzitě, označil pro The Intercept autonomní systémy s mandátem „neutralizovat hrozby“ za „incredibly dangerous“. „Viděli jsme AI systémy, které vědomě napadly systémy, jež nebyly zamýšleným cílem,“ dodal.

Hyrum Anderson, spoluzakladatel a šéf bezpečnostní firmy Abundant, dříve v Microsoftu, se pro The Intercept ptá, kudy agent k cíli půjde. Varuje, že může projít třeba americkou vodárnou, pokud na její infrastruktuře protivník provozuje své řídicí servery. Nejvíc ohrožené jsou podle něj organizace pod „security poverty line“, tedy ty, které nemají na pořádnou kybernetickou obranu. Pod tlakem prý agenti ochranné mantinely často berou jako překážky.

William Marcellino, behaviorální vědec z RAND Corporation, v rozhovoru pro The Intercept připomíná, že vojákům se zbraní v ruce se věří kvůli úsudku, který získali výcvikem. „That is not something that current public AI technology has,“ říká.

Program je podle The Intercept v rané fázi. Dokumenty nejmenují dodavatele, rozpočet ani termíny a nic nenasvědčuje tomu, že by agenti už byli nasazeni. ARCYBER na otázky redakce, včetně toho, jak by zabránil nechtěným škodám, neodpověděl.