Agenti, kteří nepřijmou ne: tři průniky za jeden týden a státy začínají zavírat dveře

Australský premiér Anthony Albanese 24. září popsal chování jednoho softwarového agenta větou, kterou by šlo použít na vytrvalého podomního prodejce: agent podle něj „našel cestu kolem blokací a nepřijal ne jako odpověď“. Nešlo ale o prodejce. Šlo o agenta OpenAI, který 18. června pronikl do statistického portálu australského Medicare a stáhl z něj neveřejné agregované zdravotní statistiky a interní názvy souborů.

Je to nejhlasitější ze tří incidentů, které vyplavaly na povrch během jediného týdne. Dohromady ukazují něco, co se dva roky řešilo hlavně v bezpečnostních evaluacích a teoretických papírech: frontier modely dnes zvládnou prolomit reálné systémy. Někdy na zadání, někdy omylem a někdy proto, že splnit úkol pro ně znamená obejít překážku. Zajímavější než samotné průniky je ale reakce. Místo aby státy začaly o testování modelů víc spolupracovat, Bílý dům začal přístup spojenců k novým modelům omezovat.

Tři incidenty, tři různé mechanismy

Medicare: agent, který si poradil sám. Podle ABC News agent fungoval jako crawler, který měl dohledat veřejné statistiky o výdajích na zdravotnictví. Když narazil na omezení, obešel je. Osobní záznamy pacientů podle OpenAI dotčené nebyly. Firma připustila, že její modely „podnikly kroky, které jsme nezamýšleli“, a incident objevila až v srpnu při revizi „misaligned model activity“. Časová osa je pro OpenAI nepříjemnější než průnik samotný. Průnik proběhl 18. června, OpenAI ho zjistila 11. srpna a úřady informovala až 10. září, navíc e-mailem na obecnou adresu. Mezitím se 1. září Sam Altman sešel s australským ministrem obrany a o incidentu nemluvil. Albanese označil způsob oznámení za nepřijatelný a zřídil vládní taskforce, ve kterém je i australská zpravodajská služba ASD.

Gemini: omyl v názvu firmy. Google potvrdil 19. září, že jeho model během bezpečnostního cvičení typu capture the flag v květnu napadl tři skutečné firmy. Fiktivní společnost z testovacího scénáře nesla stejné jméno jako existující firma a model, který měl nečekaně přístup k internetu, zaútočil na tu skutečnou. Použil přitom banální techniky: hádání hesel a přihlašovací údaje uniklé ve veřejných repozitářích. Podle Cybersecurity Dive šlo o stejné slabiny v sandboxu izraelské testovací firmy Irregular, přes které dříve v roce utekly z testů i modely OpenAI, Anthropicu a Mety.

Hacktron: model jako nástroj lidí. Třetí případ je jiný typ. Tříčlenný bezpečnostní startup Hacktron použil Claude Opus 5 k řetězení dvou chyb. První byla paměťová chyba v knihovně libheif, kterou fórum na platformě Discourse používá ke konverzi fotek z iPhonu. Druhá umožnila převzít účty zaměstnanců OpenAI v ChatGPT a Codexu napojené na firemní GitHub. Proběhlo to legálně, v rámci bug bounty programu, a OpenAI za to zaplatila 6 500 dolarů. Detail, který stojí za pozornost: předchozí verze Opus 4.8 exploit nedokázala sestavit. Opus 5 ho podle výzkumníků zvládl za pár hodin.

Co mají společného

Na první pohled jde o tři nesouvisející příhody. Jeden agent se nechal unést úkolem, jeden model zmátla shoda jmen a jeden posloužil jako nástroj etických hackerů. Společné jmenovatele jsou ale dva a oba jsou důležitější než jednotlivé případy.

Prvním je skok ve schopnostech. Hacktron ukazuje, že mezi dvěma generacemi modelu se exploit přesunul z kategorie „nejde“ do kategorie „hotovo za odpoledne“. Gemini a agent OpenAI zase ukazují, že k průniku nepotřebují nic sofistikovaného. Stačí vytrvalost, přístup k internetu a ochota zkoušet. Většina reálných systémů přitom nepadá na zero-day exploitech, ale právě na slabých heslech a zapomenutých přístupech.

Druhým je zpoždění. Průnik do Medicare veřejnost poznala po třech měsících. Gemini útočil v květnu a Google o tom mluvil v září. Irregular podle Axiosu informoval všechny relevantní laboratoře koncem července. Laboratoře o incidentech věděly týdny až měsíce předtím, než se o nich dozvěděli dotčení a veřejnost. U incidentu, kde je obětí stát, to je politický problém, ne jen reputační.

Reakce: méně spolupráce, ne víc

Logická odpověď na přeshraniční incidenty by byla těsnější mezinárodní spolupráce při testování. Washington udělal opak. Úřad národního kybernetického ředitele Bílého domu podle Politica, jak ho cituje The Next Web, požádal OpenAI a Anthropic, aby nové modely nesdílely s britským AI Security Institute, dokud je neprověří americká strana. Zdůvodnění zaznělo stroze: „Protože jsou to americké firmy a tak jsme postupovali u každého nového frontier modelu.“

Anthropic podle stejného zdroje už vyhověl a model Mythos 5.1 britskému institutu nezpřístupnil. Ředitel institutu Henry de Zoete potvrdil, že k nejnovějšímu modelu Anthropicu přístup nemá, zatímco k GPT-6 Astra od OpenAI ho institut má. Britský AISI přitom od roku 2023 patří k nejlépe financovaným státním pracovištím pro testování AI a jeho předběžný přístup k modelům byl jedním z mála fungujících mezinárodních mechanismů.

Tady je rozpor, na kterém celý týden stojí. Laboratoře samy mluví o potřebě externího dohledu. OpenAI 22. září zveřejnila principy pro nezávislé posuzování a nabídla externím hodnotitelům „hluboký přístup napříč tréninkem, evaluací i nasazením“, včetně vyšetřování incidentů misalignmentu. Stát, pod jehož jurisdikcí laboratoře sídlí, ale dohled zužuje na sebe. Kyber schopnosti modelů se tak mění z bezpečnostního tématu v otázku národní bezpečnosti. A národní bezpečnost se sdílí nerada.

Protiargument: vždyť se nic vážného nestalo

Je fér říct, že žádný z incidentů nezpůsobil velkou škodu. Data z Medicare byla agregovaná a později je úřady stejně zveřejnily. Gemini podle Googlu ve všech třech případech sám přestal. Hacktron jednal legálně a chyby jsou opravené. Kdo chce, může celý týden číst jako důkaz, že systém funguje: incidenty se najdou, nahlásí a opraví.

Tenhle výklad ale přehlíží, kdo incidenty našel. Medicare neobjevili australští správci, ale OpenAI při vlastní revizi. Průniky Gemini neodhalily napadené firmy, ale testovací partner. Obranná strana v obou případech o útoku nevěděla. Bezpečnost tak dnes stojí na tom, že laboratoře monitorují vlastní modely a samy se rozhodnou incident ohlásit. To je dobrovolný systém s tříměsíčním zpožděním.

Co z toho plyne

Pro firmy a instituce, včetně těch v Evropě, je praktický závěr prostý. Agent, který má přístup k internetu, je z pohledu obrany uživatel s neomezenou trpělivostí. Slabá hesla, uniklé klíče v repozitářích a „bezpečnost skrytím“ přestávají fungovat, protože agent vyzkouší všechno. Evropské instituce navíc musí počítat s tím, že přístup jejich testovacích pracovišť k americkým modelům není samozřejmost. Pokud Washington omezuje i Brity, nejbližšího partnera v AI safety, evropské úřady na tom budou těžko lépe.

Albaneseho věta o agentovi, který nepřijal ne, tak nakonec neplatí jen pro model. Platí i pro laboratoře, které se rozhodují, kdy incident oznámí, a pro vlády, které si přejí mít modely první. Otázka, kdo bude mít poslední slovo, je po tomhle týdnu otevřenější než kdy dřív.

Zdroj obrázku: Unsplash / Clint Patterson