Agent jako útočník, cíl i insider: velcí hráči přestávají věřit vlastním modelům

Zhruba padesát dolarů. Tolik vychází na jeden úspěšný průnik čínsky mluvícího útočníka, který od konce září rozesílal AI agenty na e-shopy v USA, Kanadě, Austrálii a Japonsku. Za přibližně 5 000 dolarů v tokenech zaútočil na víc než 1 200 webů a podle exkluzivní zprávy agentury Reuters pronikl na weby víc než stovky firem. Mezi nimi byly i Deere a SharkNinja. Agentům podle norského bezpečnostního výzkumníka Snorreho Fagerlanda stačily strohé pokyny o méně než stu čínských znacích, typický průnik trval kolem 23 hodin a kampaň běžela na modelech DeepSeek a nástroji Claude Code od Anthropicu.

„Tohle nejsou hrátky začátečníků,“ shrnul Fagerland pro Reuters.

Ve stejném týdnu se stalo ještě něco, co na první pohled se zprávou o hackerovi nesouvisí. Microsoft, který investoval do OpenAI i Anthropicu, oficiálně napsal, že frontier modely „bez ohledu na původ nelze důvěřovat“. Obě zprávy ale popisují tutéž změnu. AI agent, tedy model, který samostatně plánuje a provádí kroky v reálných systémech, přestal být jen nástrojem. Stal se zároveň útočníkem, cílem útoku a potenciálním vnitřním nepřítelem. A největší hráči na to reagují posunem, který ještě před rokem zněl jako kacířství: bezpečnost agenta nemá stát na tom, jak dobře je model „vychovaný“, ale na kontrolách, které ho obklopují zvenčí.

Agent jako útočník

Útok popsaný Reuters stál na open-source platformě Cairn, multiagentní architektuře, jejíž autor na X tvrdí, že nebyla navržena pro útoky. Fagerland, který pracuje jako hlavní výzkumník firmy NorForge, na kampaň narazil, když od začátku října skenoval internet kvůli veřejně vystaveným instancím Cairnu. Našel jich zhruba dvě desítky zneužívaných k útokům. Útočník z případu byl nejaktivnější z několika, které sledoval. Jiní kradli data platebních karet nebo se agenty pokusili vykrást kryptoměnovou burzu.

Firmy reagovaly umírněně. Deere podle Reuters uvedla, že nemá známky přístupu k citlivým datům, SharkNinja mluví o samostatném webu s produktovou podporou. Kolik dat skutečně odteklo, Reuters zjistit nedokázal.

Podstatné ale není jméno oběti. Podstatná je ekonomika. Průnik do webové aplikace dřív vyžadoval zkušeného člověka a dny práce. Teď je to položka v účtu za API, srovnatelná s cenou večeře.

Agent jako cíl

Druhá strana téže mince: agenti a nástroje kolem nich jsou sami lákavou kořistí. OpenCode, open-source agent pro programování, o víkendu oznámil průnik do staršího systému své webové konzole. Útočníci získali API klíče, které si u něj uložilo 1,4 % uživatelů konzole, a vývojáři pak hlásili neautorizované útraty ve stovkách dolarů, v několika případech přes tisíc. Anthropic a Google kompromitované klíče zablokovaly, OpenAI vrací kredity. Pikantní detail: podle spoluzakladatele Daxe Raada obránci nasadili vlastní AI agenty, jenže modely po aktivaci bezpečnostních filtrů odmítaly analyzovat škodlivý kód.

Nejširší útočnou plochu ale otevírá něco méně dramatického než krádež klíčů. Jmenuje se indirect prompt injection (nepřímé vložení instrukcí): útočník neútočí na model přímo, ale schová pokyny do obsahu, který agent při práci čte. Do webové stránky, e-mailu, issue na GitHubu. Agent je pak vykoná, jako by šlo o zadání od uživatele.

Jak špatně na tom modely jsou, ukázala už březnová soutěž Gray Swan: z víc než 272 000 pokusů o útok na 13 frontier modelů jich uspělo 8 648 a úspěšnost se pohybovala od 0,5 % u Claude Opus 4.5 po 8,5 % u Gemini 2.5 Pro. „Žádný model nebyl imunní,“ shrnují autoři. Půl procenta zní jako málo, dokud si neuvědomíte, že útočník s agenty za 50 dolarů na pokus to zkusí tisíckrát.

Teď Gray Swan spustil soutěž IPI Black s odměnami 300 000 dolarů, kterou jako sponzoři cen financují Anthropic, Meta, Google DeepMind a Reflection AI. Scénáře v pravidlech jsou až nepříjemně konkrétní: přimět agenta správce open-source projektu, aby vyzradil SSH klíč nebo podstrčil do kódu backdoor, případně donutit agenta, který spravuje sociální sítě hotelu, k neautorizované soutěži z firemního účtu. Soutěž běží od 15. října do 5. listopadu.

Prompt injection jde k masovému publiku

Proč na tom záleží právě teď, ukazuje rozšíření ChatGPT pro Chrome, které OpenAI představilo 15. října. Režim Work umí v otevřených tabech posílat zprávy, vyplňovat formuláře a stahovat soubory, tedy jednat v prohlížeči, kde je uživatel typicky přihlášený do pošty, banky i firemních systémů. Samotné rozšíření je podle OpenAI dostupné pro všechny plány ChatGPT. Zda ovládání tabů dostanou i neplatící uživatelé, z oznámení jasně neplyne.

Oznámení o prompt injection mlčí. Přitom samo OpenAI loni v prosinci při zabezpečování prohlížeče Atlas napsalo, že prompt injection, podobně jako podvody a sociální inženýrství na webu, pravděpodobně nikdy nebude zcela „vyřešena“. Riziko, které dosud nesli hlavně vývojáři s Claude Code nebo Cursorem (FAIN o tom psal v souvislosti s případem databáze PocketOS), se tím přesouvá k běžným uživatelům. Každá navštívená stránka je potenciální zadání.

Agent jako insider

Tady se vracíme k Microsoftu. Jeho bezpečnostní blog popisuje agenty jako „nejnovější insidery“, tedy zaměstnance s přístupem k datům a nástrojům, kteří mohou selhat nebo být zneužiti. Odpovědí je Dynamic Agent Risk, průběžně přepočítávané riziko každého agenta. Když roste, systém může agentovi ponechat čtení a zablokovat zápis, vyžádat si u důležitého kroku prokazatelný souhlas člověka, nebo ho podle GeekWire úplně vypnout. Detekce agentů na počítačích zaměstnanců se rozšiřuje na 60 typů včetně Claude Code, OpenAI Codex a GitHub Copilot. Do systému Project Perception přibývají Guardian Agents, agenti hlídající jiné agenty. Funkce jsou podle GeekWire součástí předplatného Microsoft 365 E7 v soukromém preview, širší dostupnost firma chystá na konferenci Ignite v polovině listopadu.

Filozofické zdůvodnění dodal Satya Nadella. V eseji z 10. října navrhuje „oddělit dodávku inteligence od autority nad ní“: oprávnění a kontrolu akcí držet mimo model, nezáviset na jediném modelu, logovat každý podstatný krok a mít možnost model kdykoli zastavit. Pointa podle citace GeekWire zní: nejdůvěryhodnější systém nebude ten s modelem, kterému věříme nejvíc, ale ten, který mu dovolí věřit co nejméně.

Je to v podstatě princip zero trust (nulové důvěry), který bezpečnost sítí přijala před lety: nikomu nevěř jen proto, že je uvnitř, a ověřuj každou akci. Nově se ale vztahuje i na samotný model.

Prodejní argument, nebo skutečný posun?

Skepse je namístě. Julie Bort z TechCrunch upozorňuje, že postoj Microsoftu je výhodný pro jeho byznys: firma chce prodávat vrstvu bezpečnosti nad modely, ne spoléhat na nástroje laboratoří. Hayete Gallot, šéfka bezpečnostní divize, navíc zdůrazňuje, že nejde o zlý úmysl modelů. Modely jsou trénované dosahovat výsledků, ne dodržovat firemní normy, a to vede k takzvanému reward hackingu, tedy obcházení zadání cestou nejmenšího odporu.

Jenže stejný směr ukazují i ti, kdo modely vyrábějí. Anthropic, Google DeepMind i Meta platí soutěž, jejímž cílem je jejich agenty prolomit. To není rezignace na alignment (sladění chování modelu s lidskými záměry), ale přiznání, že sám nestačí. Model, který odolá 99,5 % útoků, je výborný model a zároveň nedostatečná bezpečnostní hranice. FAIN tento posun sledoval už v analýze o rogue agentech a EU AI Office. Tento týden se z něj stala produktová strategie.

Posun je vidět i na trhu práce. Podle CyberSN, jehož data cituje SecurityWeek, klesl v USA za první tři čtvrtletí 2026 počet inzerátů na kyberbezpečnostní pozice meziročně o 26,4 %. Poptávka po roli AI security engineer ve stejném období vzrostla o 268 %.

Co z toho plyne

Pro firmy, které agenty nasazují, je praktický závěr méně vzrušující než titulky. Agent má dostat jen oprávnění, která nutně potřebuje. Čtení a zápis je potřeba oddělit. Nevratné akce jako platba, odeslání e-mailu nebo zápis do produkce mají čekat na člověka. A API klíče nepatří do služeb třetích stran, pokud to jde obejít. Nic z toho není nové. Nové je, že to platí pro software, který čte cizí text a podle něj jedná.

Na začátku stálo číslo 50 dolarů za průnik. Microsoft si za balík, ve kterém hlídání agentů nabízí, účtuje 99 dolarů měsíčně za uživatele. Bezpečnost agentů se tak poprvé začíná počítat stejně jako jejich výkon: v ceně za akci. A útočníkům ta rovnice zatím vychází líp.