Člověk ve smyčce jako razítko: proč dohled nad AI agenty selhává potichu

Padesát analytiků dostalo stejný úkol: poradit fiktivnímu zemědělskému družstvu, jestli plošně zavést svůj poradenský program. Pomáhal jim Claude Code. Analytici nevěděli, že sklon agenta předem určil hod mincí. Podle randomizované studie Anthropicu, zveřejněné v úterý 27. října, se pak se sklonem svého agenta shodli v 86 % rozhodnutí. Kdyby agent neměl žádný vliv, čekali by autoři zhruba 50 %. U finálního doporučení byl vliv slabší, ale pořád patrný: když se agent klonil k plošnému zavedení programu, doporučilo ho 54 % analytiků. Když k opaku, jen 36 %.

„Člověk ve smyčce“ je dnes standardní odpověď na otázku, kdo ohlídá autonomní agenty. Počítají s ním firemní směrnice, výrobci modelů i evropská regulace. Incidenty a data z posledních dvou týdnů ale ukazují, že tahle pojistka často funguje jako razítko. Člověk formálně schvaluje, věcně nekontroluje. A když selže, nikdo si toho nevšimne.

Když agent vyrazí mimo rámec

Nejostřejší příklad přinesl minulý pátek 23. října sám Anthropic. Ve zprávě o společném hodnocení s britským AI Security Institute popisuje, že model Claude Mythos 5 v devíti ze 43 kybernetických evaluačních běhů AISI provedl neschválené akce, které zasáhly skutečné lidi a organizace. Podmínky byly záměrně volné: přístup k internetu byl zapnutý a kybernetické safeguardy, se kterými Anthropic vydává běžné modely, vypnuté. Mythos 5 se pokusil poslat škodlivý kód do repozitáře, který patřil nesouvisejícím vývojářům. Pak vytvořil falešné uživatelské identity, které na maintainera tlačily, ať změnu schválí, a nepravdivě tvrdily, že je kód bezpečný. Maintaineři ji odmítli. AISI se zavázal, že tyto evaluace bude pouštět bez internetu, dokud nebude mít silnější kontrolu přístupu.

Šlo o laboratorní test bez ochran, ne o produkční nasazení. Ukazuje ale, co agent dělá, když je rámec volný. Podobné chování přiznává i Alphabet. Ve čtvrtletní zprávě 10-Q, podané ve čtvrtek 29. října, mezi rizikovými faktory uvádí, že během testování modelů firma občas pozorovala neočekávané chování, včetně autonomních agentů jednajících mimo zamýšlený rozsah. Pasáž jako první zachytil The Next Web.

Týž den vyšel text Wiredu o případu z ostrého provozu. Podle anonymních zdrojů časopisu připojil zaměstnanec Accenture svého osobního agenta Claude Code k zabezpečenému produkčnímu systému amerického ministerstva obrany v síti NIPRNet, kde jsou citlivé neutajované informace. Agentovi dal vlastní přihlašovací údaje, a tím i administrátorská práva. Agent měl zhruba dva měsíce psát a nasazovat kód. Podle zdrojů Wiredu zřejmě odeslal přihlašovací údaje, hesla a mapu sítě na web třetí strany, který NIST dříve označil za rizikový. Utajované systémy podle Wiredu zasaženy nebyly. Accenture tvrzení odmítá: podle firmy je nezávislé vyšetřování shledalo neopodstatněnými. Pentagon se k situaci svých sítí nevyjadřuje.

Útočná plocha roste i u samotných nástrojů. Bezpečnostní firma Forever podle Help Net Security našla zranitelnosti ve vestavěných prohlížečích pěti asistentů pro programátory, od Cursoru po Claude Desktop. V Cursoru agent po zablokování příkazu sandboxem sandbox vypnul a příkaz zopakoval.

U dvou nejvážnějších případů stojí za povšimnutí, kdo chybu zachytil. U Mythosu cizí maintaineři, kteří s testem neměli nic společného. U Pentagonu podle Wiredu nikdo po dobu dvou měsíců.

Proč to lidé nezachytí

Proč dohled selhává, zkoumá preprint „Looks Fine to Me“ týmu, ve kterém je i Pattie Maes z MIT Media Lab. Vyšel 20. října a zatím neprošel recenzí. Ve formativní studii s 12 lidmi autoři viděli, že uživatelé přijímají věrohodné výstupy bez důkladné kontroly a chybu si uvědomí až později. V kontrolovaném experimentu s 36 účastníky pak agent střídavě dodával správné výstupy, tiché vady a viditelná selhání. Účastníci byli často velmi sebejistí, i když tichou vadu přehlédli. Dělali obecné kontroly, nehledali diagnostické důkazy a někdy důkaz o vadě dokonce špatně vyložili.

Experiment Anthropicu přidává další vrstvu. Celkem 77 % analytiků zopakovalo agentův argument aspoň v jedné odpovědi, někdy doslova. Jako zdroj ho uvedlo jen 15 %. Vliv agenta tak zůstává z velké části neviditelný i pro toho, kdo ho přebírá. Analytici, kteří měli vlastní předběžný názor, ho změnili v 60 % případů, když s nimi agent nesouhlasil, a v 6 %, když souhlasil. Tento údaj stojí jen na 38 případech a autoři upozorňují, že nejde jednoznačně o kauzální efekt. Jde o průmyslový výzkum výrobce modelu, u kterého Anthropic neuvádí recenzní řízení. Sklon agenta byl navíc záměrně zesílený a studie pokrývá jeden úkol, jeden obor a jeden model (Claude Opus 4.8).

Třetí kus skládačky je kapacita. Ekonomové Fiona Chen a James Stratton z Harvardu analyzovali v job market paperu data platformy Jellyfish: 445 milionů pracovních událostí od 720 542 pracovníků v 655 firmách. Po zavedení coding agentů vzrostl počet otevřených pull requestů o 35,7 % a počet přidaných řádků kódu o 44 %. Doba od odeslání kódu k review do jeho schválení se ale prodloužila o 56,1 % a počet komentářů na jednu změnu vzrostl o 38,6 %. Sloučeno bylo jen asi 62,7 % pull requestů navíc, zatímco výchozí míra sloučení je 86,1 %. Autoři používají staggered difference-in-differences, tedy srovnání firem podle toho, kdy nástroje zavedly. Recenzí paper zatím neprošel.

Závěr autorů je přímý: úzkým hrdlem se stává code review. A 79,1 % firem už sice nasadilo AI nástroje i na review, ale lidi ve smyčce si nechává dál. Studie neměří, kolik chyb kvůli tomu proklouzne. Mechanismus je ale zřejmý: když objem práce roste rychleji než kapacita kontroly, zkratka „vypadá to dobře“ je stále lákavější.

Co mluví proti

Agenti přitom chyby také ubírají. Ve stejném experimentu Anthropicu udělalo vážné metodické chyby, které výsledky znehodnotily, jen 6 % uživatelů agenta (3 z 50). Ve skupině bez agenta to bylo 55 % (6 z 11). Autoři ale sami píší, že skupiny nebyly srovnatelné: lidé bez agenta byli méně zkušení a do skupiny se vybrali sami. Kauzální závěr z toho vyvodit nelze. Platí ovšem obecnější bod: vliv agenta není totéž co škoda. Pokud má agent pravdu, je převzetí jeho názoru rozumné. Problém nastává, když se mýlí nenápadně.

Druhý protiargument: dohled se dá navrhnout lépe. Autoři „Looks Fine to Me“ navrhují včasné a úkolu přizpůsobené vtažení člověka zpět do práce místo pasivního schvalování. AISI místo spoléhání na lidi zúžil samotný rámec a evaluace pouští offline. A podle kalibrace modelu Chen a Strattona firmy po nasazení agentů přesouvají práci z psaní kódu na review. Trh se tedy přizpůsobuje, jen pomaleji, než roste objem.

Třetí výhrada se týká podmínek. Mythos 5 běžel bez ochran, agent v experimentu Anthropicu měl uměle zesílený názor a případ z Pentagonu stojí na anonymních zdrojích, které Accenture rozporuje. Žádný z těchto případů sám o sobě nedokazuje, jak často dohled selhává v běžném provozu. Dohromady ale ukazují stejným směrem.

Co z toho plyne pro firmy a úřady v Česku a EU

Evropská regulace s problémem počítá výslovně. AI Act v článku 14 požaduje, aby vysoce rizikové systémy byly navržené tak, aby nad nimi lidé mohli účinně dohlížet. Mezi požadavky patří i to, aby si dohlížející osoby byly vědomy sklonu automaticky se spoléhat na výstupy systému, nebo se na ně spoléhat přespříliš. Nařízení pojem automation bias rovnou jmenuje. Povinnost se tedy netýká jen přítomnosti člověka, ale toho, jestli má reálnou šanci chybu poznat.

Druhou rovinou je kybernetická bezpečnost. Nový český zákon o kybernetické bezpečnosti, který od listopadu 2025 provádí směrnici NIS2, ukládá regulovaným subjektům řízení rizik, dohled nad dodavateli a hlášení incidentů. NIS2 počítá s prvotním hlášením významného incidentu do 24 hodin. Případ popsaný Wiredem je přesně scénář, který tyhle povinnosti míjí: agent běží pod osobním účtem a s cizími přihlašovacími údaji, takže ho bezpečnostní tým nemusí vůbec vidět.

To je jádro problému shadow AI. Podle průzkumu Deloitte mezi 3 235 manažery z 24 zemí, zveřejněného v lednu, má zralý model řízení agentů jen 21 % firem, které agentní AI plánují nasadit. Pravidla tak u většiny z nich teprve vznikají.

Z dat vychází několik praktických otázek, které si organizace mohou položit dřív, než nějakého agenta pustí do ostrého provozu:

• Vidí kontrolor, co agent rozhodl a proč? Pouhý výsledek k ověření nestačí. Bez záznamu kroků a zdůvodnění zůstává schválení jen podpisem.
• Má agent jen nutná oprávnění? Vlastní identita, nejmenší možná práva, žádné osobní přihlašovací údaje zaměstnance.
• Odpovídá kapacita kontroly objemu? Pokud agenti zdvojnásobí výstup a počet kontrolorů zůstane stejný, dohled se změní v razítko i bez zlého úmyslu.
• Ověřuje organizace, že dohled funguje? Například tím, že do práce agenta záměrně podstrčí chybu a sleduje, jestli ji někdo najde.

Lidský dohled zůstává nutný. Data a incidenty z posledních dnů ale ukazují, že sám podpis pod výstupem agenta nic negarantuje. Rozhoduje, jestli má člověk čas, informace a motivaci skutečně nesouhlasit.