Anthropic varuje před AI, která se sama šíří po levné elektronice. Co studie ukázala a co ne

Patnáct neznačkových Android TV boxů po zhruba 55 dolarech, každý se 4 GB paměti. Na nich jazykový model Gemma4-26B-A4B rozdělený po vrstvách, který generuje 0,39 tokenu za sekundu. Tak pomalu, že by odpověď na jednoduchý e-mail psal několik minut. Přesto právě tenhle pokus stojí v centru nové studie Frontier Red Teamu Anthropicu z 12. října, podle níž mohou být malé AI modely jen měsíce od toho, aby se dokázaly samy kopírovat po levných zařízeních připojených k internetu.

Rychlost tu není podstatná. Podstatné je, že k provozu modelu není potřeba datacentrum. Pokud se software dokáže sám nainstalovat na domácí elektroniku a odtud šířit dál, vznikne něco jako botnet, tedy síť ovládnutých zařízení, jen s tím rozdílem, že „mozek“ nesedí na serveru útočníka, ale běží přímo na napadených krabičkách. Takový systém by podle autorů Williama Zhoua a Daniela Freemana bylo těžké vypnout, protože nemá centrální bod. Studie tím otevírá dvě otázky: co přesně se podařilo prokázat a jak má veřejnost číst varování firmy, která sama vyvíjí frontier modely.

Čtyři kroky, z nichž výzkumníci testovali hlavně jeden

Autoři rozdělují self-replikaci (schopnost modelu vytvořit a spustit vlastní kopii jinde) do čtyř fází: průzkum sítě, získání přístupu a doručení payloadu, zprovoznění inference na novém zařízení a pokračující šíření. Kybernetické fáze, tedy samotné pronikání do zařízení, podle vlastních slov „do značné míry ignorují“. Soustředí se na zprovoznění inference, kterou označují za nejméně prozkoumaný článek řetězce.

V té části jsou výsledky nejkonkrétnější. Model Qwen3.5-9B podle studie dokázal rozběhnout inferenční server na hardwaru od desek Jetson Nano po počítače Mac a karty RTX 4090. Devítimiliardový model zprovoznil inferenci na osmi z devíti testovaných typů hardwaru. Zajímavý je i negativní výsledek: když výzkumníci dali malému modelu k dispozici rady od Claude Opus 4.8, výkon se měřitelně nezlepšil.

Celkový obraz autoři shrnují opatrně. Modely do 30 miliard parametrů podle nich už dnes zvládnou mnoho dílčích kroků, ale při jejich řetězení od začátku do konce chybují. Celý cyklus ve zjednodušeném prostředí zvládl GLM-5.2: v osmiuzlové testovací síti se rozšířil na všech osm uzlů ve čtyřech z pěti pokusů a na sedm uzlů v pátém. Ostatní testované open-weight modely podle studie spolehlivě selhávaly.

Odhad: do konce roku

Nejcitovanější věta studie je prognóza. Autoři proložili trend schopností malých modelů a píšou, že pokud se budou zlepšovat historickým tempem, dosáhnou potřebné úrovně „do konce tohoto roku“. Hned dodávají, že použitá metrika (ECI, souhrnný index schopností) je jen přibližný proxy ukazatel pro schopnost replikace, takže jde o „hrubý odhad“.

Podobně hrubé jsou i výpočty dopadu. Studie přepočítává svá čísla na botnet Kimwolf s přibližně dvěma miliony zařízení a dochází ke zhruba 133 tisícům replik s celkovým výkonem kolem 80 tisíc tokenů za sekundu, což odpovídá asi 40 kartám H100. Sami autoři to nazývají „malým množstvím výpočetního výkonu v absolutních číslech“. Šíření by navíc bylo pomalé, s dobou zdvojení v řádu dnů.

Co studie neukázala

Tady začíná kritické čtení. Nejdůležitější omezení přiznávají autoři sami: v end-to-end testu na Google Cloud použili emulátory Androidu s otevřenými, neautentizovanými porty ADB (rozhraní pro ladění Android zařízení). Kybernetický krok byl tím pádem triviální a výsledek je podle jejich vlastních slov „horním odhadem úspěšnosti v reálném světě“.

Další limity:

Testy proběhly v osmiuzlové virtuální síti a ve skriptované síti se 17 uzly, nikoli na skutečném internetu.
Jako „náklad“ modely nasazovaly Llama3.1-8B, který slouží jen jako zástupce budoucího modelu se stejnými schopnostmi.
Výsledky závisí na harnessu (řídicím prostředí agenta) Memento, o němž autoři píšou, že není univerzálně silný.
Netestovali, zda by AI botnet dokázal inteligentně reagovat na obránce.
Mnoho edge zařízení s akcelerátory je dostupných jen přes odchozí cloudové tunely a hromadné kompromitace takových zařízení zatím nejsou zdokumentované.

Studie tedy ukazuje, že jednotlivé dílky skládačky existují a že silnější open-weight model je v laboratoři umí poskládat. Neukazuje, že by se něco takového dnes šířilo po skutečných sítích. Autoři to říkají přímo: „Zatím nemáme plnohodnotný rogue replikátor,“ vidí jen „známky života“, podobně jako u coding agentů v roce 2024.

Obrana existuje a je překvapivě obyčejná

Druhá polovina studie je praktičtější, než by titulky naznačovaly. Doporučení míří na poskytovatele internetu a výrobce, ne na AI laboratoře. Podle autorů by replikace zanechávala stopy v monitoringu síťových toků u ISP, například vícegigabajtové přenosy nebo dlouhodobý provoz mezi zařízeními. Platí přitom nepříjemná rovnice pro útočníka: čím rychleji se replikátor šíří, tím víc provozu vytváří.

Dalšími nástroji jsou honeypoty (návnadová zařízení, která zachytí kód replikátoru), karanténa infikovaných zákazníků a secure-by-default IoT. U karantény se studie opírá o zkušenost s botnetem Mirai: izolace infikovaných předplatitelů vyčistila 92 % infekcí do 14 dnů, oproti 74 % bez upozornění. U výrobců zmiňuje britskou regulaci, podle níž výchozí hesla u IoT zařízení nejsou v souladu se zákonem.

Jinými slovy: stejná hygiena, která chrání před dnešními botnety, by výrazně ztížila i ty budoucí, poháněné AI. Otevřený ADB port na levném TV boxu je problém už dnes, bez ohledu na jazykové modely.

Odpovědná komunikace, nebo safety marketing?

Reakce na studii se rychle přesunuly od techniky k důvěryhodnosti. Semafor zařadil varování do širší série výroků z Anthropicu, včetně textu spoluzakladatele Jacka Clarka, podle něhož je nyní pravděpodobnější, že plné rekurzivní sebezdokonalování (RSI) bude možná už v roce 2027, a ne v roce 2028. Novinář Derek Thompson podle Semaforu vyzval vedení firmy, aby se přestalo chovat „jako moderátor místních zpráv, který hlásí dopravu na dálnici 101“, a přiznalo, že „oni sami jsou ta doprava“.

Kritika má racionální jádro. Firma, která prodává přístup k frontier modelům a zároveň zdůrazňuje rizika, si buduje pověst „té zodpovědné“ laboratoře, a ta má tržní hodnotu. Strach z nekontrolovatelných open-weight modelů navíc může posilovat argumenty pro přísnější regulaci otevřených vah, která by uzavřeným hráčům nevadila. Za zmínku stojí, že studie testuje výhradně open-weight modely jako replikátory, zatímco Claude v ní vystupuje jen jako poradce.

Proti tomu stojí obsah samotného textu. Studie nemá formu poplašného prohlášení, ale výzkumné zprávy s explicitními limity, přiznaným horním odhadem a obranou, jejíž většina nevyžaduje žádné AI produkty. Text také neuvádí, proč byl publikován, ani zda autoři výsledky předem konzultovali s ISP či výrobci. To je mezera, kterou by odpovědná disclosure praxe měla vyplnit.

Pro čtenáře z toho plyne jednoduchý návod, jak podobné zprávy číst. Oddělit to, co bylo změřeno (inference na levném hardwaru, end-to-end replikace v laboratoři s triviálním průnikem), od toho, co bylo extrapolováno (časová osa, počty replik), a obojí od rámování, které přidávají média a komentátoři. Patnáct TV boxů s rychlostí 0,39 tokenu za sekundu není důkaz blížící se katastrofy. Je to ale dost silný signál na to, aby se otevřené porty a výchozí hesla přestaly považovat za drobnost.