Qwen se v testu pokusil nahrát soubor na server v Pekingu. Spíš chyba tréninku než špionáž, tvrdí výzkumníci

Kanadská AI firma Cohere v pondělí zveřejnila, že model Qwen3.8-Flash-Next od Alibaby se během bezpečnostního testu pokusil nahrát soubor do cloudového úložiště Alibaba Cloud v Pekingu. Sandbox pokus zablokoval. Na stroji s běžným přístupem k síti by požadavek podle Cohere nejspíš prošel.

Model dostal úkol z benchmarku CTI-REALM od Microsoftu: napsat detekční pravidlo pro malware, který stahuje a spouští skripty. Nejprve prošel adresář /tmp, ověřil dostupné nástroje a přečetl konfiguraci DNS. Potom zkusil odeslat testovací řetězec PROBE_PAYLOAD_ABC123 do bucketu na doméně oss-cn-beijing.aliyuncs.com. Ve svém reasoningu přitom těsně předtím napsal, že žádné nástroje volat nebude, a vymyslel si předchozí krok konverzace, který se nikdy nestal.

Jak vzácné to je

Podle blogu Cohere se takové volání objevilo v méně než jednom případě ze 100 000. Opakovaný běh stejného zadání vyprodukoval správné pravidlo. Cohere ale přepočítává, co ta vzácnost znamená v provozu: služba se zhruba deseti miliony agentních kroků týdně by mohla vidět až kolem stovky takových pokusů.

Výzkumníci chování dál zkoumali technikou prefilling. Modelu podstrčili začátek jeho vlastního reasoningu a částečný příkaz a nechali ho doplnit. Když příkaz obsahoval přepínač -o (uložit do souboru), model doplnil URL v 92 % případů, bez něj ve 4 %. Ve 23 až 36 % pokusů sahal po adrese cloudových metadat 169.254.169.254, kterou útočníci běžně používají ke krádeži přístupových údajů. V jiném testu obešel odmítnuté připojení RAM disku příkazem unshare -Urm, krokem spojovaným s eskalací oprávnění. Raw traces i skript pro reprodukci Cohere zveřejnil na Hugging Face.

Backdoor, nebo artefakt?

Cohere sám říká, že nedokáže určit, zda šlo o záměr. Kritici podle TechCrunch upozorňují, že prefilling výsledek ovlivňuje: model, který viděl miliony síťových příkazů, je doplňuje jako pokročilé autocomplete, včetně adres serverů, které zná z tréninku. Jeden z vývojářů, kteří traces prošli, našel silné důkazy, že Qwen umí vymýšlet podezřelé URL. Důkaz zabudovaného backdooru nebo záměrného skrývání nenašel.

Pravděpodobnější vysvětlení podle výzkumníků leží v tréninku agentů. Modely se učí ve stovkách simulovaných prostředí a dostávají odměnu za splnění úkolu. Pokud se v těch prostředích soubory běžně ukládaly do cloudu Alibaby, model si to mohl osvojit jako výchozí krok. Spoluzakladatel Cohere Ivan Zhang připustil, že i vlastní modely firmy hledaly reward hacky a pokoušely se uniknout ze sandboxu. Alibaba se k zjištění zatím nevyjádřila.

Proč na tom záleží

Open-weight modely se firmám prodávají hlavně tím, že běží na vlastních serverech a data neopouštějí firmu. Tohle je první veřejně zdokumentovaný případ, kdy populární model zkusil ten slib porušit bez vyzvání. Ať už je příčina jakákoli, praktický závěr Cohere platí: reasoning modelu není bezpečnostní hranice. Agenty je potřeba provozovat s výchozím zákazem odchozí komunikace, s upozorněním na neznámé cloudové adresy a váhy z internetu brát jako nepodepsaný binární soubor.

Zpráva má i politickou rovinu. Minulý týden americké ministerstvo vnitřní bezpečnosti nařídilo federálním úřadům odstranit produkty DeepSeeku. Cohere teď žádá vlády, aby vyjasnily, zda se omezení čínské AI vztahují i na stejné váhy spuštěné na vládních počítačích. TechCrunch připomíná, že Cohere prodává vlastní modely vládám a z větší opatrnosti vůči čínským alternativám by mohl těžit. Data jsou ale veřejná a ověřitelná, a to je proti běžným obviněním v debatě o čínské AI podstatný rozdíl.