OpenAI: lidé napojení na Moonshot AI se pokusili vytěžit skryté uvažování jejích modelů
OpenAI zveřejnila, že v červenci odhalila koordinovanou kampaň 16 tisíc dotazů z více než 4 tisíc účtů, která se snažila získat skrytý reasoning jejích modelů. Část aktivity připisuje lidem spojeným s čínskou Moonshot AI, tvůrcem modelu Kimi.
Foto: Unsplash / engin akyurt
Tento článek vznikl zpracováním veřejně dostupných zdrojů pomocí AI nástrojů. Každý text se snažím přečíst a věcně zkontrolovat, ale ne vždy to zvládnu. Prosím, berte na to ohled a informace si ověřujte v původních zdrojích (níže).
Tento článek vznikl zpracováním veřejně dostupných zdrojů pomocí AI nástrojů. Každý text se snažím přečíst a věcně zkontrolovat, ale ne vždy to zvládnu. Prosím, berte na to ohled a informace si ověřujte v původních zdrojích (níže).
OpenAI 30. září zveřejnila, že v červenci narušila koordinovanou kampaň, jejímž cílem bylo vytěžit skryté uvažování (reasoning) jejích modelů. Jádro aktivity firma připisuje lidem spojeným s Moonshot AI, čínským vývojářem modelu Kimi. U všech zapojených účtů ale atribuce jasná není.
Co se stalo
Podle OpenAI kampaň začala 1. července a vrcholila 24. a 25. července, kdy přes 4 000 uživatelů poslalo 16 000 dotazů s charakteristickým vzorem pro extrakci. Související aktivitu firma zaznamenala u více než 15 000 účtů. Útočníci se zaměřili na chráněný reasoning, tedy interní záznam toho, jak model postupuje při řešení úlohy. Ten OpenAI uživatelům neukazuje celý.
OpenAI zablokovala účty, zpřísnila kontroly při registraci a v infrastruktuře a uzavřela cestu, přes kterou šlo zašifrovaný reasoning znovu přehrát a získat. Zjištění sdílela s ostatními laboratořemi přes Frontier Model Forum. Kampaň byla zastavena do 28. července, veřejnost se o ní dozvěděla o dva měsíce později.
⚡ Destilace modelu
Destilace je technika, kdy se menší nebo levnější model učí napodobovat odpovědi silnějšího „učitele“. Legitimně ji laboratoře používají na vlastních modelech. Problém nastává, když někdo masově stahuje výstupy cizího modelu a trénuje na nich vlastní, čímž obchází náklady na vývoj i licenční podmínky. Skrytý reasoning je pro destilaci zvlášť cenný, protože neukazuje jen výsledek, ale postup. A model vytrénovaný na cizím postupu nemusí převzít bezpečnostní omezení původního modelu.
Proč na tom záleží
Ochrana reasoningu se v posledních týdnech stala standardní součástí launchů. Anthropic u Opus 5.5 zmiňuje ochranu proti destilačním útokům a u Sonnet 5.5 nové klasifikátory, které mají extrakci uvažování bránit. Případ OpenAI ukazuje, proč: skrytý reasoning je jedna z mála věcí, které americké laboratoře odlišují od levnějších konkurentů, a zároveň se dá relativně levně vytěžit přes běžné API.
Zpráva navazuje na červencový spor. Trumpova administrativa tehdy obvinila Moonshot z „rozsáhlé skryté průmyslové destilace“ amerických modelů včetně Claude Fable 5. Podle South China Morning Post část výzkumníků obvinění označila za politická a zaměstnanec Moonshotu Randy Xian upozornil, že mezi vydáním Fable 5 a Kimi K3 uběhly jen dva týdny, což na vytrénování nového modelu nestačí. Kritici navíc připomínají, že výstupy AI modelů nejsou chráněny autorským právem. Detaily kampaně z července zatím popisuje jen OpenAI, tedy jedna ze stran sporu.
Zdroj obrázku: Unsplash / engin akyurt