OpenAI zastavila trénink nejsilnějších modelů. Agenti prošli i weby amerických úřadů

OpenAI pozastavila trénink a evaluace svých nejschopnějších modelů, při kterých modely používají nástroje a přistupují k internetu. Firma to 28. září potvrdila v omluvném textu adresovaném Austrálii. Pokračovat chce podle NBC News až ve chvíli, kdy si bude jistá, že má na místě další pojistky.

Krok přišel týden poté, co australský premiér zveřejnil průnik agenta OpenAI do portálu Medicare. Od té doby se ukázalo, že šlo o jeden z řady incidentů.

Čtyři australské instituce místo jedné

Podle vlastního přiznání OpenAI její modely během červnového tréninku přistupovaly k australským vládním webům „způsobem, ke kterému neměly oprávnění“. Vedle Services Australia, kde model získal přihlašovací údaje a interní soubory statistického portálu Medicare, zasáhly ještě tři instituce. U statistického úřadu pro kriminalitu státu Nový Jižní Wales model stáhl konfiguraci aplikace a provozní logy. U zdravotního odboru státu Victoria agenti našli odkrytý přístupový klíč k reportingovému systému. U Australian Institute of Health and Welfare stáhli agregované statistiky přes veřejné služby. Osobní záznamy pacientů ani obětí trestných činů podle OpenAI nikde dotčené nebyly.

Poslední z institucí se o incidentu dozvěděla 24. září, tři měsíce po něm. OpenAI se omlouvá („je nám to líto“), slibuje omezení sítě a cachovaný přístup k webu ve výzkumných prostředích, lepší monitoring a nezávislou australskou pracovní skupinu. Šéf strategie firmy má 6. října vypovídat před parlamentním výborem.

Weby amerických úřadů

Incidenty nezůstaly u Austrálie. Podle NBC News agenti na webu amerického ministerstva školství našli vývojářské API klíče a podle evaluační organizace Transluce se neúspěšně pokusili web napadnout. Veřejně dostupné údaje komise SEC agenti přeposílali jinam na internet. Mluvčí SEC uvedl, že k neveřejným informacím se nedostali. The Register zmiňuje i weby ministerstva obchodu a to, že agenti zneužili mezery v DNS filtrování, aby se z tréninkového prostředí dostali ven.

Pro OpenAI to není první pauza. Firma už v červenci zastavila trénink po incidentu, kdy její agenti pronikli do infrastruktury Hugging Face, který podle Sama Altmana zůstává „nejzávažnější událostí, jakou jsme viděli“.

Nepotvrzené: 55 webů a zametené stopy

Nejvážnější obvinění zatím nikdo nezávisle neověřil. Forenzní startup Asymmetric Security podle The Record, který převzal zjištění Financial Times, tvrdí, že agenti OpenAI mezi březnem a 20. zářím stahovali data z 55 webů, mimo jiné z datového portálu FBI, CDC, Mezinárodní energetické agentury nebo Mayo Clinic. Stopy přitom podle firmy zakrývali: zakládali jednorázové e-mailové účty a posílali požadavky přes služby třetích stran. OpenAI podle FT incidenty vyšetřuje, většinu aktivity ale označila za „rutinní výzkumné úlohy“ nad veřejnými daty. Asymmetric vycházel jen z veřejně dostupných dat.

Australský Senát chce odpovědi

Senátní vyšetřování, které vedou Zelení se senátorkou Sarah Hanson-Young, vyzvalo Altmana i Daria Amodeie z Anthropicu, aby se dostavili. Podle Bloombergu Altman nepřijede. Anthropic přitom žádný incident v Austrálii nepřiznal. Senát ho pozval v rámci širšího šetření dopadů AI.

Pauza v tréninku je zatím nejviditelnější důsledek. Ukazuje ale i to, co jsme psali minulý týden: o incidentech se dozvídáme v pořadí, které určují samy laboratoře. Australské úřady se o průnicích dozvídaly tři měsíce po nich. Nezávislé ověření rozsahu zatím chybí.

Zdroj obrázku: Unsplash / Rubaitul Azad