Výzkumníci varují před explozí inteligence, Washington podepisuje dobrovolnost. Evropa zatím mlčí

Načasování je skoro symbolické. Den předtím, než šéfové AI firem v Bílém domě podepsali dobrovolný akord o „Super Intelligence“, zveřejnila skupina více než dvaceti výzkumníků varování, že automatizace samotného výzkumu AI může spustit explozi inteligence. Mezi autory jsou Geoffrey Hinton, Yoshua Bengio, hlavní vědec OpenAI Jakub Pachocki a spoluzakladatel Anthropicu Jack Clark. Žádali státní dohled nad tím, jak laboratoře automatizují vlastní vývoj, a mechanismy, jak ho v krizi zabrzdit.

Akord nepřinesl ani jedno. Tenhle rozdíl mezi tím, co žádají lidé, kteří modely staví, a tím, co nabídl Washington, je klíčem k reakcím z posledního týdne. Bezpečnostní experti akord kritizují, Trumpova administrativa ho hájí jako víc, než jak vypadá, a Evropská unie, která má jako jediná závazná pravidla, k němu zatím oficiálně nic neřekla.

Varování z Cambridge

Text vyšel 28. září v rámci Cambridge Programme on AI Science & Policy. Podle The Next Web autoři opírají varování o čísla z praxe: v Anthropicu podíl kódu psaného AI vzrostl z jednociferných hodnot v lednu 2025 na víc než 80 % v květnu 2026 a podíl výzkumné práce, kterou AI dělá s minimálním dohledem, mezi březnem a srpnem 2026 stoupl z 1 na 26 %. Do poloviny roku 2028 by podle nich mohly být automatizované výzkumné projekty, které dnes trvají měsíce.

„Jakmile exploze inteligence začne, okno pro jednání se může zavřít,“ píší autoři. Doporučují, aby vlády měly přehled o automatizaci výzkumu ve firmách včetně nezávislých auditorů, aby existovaly limity růstu schopností a mechanismy pro pozastavení výzkumu v datacentrech, krizové protokoly a mezinárodní dohody.

Bezpečnostní experti: hodnocení vlastních úkolů

Akord sice zavádí externí audity, ale podle expertů oslovených magazínem Dark Reading chybí to podstatné. Jacob Krell ze Suzu Labs upozorňuje, že firmy si samy vybírají hodnotitele i rozsah hodnocení, a jako příklad uvádí vyšetřování incidentu s Hugging Face, kde podle něj OpenAI určila časové okno i přístup k datům. Aviv Nahum z Above Security říká, že „externí audit něco znamená, jen pokud je hodnotitel skutečně nezávislý“, a připomíná, že akord nemá termíny ani povinnost výsledky zveřejňovat. Ted Miracco z firmy Approv mluví rovnou o „bezpečnostním divadle“.

Podle Al Jazeery je navíc zajímavé, kdo akord podepsal. Dario Amodei v červnu volal po „vážnější a závazné regulaci“. Chris Lehane z OpenAI v září psal, že průmyslové standardy mají povinná federální pravidla „doplňovat, ne nahrazovat“. Demis Hassabis v červenci navrhoval americký úřad pro dohled nad AI. Dobrovolný akord tak podepsali i lidé, kteří o pár měsíců dřív žádali opak.

Obhajoba: „Bretton Woods superinteligence“

Nejsilnější argument pro akord přinesl Trumpův poradce pro AI David Sacks. V podcastu All-In ho podle BigGo Finance označil za „Bretton Woods superinteligence“ a tvrdil: „Akord vznikl dobrovolně, ale správa, která z něj plyne, dobrovolná není.“ Jeho logika vede přes korporátní právo. Pokud správní rada dostane zprávu auditora a nebude na ni reagovat, porušuje fiduciární povinnosti a riskuje pojistné krytí. V záloze jsou podle něj regulátoři FTC a SEC.

Argument má reálné jádro: dokumentovaný dohled správní rady skutečně vytváří právní odpovědnost, která dřív chyběla. Má ale i slabinu. Fiduciární povinnost chrání především akcionáře, ne veřejnost, a o tom, co je dost dobrá reakce na zprávu auditora, rozhoduje opět sama firma. Sám Musk akord podle Euronews popsal jako systém, kde si firmy „navzájem opravují domácí úkoly“, což je podle něj lepší, než když si je opravuje každý sám.

Evropa: pravidla má, slovo zatím ne

Oficiální reakci Evropské komise ani úřadu AI Office se do uzávěrky nepodařilo dohledat. Evropský pohled na akord tak zatím nesou hlavně média. Euronews ho staví do kontrastu s AI Actem: pravidla pro modely obecného účelu v EU platí od srpna 2025, firmy musejí dokumentovat modely, testovat ty nejsilnější a hlásit incidenty. AI Office může vyžadovat informace, modely hodnotit i stáhnout z trhu a pokuty dosahují až 15 milionů eur nebo 3 % globálního obratu.

Evropa ale není v pozici, ze které by mohla jen kázat. V červenci odložila nařízením Digital Omnibus povinnosti pro vysoce rizikové AI systémy ze srpna 2026 na prosinec 2027, jak jsme popisovali už v dubnu. Nejhlasitější evropské postoje zazněly týden před obědem na Valném shromáždění OSN. Podle Euronews tam přes dvacet převážně evropských zemí volalo po závazných bezpečnostních opatřeních. Emmanuel Macron navrhl, aby Evropa sdružila investice a postavila vlastní otevřený špičkový model. Trump ve stejném projevu prohlásil, že USA „zcela odmítají jakýkoli pokus vytvořit globalistický systém kontroly umělé inteligence“.

Co z toho plyne

Reakce ukazují tři tábory, které si nerozumí. Výzkumníci, včetně lidí přímo z laboratoří, mluví o rychlosti a o tom, že na brzdy může být brzy pozdě. Washington sází na to, že dohled správních rad a externí audity bez sankcí stačí. Evropa má jediný závazný rámec, ale část ho odkládá a k americkému akordu mlčí.

Pro evropské firmy a instituce z toho plyne praktický závěr: americké laboratoře budou v USA plnit morální závazky a v EU zákonné povinnosti. Evropská pravidla jsou tak dnes jediným vymahatelným nástrojem, který na frontier modely dopadá. Otázka je, jestli je Brusel pod tlakem Washingtonu i vlastních členských států dokáže skutečně vymáhat.

Zdroj obrázku: Unsplash / Guillaume Périgois