Altman podle zdrojů popsal tři „endgames“ pro bezpečnou AI. Jeden počítá s firmou, která vypne compute všem ostatním

Sam Altman minulý týden na interním setkání popsal zaměstnancům OpenAI tři „endgames“, tedy konečné scénáře, jak by mohl závod o pokročilou umělou inteligenci skončit bezpečně. Jeden z nich počítá s tím, že jediná firma získá takovou převahu, že ostatním vezme výpočetní kapacitu. Zprávu přinesl server The Information s odvoláním na nejmenované lidi obeznámené s jednáním. Text je za paywallem, podrobnosti z něj převzal magazín The Decoder. Záznam ze setkání zveřejněn nebyl a vyjádření OpenAI v dostupném pokrytí chybí. Vše níže je proto popis z druhé ruky, ne Altmanova doslovná slova.

Zpráva přichází v citlivé chvíli. Podle The Decoder Trumpova administrativa připravuje svůj první rámec dohledu nad vývojáři superinteligence. Předcházel mu dobrovolný White House Accord on Super Intelligence z 29. září, ve kterém se podepsané firmy zavázaly k interním kontrolám rizik, nezávislým externím hodnocením a dozorovým výborům. Otázka, jak by měl vypadat konečný stav, tedy přestává být akademická.

Tři cesty, jak je popisují zdroje

Mezinárodní dozor po vzoru IAEA. První varianta je globální instituce podobná Mezinárodní agentuře pro atomovou energii. Podle The Decoder by inspektovala systémy, vyžadovala audity a sledovala spotřebu compute (výpočetního výkonu) a energie. Taková instituce by podle stejného zdroje stála na mezinárodní spolupráci, zejména se státy, které vyvíjejí frontier modely (nejvýkonnější modely na hranici současných možností), včetně Číny. Myšlenka není nová: Altman, Greg Brockman a Ilja Sutskever ji popsali už v textu OpenAI Governance of superintelligence z května 2023, kde psali, že pro superinteligenci bude nejspíš potřeba „něco jako IAEA“.

„Demis Plan“. Druhá varianta nese jméno Demise Hassabise, spoluzakladatele Google DeepMind. Velké laby by se sloučily nebo podřídily jedinému subjektu v duchu CERNu, který by pak dodával modely spolupracujícím státům. The Decoder uvádí, že jde o Hassabisův zhruba deset let starý návrh.

„Eliezer Plan“. Třetí scénář je pojmenovaný po teoretikovi AI safety Eliezeru Yudkowském. Jeden vývojář by díky sebezlepšující se AI získal tak velkou ekonomickou a technologickou moc, že by mohl ostatním odepřít compute, v krajním případě jim výpočetní kapacitu úplně vypnout. Titulek The Information uvádí v uvozovkách obrat o firmě, která „roztaví GPU všem ostatním“. Komu formulace přesně patří, z volně dostupné části článku ověřit nelze. Altman podle zdrojů zmínil tuto možnost jen pro úplnost a podle shrnutí The Decoder ji označil za „hroznou“.

Odkud se vzalo tavení GPU

Obraz pochází z Yudkowského eseje AGI Ruin: A List of Lethalities, kterou v červnu 2022 publikoval na fóru LessWrong. Yudkowsky, spoluzakladatel Machine Intelligence Research Institute (MIRI), v ní tvrdí, že první tým s dostatečně silnou AI bude muset provést tzv. pivotal act (rozhodující čin), tedy krok, který ostatním zabrání postavit unaligned AGI (obecnou AI, jejíž cíle nejsou sladěné s lidskými). Jako záměrně přehnaný příklad uvádí „spálit všechny GPU“. Sám píše, že to nenavrhuje doslova. Příklad má ilustrovat, jak obrovskou moc by takový zásah vyžadoval. Na rozdíl od prvních dvou variant tak bezpečnost v tomto scénáři nestojí na pravidlech ani mezinárodní dohodě, ale na převaze jediného aktéra.

Bez brzdy a bez shody

Altman si podle zdrojů posteskl, že chybí životaschopné návrhy na „speed limit“, tedy omezení tempa vývoje, a že si OpenAI nemůže dovolit zaostat za konkurencí. The Decoder dodává, že firma chce mezi cestami vybrat během příštího roku.

Ani průmyslová samoregulace zatím nemá jasný tvar. OpenAI, Google a Anthropic chystají Standards Authority for Frontier AI, samoregulační orgán po vzoru amerického FINRA, který by nastavoval standardy pro testování modelů před vydáním a hlášení bezpečnostních incidentů. Podle The Decoder se ale laby stále neshodnou na klíčových bodech. Mark Zuckerberg a Jensen Huang podle stejného zdroje namítají, že by taková pravidla chránila hlavně zavedené hráče. Huang už v září podle serveru Computing odmítl, že by USA potřebovaly nové zákony o AI safety, a Zuckerberg prosazoval, aby si tempo určoval každý lab sám.

Evropa mezitím buduje vlastní dohled přes AI Office, o kterém jsme psali v textu o rogue agentech a AI Office. Altmanovy tři scénáře ukazují, jak široký je prostor, o kterém se v amerických labech mluví: od globální instituce přes jednoho společného vývojáře až po vítěze, který vezme všechno. Který z nich, pokud vůbec nějaký, bude mít podporu vlád, zatím neví nikdo.