METR: Anthropic vyvíjí AI dvakrát rychleji než před rokem. Vlastní varovný práh mohl překročit už v červenci

Modely Anthropicu se na dobře zadaných úlohách zlepšují zhruba dvakrát rychleji než v období od března 2024 do října 2025. K tomuto závěru došla nezávislá výzkumná organizace METR v hodnocení zveřejněném ve čtvrtek 5. listopadu. Asi 80 % zrychlení podle ní nepochází z většího výpočetního výkonu. Pochází z toho, že Anthropic nasazuje vlastní AI ve vlastním výzkumu. Tedy přesně z mechanismu, před kterým bezpečnostní výzkumníci varují roky: AI, která urychluje vývoj další AI.

Načasování je ostré. Anthropic se chystá na burzu, S-1 podal koncem října, a investoři podle Reuters zpochybňují, jestli firma stihne listopadový termín. Generální ředitel Dario Amodei přitom v září v eseji We must pace the frontier vyzval celé odvětví, aby zpomalilo. Audit METR je přímým důsledkem téhož textu. Amodei v něm slíbil pozvat do firmy externí tým hodnotitelů s přístupem srovnatelným s interními týmy a s právem publikovat hlavní zjištění bez redakční kontroly Anthropicu.

Co METR zjistil

METR měl od 12. srpna do 29. října takzvaný high-access přístup: interní benchmarková data, průzkumy mezi zaměstnanci o tom, kolik jim AI pomáhá, a zhruba patnáct rozhovorů. Na práci se podílelo asi 2,5 úvazku. Hlavní čísla:

• Skóre na interním souhrnném benchmarku Anthropicu (METR ho označuje zkratkou AECI) roste od října 2025 zhruba 1,9krát rychleji než předtím, s 95% intervalem spolehlivosti 1,5 až 2,8.
• Za realistický rozsah skutečného zrychlení METR považuje 1,3krát až 3krát. Podle metodických voleb vycházejí odhady od 1,1 do 2,9.
• Zhruba 80 % zrychlení z letošního října METR připisuje AI, s výraznou nejistotou. Zrychlení z konce roku 2025 podle něj táhly spíš jiné faktory.
• METR si je jistý, že zrychlení nezpůsobil rychlejší růst tréninkového compute. V algoritmech, výpočetní kapacitě ani datech nenašel přesvědčivé úzké hrdlo, které by tempo v příštích dvanácti měsících zbrzdilo. Sám přiznává, že se jeho názor během hodnocení několikrát změnil.

Podle shrnutí The Decoder METR sdílí názor Anthropicu, že akutní katastrofické riziko je nízké. Další prudké zrychlení během šesti měsíců ale vyloučit nedokáže.

Práh, který možná padl v červenci

Anthropic řídí vývoj podle vlastní Responsible Scaling Policy. Jedním z rizikových indikátorů je v ní právě zrychlení vývoje díky automatizovanému výzkumu: zdvojnásobení tempa má spustit varovnou úroveň.

Podle doprovodné recenze METR, jak ji shrnuje The Decoder, implikuje neredigovaná verze interního risk reportu akcelerační faktor 1,97. Překročení prahu kolem 15. července Anthropic interně označuje za „plausibilní“. Veřejný srpnový report přitom uváděl, že zrychlení je „menší než dvojnásobné“. METR mu vyčítá, že tím podhodnotil jak zrychlení, tak nejistotu kolem něj.

Audit, kterému je třeba věřit

Celé hodnocení má zvláštní vlastnost: je zároveň nejtransparentnějším krokem, jaký frontier lab zatím udělal, a ukázkou toho, kde transparentnost končí. Anthropic redigoval většinu důkazů, které METR považoval za nejinformativnější. METR sám píše, že veřejnost se musí na jeho úsudek spoléhat „mnohem víc, než by bylo ideální“. Při analýze navíc z velké části používal Clauda, tedy model firmy, kterou hodnotil. A Anthropic podle The Decoder zrušil plánovaný audit toho, jak dělí výpočetní kapacitu mezi vývoj schopností a bezpečnostní výzkum. Na dotazy AP firma bezprostředně nereagovala.

Co z toho plyne

METR své závěry sám tlumí. Zrychlení se může týkat jen snadno hodnotitelných úloh, ne „chaotické“ práce z reálného světa. Benchmarkové zisky se nemusí propsat do praktického dopadu. A pokud byl historický růst neobvykle pomalý, srovnání zrychlení nadsazuje.

I s těmito výhradami ale report mění debatu o dohledu nad AI. Dosud se vedla hlavně o tom, jestli lidé dokážou kontrolovat jednotlivá rozhodnutí AI systémů. Jak jsme psali v analýze o lidském dohledu nad agenty, často to nezvládají ani tam. Report METR přidává druhou rovinu: jestli kontrola stíhá tempo, jakým vznikají samotné systémy. Preprint Who Can Say No? od Rosenbackeho a kolegů pro to navrhuje jednoduchý test. Laboratoře by měly zveřejňovat dvě čísla: jak dlouho trvá nový systém postavit a jak dlouho ho zkontrolovat.

Investoři budou příští týden řešit hlavně říjnové tržby, které v S-1 chybí. Otázka z reportu METR je jiná a na burze se neobchoduje: kdo a jak rychle dokáže zkontrolovat systém, který se zrychluje sám.

Zdroj obrázku: Unsplash / Tyler