Gemini 4 Carbon vede žebříčky, ale zatím si ho nikdo nekoupí. A víc halucinuje než předchůdce

Google má nejlepší model na trhu. Aspoň podle nejsledovanějšího nezávislého žebříčku. Gemini 4 Carbon, který firma představila ve středu 28. října, pouhé dva týdny po modelu Gemini 4 Argon, ale běžný vývojář ani firma zatím nevyzkouší. Google ho pouští jen vybraným kyberobráncům.

Na vrcholu o jediný bod

V Artificial Analysis Intelligence Indexu v5 má Carbon 59 bodů a je první. Ještě den předtím vedl Claude Opus 5.5 s 58 body, GPT-6 Astra má 57 a Argon 50. Carbon vede ve čtyřech z devíti testů indexu, mimo jiné v HLE-Diamond a Terminal-Bench-Science.

V lidském hlasování Text Arena je podle The Decoder první s 1528 body. Ve WebDev Areně si polepšil o 89 bodů na 1768, to ale stačí na čtvrté místo. V programování zůstává za Anthropicem: v Coding Agent Indexu má 59 bodů, Claude Code s Opus 5.5 má 62.

Víc ví, víc si vymýšlí

V testu znalostí AA-Omniscience Carbon vede. Přesnost mu oproti Argonu stoupla ze 48 na 58 %. Zároveň ale vzrostla míra halucinací ze 4 na 11 %. Model tedy častěji odpoví správně, ale když odpověď nezná, častěji ji vymyslí, místo aby přiznal nejistotu.

Kontext je důležitý. Podle Artificial Analysis mají Opus 5.5 i GPT-6 Astra v témže testu míru halucinací 50 %. Carbon je tak pořád druhý nejlepší, hned za Argonem. „Víc halucinuje“ platí proti předchůdci, ne proti konkurenci. Ukazuje to ale trend, který stojí za sledování: honba za body v indexu se může krýt s ochotou modelu tipovat.

🔍 Míra halucinací v AA-Omniscience

AA-Omniscience klade modelům otázky z faktických znalostí napříč obory. Míra halucinací neměří podíl chybných odpovědí obecně. Měří, jak často model odpoví špatně v situaci, kdy by měl správně říct, že neví. Model s nízkou přesností a nízkou mírou halucinací je tedy opatrný, model s vysokou mírou halucinací raději hádá.

Nejdřív obránci

Google Carbon prezentuje hlavně jako bezpečnostní model. Podle firemního blogu dosahuje 88,2 % v hledání zranitelností (SEC-bench Pro), 54,8 % v jejich zneužití (ExploitGym) a 71,0 % v opravách (CWE-Bench). V testu nepřímého prompt injection od Gray Swan klesla úspěšnost útoků z 0,7 % u Argonu na nulu. Externí benchmarky Google podle vlastních slov měřil bez ochranných filtrů.

Právě proto model nejdřív dostává „podmnožina kyberobránců“. Pak se přidají důvěryhodní partneři přes program Fairwind, vývojáři, firmy a spotřebitelé až „co nejdříve“. Google se zároveň účastní dobrovolného předběžného testování modelů vládou USA. Podobnou cestou šel už v dubnu Anthropic s modelem Claude Mythos Preview, který přes Project Glasswing zpřístupnil jen partnerům starajícím se o kritický software a obecně dostupný být nemá.

Cena je úvodně stejná jako u Argonu: 2 USD za milion vstupních a 10 USD za milion výstupních tokenů, cachovaný vstup je o 95 % levnější. Po skončení úvodní slevy to bude 4 a 20 USD. Podle The Register Google konec slevy pevně neurčil.

Metr se změnil o den dřív

Carbon vyhrál na úplně novém metru. Artificial Analysis vydal verzi v5 svého indexu 27. října, den před oznámením. Zhruba 60 % indexu teď stojí na testech se soukromými sadami nebo utajenými odpověďmi, což ztěžuje trénink „na test“. Přibyly FrontierCode 2.0, kde se hodnotí, zda by správce repozitáře změnu od agenta přijal, a Terminal-Bench-Science se 70 vědeckými úlohami. Odstup nejlepšího open-weight modelu od lídra se tím zvětšil ze 3 na 12 bodů.

Nový metr tedy přepsal pořadí. Rozdíl jednoho bodu mezi Carbonem a Opusem je menší než změny, které přinesla samotná metodika.

Co to znamená pro Evropu

Pro evropské firmy a vývojáře je Carbon zatím jen titulek. Použít ho nemohou a Google neřekl kdy. Kdo vybírá model pro produkci, dál volí mezi Argonem, Opus 5.5 a GPT-6 Astra. A při čtení žebříčků platí tři věci: jeden bod v indexu není rozdíl, který uživatel pozná, metodika se právě změnila a souhrnné skóre skryje kompromisy, jako je vyšší ochota modelu vymýšlet. Před nasazením se vyplatí otestovat model na vlastních úlohách.