ČNB zdvojnásobila vlastní AI server. Guvernér Michl osobně přidal další čtyři karty Nvidia H200
Česká národní banka má v serveru pro lokální provoz AI nově osm grafických karet H200. Rozšíření, které v květnu plánovala na jeden až dva roky, přišlo o hodně dřív. Důvodem jsou důvěrná data a delší kontext modelů.
Foto: Unsplash / Tyler
Tento článek vznikl zpracováním veřejně dostupných zdrojů pomocí AI nástrojů. Každý text se snažím přečíst a věcně zkontrolovat, ale ne vždy to zvládnu. Prosím, berte na to ohled a informace si ověřujte v původních zdrojích (níže).
Tento článek vznikl zpracováním veřejně dostupných zdrojů pomocí AI nástrojů. Každý text se snažím přečíst a věcně zkontrolovat, ale ne vždy to zvládnu. Prosím, berte na to ohled a informace si ověřujte v původních zdrojích (níže).
Česká národní banka rozšířila server, na kterém provozuje vlastní AI modely, o další čtyři grafické karty Nvidia H200. Má jich teď osm. Karty do serveru Dell PowerEdge XE7740 podle Lupy osobně namontoval guvernér Aleš Michl. Ještě v květnu přitom ČNB pro CzechCrunch popisovala přidání druhé čtveřice jako plán na jeden až dva roky.
Proč vlastní hardware
Michl argumentuje hlavně důvěrností dat. „Lokální provoz je ideální pro modely pracující s důvěrnými daty, ta neopouštějí infrastrukturu banky,“ řekl Lupě. Druhým důvodem je paměť. „Větší paměť umožňuje nasadit modely s delším kontextovým oknem, které zvládnou delší dokumenty a složitější úlohy,“ uvedl guvernér. Banka také bude moci provozovat víc modelů současně, každý pro jiný účel.
Z cloudu ale ČNB neodchází. „Zatím jdeme hybridní cestou: část provozujeme na vlastní infrastruktuře, část v cloudu,“ popsal Michl. Podle něj ukáže čas, zda budoucnost patří hybridní architektuře, nebo čistě cloudu. Cloudové řešení banka rozšiřuje souběžně.
Co je uvnitř
Karty H200 patří k předchozí generaci Hopper, ne k nejnovější architektuře Blackwell. Každá má 141 GB paměti HBM3E a teoretický výkon kolem 4 petaflopů v přesnosti FP8. Osm karet tak dává dohromady přes 1,1 TB grafické paměti. Server dál pohání dva procesory Intel Xeon 6 6747P, 1 TB operační paměti a 3,84 TB úložiště NVMe, chlazený je vzduchem. Cenu nových karet Lupa neuvádí. V květnu se podle CzechCrunche jedna karta H200 pohybovala kolem milionu korun.
⚡ Proč u lokální AI rozhoduje paměť grafických karet
Jazykový model musí mít při běhu v paměti GPU své váhy i takzvanou KV cache, tedy průběžný záznam o celém zpracovávaném textu. KV cache roste s délkou kontextu: čím delší dokument model čte, tím víc paměti potřebuje. Víc paměti proto neznamená jen větší modely, ale hlavně možnost pracovat s delšími dokumenty a obsluhovat víc uživatelů nebo modelů naráz. Přesně to zmiňuje i guvernér Michl.
K čemu to banka používá
ČNB na vlastním hardwaru provozuje výhradně open-weight modely. V květnu zaměstnanci přes interní ČNB AI Chat podle CzechCrunche používali hlavně GPT OSS 120B od OpenAI a Qwen 3.5 122B od Alibaby, pokročilejší uživatelé také Mistral 7B. Modely čtou licenční žádosti, třídí podání od veřejnosti, hledají nesrovnalosti v podkladech dohlížených institucí, shrnují evropskou regulaci a sledují, co se o českých bankách píše na internetu. Které modely poběží na rozšířeném serveru, banka zatím neupřesnila.
Za nasazováním AI stojí divize ČNB Lab, kterou banka letos založila pro rychlejší zavádění umělé inteligence a strojového učení. Podle Lupy to mělo vliv i na propouštění. Osm karet je proti komerčním datacentrům malá infrastruktura. ČNB ale ukazuje, že instituce s citlivými daty, která je nechce posílat do cloudu, nemusí kvůli použitelným modelům s dlouhým kontextem stavět vlastní datacentrum.