Do České republiky před pár dny dorazily první čipy nové generace pro umělou inteligenci a další náročné výpočty (GPU) od společnosti Nvidia. Ta je hlavním vítězem už nějakou dobu trvající AI horečky. Velké jazykové modely (LLM) pohánějící služby typu ChatGPT od OpenAI či Llama od Mety jsou totiž počítány na velkých množstvích těchto čipů, přičemž Nvidia dominuje trhu. Na něj teď postupně vypouští generaci Blackwell, která primárně míří ke gigantům typu Microsoft, xAI, Meta a spol. Česko se ale dočkalo prvních kusů jako první v regionu.
Blackwelly lze kupovat ve více variantách, typicky v serverech od firem jako Hewlett Packard Enterprise nebo Supermicro, superpočítačích, clusterech (podech) nebo v rámci připravených boxů přímo od Nvidie označovaných jako DGX.
Česká firma M Computers, která je pro DGX klíčovým partnerem Nvidie pro Česko a východní Evropu, jeden takový box dovezla na svoji pobočku v Brně, kde ho začíná ukazovat prvním potenciálním zájemcům. I když je M Computers důležitým spojencem pro tento region, Nvidia box neposkytla zdarma a dokonce na něj partnerům nedává slevy. “Pro rozvoj AI v Česku jsme tak ze svého investovali dost milionů korun,” řekl Lupě s nadsázkou Petr Plodík, obchodní ředitel M Computers.
Krabice s hromadou železa
V Brně je konkrétně k vidění “krabice” Nvidia DGX B200 obsahující osm nejnovějších čipů B200. Celý box se prodává za ceny 593, 648 a skoro 704 tisíc eur, tedy od 15 necelých 18 milionů korun. Odstupňováno je to dle délky podpory, konkrétně si lze zvolit tři, čtyři a pět let.
Box váží 200 kilogramů a v běžném serverovém racku zabere 10 pozic (10U). Některé jiné systémy dokáží do stejného objemu nacpat více než osm čipů, ty ale bývají chlazeny kapalinou, což umožňuje větší hustotu. DGX B200 je chlazená vzduchem, což vyžaduje velké prostory na pasivní chladiče a přívod vzduchu skrze 20 větráků na přední straně.
V podstatě se dá říci, že DGX B200 je samý “plech” a železo a čipy a elektronika zabírají pouze malou část. Kdo si kupuje moderní grafické karty do běžného počítače, je určitě s rozměry chlazení výkonných GPU zhruba obeznámen – ovšem s tím rozdílem, že profesionální čipy jsou ještě náročnější. Celková spotřeba DGX boxu je 14 až 15 kilowatt.
Jak vypadá Nvidia DGX B200:
DGX B200, který si lze prohlédnout v naší galerii, disponuje osmi kartami Blackwell B200 SXM, přičemž každá má 180 GB paměti (HBM3e). Celkově tedy jde o 1440 GB VRAM (původně měly být verze se 192 GB VRAM, nakonec jde o 180). Paměťová propustnost činí 64 TB/s. Nvidia připojuje InfiniBand 400 Gb/s či BlueField-3 DPU.
Jeden čip B200 jsou v podstatě dvě GPU v jednom, propojena jsou linkou s propustností 10 TB/s. Celkově jde o 208 miliard tranzistorů. TDP je tisíc wattů. Čipy vyrábí TSMC pomocí 4nm procesu. Nvidia uvádí, že u jazykových modelů s 1,8 biliony parametrů budou výpočty na B200 až 25krát efektivnější než u předchozí generace.
Kromě osmi GPU je součástí boxu DGX B200 také běžný server se dvěma procesory Intel Xeon Platinum 8570. Celkově jde o 112 jader na základní frekvenci 2,1 GHz s boostem až 4 GHz. Dále jsou součástí 2 TB RAM a NVMe úložiště s kapacitou 30 TB.
Výhodou systému DGX je, že je Nvidia dodává připravené pro chod. Vše je integrováno a součástí je i potřebný softwarový stack včetně Linuxu, Kubernetes a podobně.
Větší SuperPODy
M Computers budou do Česka dodávat také další servery přímo od Nvidie – pokud o ně u nás bude zájem. Jde o kompletní systémy označované jako SuperPODy. Jsou to racky NVL72, z nichž je možné modulárně skládat celá datacentra. Nvidie koncept označuje jako AI továrny. Český partner bude patřit k hlavním dodavatelů těchto AI factories v rámci celého regionu.
Ovšem nejspíš nelze očekávat, že by se u nás tyto a další celé racky kupovaly ve velkém, na to tady nemáme firmy typu OpenAI. Zřejmě největším tuzemským zákazníkem je Seznam.cz, který používá stovky Nvidií H100 a L4. V národním superpočítačovém centru IT4Innovations pomalu chystají nákup nového hlavního superpočítače, což rovněž asi se stovkami GPU bude na naše poměry velký projekt.
Naopak zde docela frčí právě boxy DGX. Verze s předchozími verzemi AI čipů se objevují například na univerzitách. ČVUT má osm kusů DGX-1 (každý s osmi kartami V100), Masarykova univerzita disponuje jednou DGX H100 640 GB (první deal v Evropě) a VŠB-TUO má DGX-2 (V100). CEITEC VUT má DGX 100 a DGX A100 640 GB, které nyní díky dotacím dává k dispozici firmám zdarma.
Česko mimochodem v současné době řeší, zda na nás USA skutečně uplatní plánované omezení vývozu nejpokročilejších AI čipů jaké právě Nvidia B200. Tématu a dění na pozadí jsme se věnovali v našem článku.
Stav trhu jsme rozebrali v našem rozhovoru. Ročně se u nás prodá kolem tisícovky high-end AI čipů. „Servery s GPU u nás zatím nejsou masová záležitost,“ shrnul pro Lupu Tomáš Kubát, ředitel české pobočky Hewlett Packard Enterprise. HPE v Kutné Hoře vyrábí superpočítače pro kus světa, mimo jiné právě velké AI clustery.
Podívejte se také na superpočítačový cluster se starší generací čipů Nvidia H100 a H200:
A takto vypadá server Gigabyte s osmi staršími Nvidiemi H200:
- Chcete mít Lupu bez bannerů?
- Chcete dostávat speciální týdenní newsletter o zákulisí českého internetu?
- Chcete mít k dispozici strojové přepisy podcastů?
- Chcete dostávat exkluzivní tištěný speciál Lupa 3.0?
- Chcete získat slevu 1 000 Kč na jednu z našich konferencí?
Staňte se naším podporovatelem
ČLÁNKY DO MAILU