Masarykova univerzita provozuje nejpokročilejší systém pro výpočty AI

29. 5. 2023

Masarykova univerzita se stala průkopníkem v oblasti umělé inteligence (AI) a výpočetní technologie díky instalaci nejnovějšího a nejvyspělejšího systému NVIDIA DGX H100. Jedná se o první zařízení tohoto typu v celém regionu, které přináší extrémní výpočetní sílu a inovativní možnosti pro výzkum.

Kdo systém DGX H100 využívá

Centrum CERIT-SC na Masarykově univerzitě a jejich nově instalovaný systém NVIDIA DGX H100 otevírají dveře k úzké spolupráci s vědci z celého regionu prostřednictvím e-INFRA CZ. Tato prestižní síť sdružuje přední výzkumná centra a instituce z České republiky, která se zaměřují na pokročilé výpočetní technologie a výzkum v oblasti umělé inteligence. V rámci projektu e-INFRA CZ jsme byli zapojeni již předchozími dodávkami infrastruktury, více zde.

Centrum CERIT-SC je součástí národní e-infrastruktury, kterou představuje složitý systém vzájemně propojených síťových, výpočetních a úložných kapacit a souvisejících služeb pro výzkumnou komunitu České republiky. Svým zaměřením a nabídkou služeb doplňuje CERIT-SC další dvě složky národní e-infrastruktury – sdružení CESNET a superpočítačové centrum IT4Innovations.

Vědci připojení k e-INFRA CZ budou mít přístup ke zdrojům NVIDIA DGX H100 na Masarykově univerzitě a budou moci využít její výpočetní kapacity pro své projekty. Tato spolupráce poskytne prostředí pro inovativní výzkum a vývoj v oblasti umělé inteligence a urychlí pokrok v oblastech jako strojové učení, analýza velkých dat a vývoj AI aplikací.

e-INFRA CZ je unikátní e-infrastruktura pro výzkum a vývoj v ČR, která představuje transparentní prostředí poskytující komplexní kapacity a zdroje pro přenos, ukládání a zpracování vědeckých dat všem subjektům zabývajícím se výzkumem a vývojem bez ohledu na to, v jakém odvětví je provádí. Vytváří tak komunikační, informační, úložnou a výpočetní základnu pro výzkum a vývoj na národní i mezinárodní úrovni a poskytuje rozsáhlé ucelené portfolio služeb v oblasti ICT, bez nichž moderní výzkum a vývoj nemůže být realizován.

Proč DGX H100

✓ Trénování velkých modelů díky velké paměti karet
✓ Rychlejší zpracování velkých datasetů
✓ Možnost současně pracovat na více projektech

Oblasti využití

✓ Analýza mluveného slova
✓ 3D rekonstrukce obrazu
✓ odhalování neurodegenerativních onemocnění

Používané frameworky

✓ TensorFlow / Keras
✓ PyTorch / PyTorch Lighting
✓ CUDA, cuDNN

„Nákup a instalace systému NVIDIA DGX H100 je důležitým milníkem pro CERIT-SC i celou infrastrukturu e-INFRA CZ. Tento systém posouvá naše možnosti v oblasti umělé inteligence na zcela novou úroveň a otevírá široké spektrum nových výzkumných možností pro naše studenty a vědce.“

— RNDr. Lukáš Hejtmánek, Ph.D. —

V čem je systém NVIDIA DGX výjimečný?

NVIDIA DGX H100 je unikátní řešení pro umělou inteligenci a výzkum díky svému výkonnému hardwaru a inovativní architektuře, která umožňuje zpracování obrovských objemů dat s vysokou rychlostí a přesností.
⁓
Tento systém je vybaven nejnovějšími GPU (grafickými procesory) NVIDIA H100, které poskytují až 10× větší výkon v porovnání s GPU NVIDIA A100 předchozí generace Ampere.
⁓
Nabízí extrémní výpočetní sílu až 32 PFLOPS (petaFLOPS), což z něj činí jedno z nejvýkonnějších řešení pro AI a výzkum na trhu.
⁓
Systém podporuje nejnovější frameworky a knihovny pro strojové a hluboké učení, jako je TensorFlow, PyTorch, Caffe a další, což umožňuje vědcům a výzkumníkům využívat širokou škálu nástrojů pro své projekty.

Tento systém je navržen tak, aby minimalizoval dobu potřebnou pro vývoj AI aplikací díky své výkonné infrastruktuře, optimalizovaným algoritmům a vyladěné softwarové vsrtvě s profesionální podporou od inženýrů z Nvidie.
⁓
Jednou z výjimečných vlastností NVIDIA DGX H100 je jeho schopnost paralelního zpracování dat, které umožňuje rychlý vývoj a trénování složitých modelů umělé inteligence.
⁓
NVIDIA DGX H100 podporuje vysokou propustnost paměti a rychlé přenosy dat, což umožňuje efektivní práci s velkými datasety a komplexními analýzami.
⁓
Systém je vybaven pokročilým chlazením a správou energie, což zajišťuje jeho spolehlivý provoz i při vysoké zátěži a přispívá k efektivnímu využití elektrické energie.

8 GPU

H100 80GB SXM5

135 168

GPU jader

640 GB

GPU paměti

2 TB

RAM paměti

3,84 TB

NVMe pro OS

30 TB

NVMe pro data

Technická specifikace

Systémy NVIDIA DGX nejsou jen špičkovým hardwarem, přicházejí i s inovativními vylepšeními pro snadnější správu infrastruktury a implementaci AI. Jsou vybaveny vyladěným prostředím Dockeru a operačním systémem DGX OS a kromě toho také nově nabízejí nástroj NVIDIA Base Command, který umožňuje efektivní správu celé infrastruktury. Tím se zjednodušuje nasazování a implementace AI aplikací pro výzkumné a vývojové týmy.

Dále je součástí systému i softwarový stack NVIDIA AI Enterprise (NVAIE), který poskytuje kompletní sadu nástrojů pro vývoj a optimalizaci AI aplikací. Tato kombinace technologií usnadňuje a urychluje proces vývoje a nasazení AI řešení v rámci celé infrastruktury.

8x grafický procesor NVIDIA H100 s celkovou pamětí 640 gigabajtů pro GPU
18x ppropojení NVIDIA NVLink na GPU, 900 GB/s obousměrné propustnosti mezi GPU.
Dva procesory Intel Xeon Platinum 8480C, celkem 112 jader a 2 TB systémové paměti
Výkonné procesory pro nejnáročnější úlohy umělé inteligence
30 terabajtů NVMe SSD
Vysokorychlostní úložiště pro maximální výkon
4x NVIDIA NVSwitch
7,2 terabajtů za sekundu obousměrné šířky pásma GPU-to-GPU, 1,5x více než u předchozí generace
10x síťové rozhraní NVIDIA ConnectX-7 400 GB/s
1 TB/s špičkové obousměrné šířky pásma sítě
Prostorově i energeticky efektivní řešení s vysokou hustotou výpočetního výkonu
Velikost 8U (rack unit) a maximální spotřeba systému 10,2 kW při teoretickém výkonu 32 petaFLOPS
Kompletní softwarová vrstva pro vývoj AI aplikací
AI Enterprise – optimalizovaná softwarová sada pro AI
Base Command – sw pro orchestraci, plánování a správu clusteru
Operační systém – DGX OS / Ubuntu / Red Hat Enterprise Linux / Rocky

Parametr	NVIDIA DGX H100 640 GB
GPUs	8× NVIDIA H100 SXM5 80 GB
GPU memory	640 GB
CPU	Dual Intel Xeon Platinum 8480C CPU, (112 jader) 2.00 GHz (Base), 3.80 GHz (Max Boost)
Výkon (FP8 tensor operace)	32 PetaFLOPS (FP8)
# CUDA jader	135 168
# Tensor jader	4 224
Multi-instantce GPU	56 instancí
RAM	2 TB
HDD	OS: 2× 1.92 TB NVMe data: 30 TB (8× 3.84 TB) NVMe
Network	8x single-port ConnectX-7 VPI 400 Gb/s InfiniBand/ 200Gb/s Ethernet 2x dual-port ConnectX-7 VPI 400 Gb/s InfiniBand/ 200Gb/s Ethernet
Max. spotřeba	~10,2 kW max
Provedení	rack, 8U
Technická specifikace	Datasheet

NVIDIA GPU Cloud (NGC)

NVIDIA GPU Cloud (NGC) představuje katalog Docker obrazů nejpoužívanějších prostředí pro vývoj machine learning a deep learning aplikací, HPC aplikací nebo vizualizaci akcelerovanou NVIDIA GPU kartami. Nasazení těchto aplikací je pak otázkou zkopírování odkazu na příslušný Docker obraz, jeho spuštění na DGX systému a stažení a spuštění v Docker kontejneru.

Jednotlivá vývojová prostředí — verze všech obsažených knihoven a frameworků, nastavení parametrů prostředí — jsou aktualizovaná a optimalizovaná NVIDIÍ pro nasazení na DGX systémech. https://ngc.nvidia.com/

Softwarová výbava

Čím se nejvíce odlišují DGX systémy od bare-metal řešení je softwarová výbava. Všechny shodně nabízejí již předinstalovaná a především výkonově vyladěná prostředí pro strojové učení (např. Caffe, resp. Caffe 2, Theano, TensorFlow, Torch nebo MXNet) nebo intuitivní prostředí pro datové analytiky (NVIDIA Digits). To vše elegantně zabalené v Docker kontejnerech. Tyto neustále aktualizované kontejnery lze stáhnout na stránkách NVIDIA GPU Cloud (NGC).

Takto vyladěné prostředí poskytuje dle NVIDIE o 30% vyšší výkon pro aplikace v oblasti učení strojů proti aplikacím nasazeným jenom čistě na NVIDIA hardwaru. Hlavní výhodou předinstalovaného prostředí je ale rychlost nasazení, které se pohybuje v jednotkách hodin.

Podpora hardwaru i softwaru

Silnou stránkou nabízeného řešení NVIDIA je také podpora celého systému. Rychlá hardwarová podpora (v případě selhání některé z komponent) je samozřejmostí.

Zásadní je softwarová podpora pro celé prostředí pro případ, že něco nefunguje tak, jak má. Zákazník má k dispozici stovky vývojářů připravených pomoci. Podpora je součástí nákupu všech systémů NVIDIA DGX. Je k dispozici na 3 – 5 let a po skončení této doby je možné ji dále prodloužit.

Společnost M Computers zastupuje společnost NVIDIA na českém trhu v Enterprise oblasti výpočetních akcelerátorů a AI systémů.

Jako první společnost ve střední a východní Evropě získala nějvýšší status ELITE PARTNER a zároveň i dvě ocenění NVIDIA AI Innovator a NVIDIA AI Champion.

Testování

Pro otestování výkonnosti a především rychlosti nasazení ML a AI aplikací máme k dispozici nejenom systémy NVIDIA DGX Station A100 a v rámci NVIDIA Tesla Test Drive programu také akcelerátory NVIDIA H100, A100, A30 a další, ale i demo licence pro virtualizaci GPU (vGPU) a softwarové prostředí pro jednoduché nasazení AI aplikací – NVIDIA AI Enterprise (NVAIE). V případě Vašeho zájmu o testování prosím vyplňte tento formulář.