CUDA jader
Tensor jader
CPU jader
DDR4 RAM
1x AMD Epyc 7742
8x 64 GB DDR4
1x 1,92 TB NVMe
1x 7,68 TB NVMe
4x NVIDIA A100 40/80 GB
2x 10 Gb/s Ethernet
1x 1 Gb/s Ethernet
4x Mini DisplayPort
1x VGA
GPU paměti
NVMe pro OS
NVMe pro data
souběžných instancí
Hardware
Parametr | NVIDIA DGX Station A100 160 GB | NVIDIA DGX Station A100 320 GB |
---|---|---|
GPU | 4× NVIDIA A100 SXM4 40 GB | 4× NVIDIA A100 SXM4 80 GB |
Výkon (tensor operace) | 2,5 PetaFLOPS | 2,5 PetaFLOPS |
GPU memory | 160 GB total | 320 GB total |
CPU | 1× AMD Epyc 7742, 64 cores 3.6GHz | 1× AMD Epyc 7742, 64 cores 3.6GHz |
# CUDA jader | 27 648 | 27 648 |
# Tensor jader | 1 728 | 1 728 |
Multi-instantce GPU | 28 instancí | 28 instancí |
RAM | 512 GB DDR4 | 512 GB DDR4 |
HDD | OS: 1× 1,92 TB NVMe data: 1x 7,68 TB U.2 NVMe | OS: 1× 1,92 TB NVMe data: 1x 7,68 TB U.2 NVMe |
Network | 2x 10 Gb/s Ethernet 1x 1 Gb/s Ethernet (BMC management) | 2x 10 Gb/s Ethernet 1x 1 Gb/s Ethernet (BMC management) |
Grafické výstupy | 4x Mini DisplayPort 4GB GPU paměti | 4x Mini DisplayPort 4GB GPU paměti |
Max. spotřeba | 1,5 kW | 1,5 kW |
Provedení | Tower, vodní chlazení | Tower, vodní chlazení |
Softwarová výbava
Co je ale mnohem zajímavější je již zmiňovaná softwarová výbava nabízených NVIDIA strojů. Všechny shodně nabízí předinstalovaná a především výkonově vyladěná prostředí pro strojové učení (např. Caffe, resp. Cafe 2, Theano, TensorFlow, Torch, nebo MXNet) nebo intuitivní prostředí pro datové analytiky (NVIDIA Digits). To vše elegantně zabalené v Docker kontejnerech, volně ke stažení na NVDIA GPU Cloudu (NGC). Takto vyladěné prostředí poskytuje podle NVIDIE o 30% vyšší výkon pro aplikace v oblasti učení strojů proti aplikacím nasazených jenom čistě na NVIDIA hardwaru. Hlavní výhodou předinstalovaného prostředí je rychlost nasazení, které se pohybuje v jednotkách hodin.
NVIDIA GPU Cloud (NGC)
NVIDIA GPU Cloud (NGC) představuje katalog Docker obrazů nejpoužívanějších prostředí pro vývoj machine learning a deep learning aplikací, HPC aplikací nebo vizualizaci akcelerovanou NVIDIA GPU kartami. Nasazení těchto aplikací je pak otázkou zkopírování odkazu na příslušný Docker obraz, jeho spuštění na DGX systému a stažení a spuštění v Docker kontejneru. Jednotlivá vývojová prostředí — verze všech obsažených knihoven a frameworků, nastavení parametrů prostředí — jsou aktualizovaná a optimalizovaná NVIDIÍ pro nasazení na DGX systémech. https://ngc.nvidia.com/
NVIDIA nabízí na DGX systémy speciální cenové akce a programy pro oblasti vzdělávání (EDU) nebo start-up společností. Díky mezinárodní spolupráci mezi NVIDIA a IBM Global Financing je na modely DGX k dispozici zvýhodněné financování formou operativního leasingu.
Podpora
Silnou stránkou nabízeného řešení NVIDIA je podpora celého systému. Hardwarová podpora (v případě selhání některé z komponent) je samozřejmostí. Zásadní je softwarová podpora pro celé prostředí pro případ, že něco nefunguje tak, jak má. Zákazník má k dispozici stovky vývojářů připravených pomoci. Podpora je součástí nákupu systémů NVIDIA DGX. Je k dispozici na 3 nebo 5 let a po skončení této doby je možné ji dále prodloužit.
NVIDIA podpora zahrnuje:
- Vyslání technika na místo instalace (oprava u zákazníka)
- Automatická vzdálená diagnostika a řešení potíží
- Vydálená softwarová podpora
- Přístup k nejnovějším updatům a upgradům
- Přímý kontakt na odbornou podporu společnosti NVIDIA
- Soukromé NGC kontejnerové úložiště pro přístup k AI a HPC softwaru v kombinaci s funkcemi pro spolupráci a sdílení napříč vaší organizací
- Přístup k databázi znalostí obsahující odborné články, poznámky k aplikacím a produktovou dokumentaci
- Rychlá reakce a včasné řešení problémů prostřednictvím portálu podpory a 24 × 7 telefonní linky
- Podpora po dobu celáho životního cyklu NVIDIA DGX systémů a AI softwaru
- Výměna vadných HW komponent do následujícího pracovního dne
- DGX Systems Appliance Support Services Terms and Conditions
- End-user license agreement (EULA)
Díky kombinaci vyladěného hardwaru, softwaru a podpory NVIDIA přináší NVIDIA DGX výrazně vyšší výkon a zrychlení ve fázi učení aplikací strojového učení:
Díky kombinaci vyladěného hardwaru, softwaru a podpory NVIDIA přináší systémy DGX výrazně vyšší výkon a zrychlení ve fázi učení aplikací strojového učení:
Deep Learning Institute (DLI) nabízí on-line i hands-on školení pro vývojáře, datové analytiky nebo vědecké pracovníky, kteří řeší náročné úlohy umělé inteligence nebo akcelerovaných výpočtů.
Testování
Pro otestování výkonnosti a především rychlosti nasazení ML a AI aplikací máme k dispozici systém NVIDIA DGX Station a v rámci NVIDIA Tesla Test Drive programu také 2× NVIDIA Tesla V100 a NVIDIA Tesla T4. V případě Vašeho zájmu o testování prosím vyplňte tento formulář.
Kamila Jeřábková
M: +420 734 161 516
kamila.jerabkova@mcomputers.cz