Vědci z Ostravské univerzity trénují AI na systému NVIDIA

18.3.2022

Ústav pro výzkum a aplikace fuzzy modelování Ostravské univerzity byl první v České republice, kdo si pořídil nejnovější superpočítač pro výpočty umělé inteligence – NVIDIA DGX Station A100. A ačkoliv celý systém není o moc větší než běžný stolní počítač, nenechte se zmást jeho velikostí. Pod zlatou „kapotou“ se ukrývá výkon neuvěřitelných 2,5 petaFLOPS pro AI výpočty.

Kdo DGX Station využívá

Zařízení NVIDIA DGX Station A100 jsme dodali týmu akademických výzkumníků z Ústavu pro výzkum a aplikace fuzzy modelování. Tento tým pracuje na problémech týkajících se počítačového vidění a 3D grafiky. Jejich práce je rozdělena na čistý akademický výzkum a navrhování řešení pro soukromý sektor. Řešení pro soukromý sektor jsou převážně zaměřena na defektoskopii průmyslových výrobků, zejména pro automobilový průmysl, a ve většině případů využívají hlubokých neuronových sítí. V akademickém výzkumu se zabývají rolí dat, jejich pre/post-processingem, anonymizací, a chybovými funkcemi. Konkrétní příklady jejich práce naleznete na stránkách projektu.

Ústav pro výzkum a aplikace fuzzy modelování (IRAFM) je vědecké pracoviště, které je součástí Ostravské univerzity. Zaměřuje se na teoretický výzkum a praktický vývoj různých metod tzv. fuzzy modelování, tj. tvorby modelů, které umožňují zahrnout vágně či nepřesně specifikované informace.

Ideální sdílené řešení pro věděcký tým

Vědecký tým Ústavu pro výzkum a aplikace fuzzy modelování Ostravské univerzity je vybaven lokálními standardními desktopy na kterých probíhá běžné prototypování a testování připravovaných aplikací. Tyto aplikace, tvořené především hlubokými neuronovými sítěmi, jsou následně migrovány na NVIDIA DGX Station A100, která je osazena čtyřmi vysoce výkonnými výpočetními akcelerátory NVIDIA A100 40GB. Na DGX Station má každý člen týmu vzdálený přístup a ta tvoří nejvyšší výpočetní úroveň vhodnou pro dlouhotrvající náročné výpočty. Zařízení slouží také jako rychlý sdílený datový sklad.

„Nasazením NVIDIA DGX Station A100 s vysokým výpočetním výkonem jsme získali možnost určení vhodných hyper parametrů neuronové sítě z většího prohledávaného prostoru, což vede k zvýšení kvality řešení. Toto je umocněno trénováním na větších datasetech ve více iteracích, než by bylo možné za stejný čas na desktopu se standardní grafickou kartou. Ve výsledku dostáváme kvalitnější řešení za kratší čas,“ říká Petr Hurtík, vedoucí vědeckého týmu.

Proč jste zvolili DGX Station?

✓ Trénování velkých modelů díky velké paměti karet
✓ Rychlejší zpracování velkých datasetů na multi-GPU
✓ Možnost současně pracovat na více projektech, které potřebují větší výpočetní kapacitu

Čím vás zaujalo řešení NVIDIA?

✓ Skvělá podpora Cudy
✓ Rychlá sběrnice mezi GPU
✓ Optimalizace pro učení neuronových sítí

Ve kterých oblastech ho využíváte?

✓ Laserové svařování a navádění průmyslového robota
✓ Simulátor gonio-fotometrického zařízení
✓ SW pro odhalování neurodegenerativních onemocnění

Používané frameworky

✓ TensorFlow / Keras
✓ PyTorch / PyTorch Lighting
✓ CUDA, cuDNN

Softwarové prostředí

✓ Nvidia Docker + Nvidia containers, TensorRT
✓ Detectron2, MMDetection
✓ NVIDIA Kaolin

Využívaný hardware

✓ NVIDIA DGX Station A100 160GB
✓ NVIDIA RTX 3090
✓ NVIDIA Jetson Nano

Využití NVIDIA DGX Station A100 je jeden z nezbytných kroků k posunutí vědeckého týmu na světovou úroveň.

— Mgr. Petr Hurtík, Ph.D., vedoucí týmu —

Jak výkonná je DGX Station A100?

Ústav pro výzkum a aplikace fuzzy modelování Ostravské univerzity byl první v České republice, kdo si pořídil nejnovější superpočítač pro výpočty umělé inteligence – NVIDIA DGX Station A100 160 GB. A ačkoliv celý systém v tower provedení není o moc větší než běžný stolní počítač, nenechte se zmást jeho velikostí. Pod zlatou „kapotou“ se ukrývá výkon neuvěřitelných 2,5 petaFLOPS pro AI výpočty.

Generace Ampere přinesla největší nárůst výpočetního výkonu právě v oblasti AI výpočtů a pokud bychom srovnali výkon nejnovější DGX Station A100 s výkonem špičkového superpočítače NVIDIA DGX-2, který jsme v roce 2019 dodávali na IT4I („NVIDIA DGX-2 na IT4Innovations„), pracovní stanice by, pro někoho možná i překpapivě, zvítězila. V teoretickém výkonu 2,5 petaFLOPS u výpočtů s přesností FP16 by DGX Station se čtyřmi Ampere akcelerátory A100 s přehledem porazila šestnáct (!) akcelerátorů V100 (generace Volta) s maximálním teoretickým výkonem „jen“ 2 petaFLOPS.

A pokud se na to podíváme z pohledu spotřeby energie, rozdíl je ještě markantnější. Pro superpočítač NVIDIA DGX-2, form faktorem velikosti 10U a maximální spotřebou úctyhodných 10 kW, již potřebujeme rackovou skříň v dobře chlazeném datacentru, která má i vhodně vyřešené napájení.

Naopak, kompaktní DGX Station A100 s maximální spotřebou pouhých 1,5 kW můžete zapojit i do běžné zásuvky a postavit ji na stůl v kanceláři. Vodou chlazený design spolehlivě uchladí 64-jádrový procesor a čtyři grafické karty i při nejvyšší zátěži.

Zařízení bylo navrženo tak, aby mohlo být bez problému sdíleno mezi více uživateli či celými týmy. Zlatá pracovní stanice totiž nejenže sedí na šikovných kolečkách pro snadnější manupulaci, ale nabízí i dva 10Gb Ethernet porty a jeden dedikovaný management port pro bezproblémové připojení do sítě. To, že je DGX Station vhodná pro práci v kanceláři, podtrhuje i fakt, že při plném provozu její hlučnost nepřekročí 37dB.

GPU	4× NVIDIA A100 SXM4 40 GB
GPU memory	160 GB total (4x 40 GB)
# CUDA jader	27 648
# Tensor jader	1 728
CPU	1× AMD Epyc 7742, 64 cores
RAM	512 GB DDR4 (8x 64 GB)
HDD	OS: 1x 1,92 TB NVMe DATA: 1x 7,68 TB U.2 NVMe
Network	2x 10 Gb/s Ethernet 1x 1 Gb/s Ethernet (mgmt)
Grafické výstupy	4x Mini DisplayPort 1x VGA
Max. spotřeba	1,5 kW
Provedení	Tower, vodní chlazení

27 648

CUDA jader

1 728

Tensor jader

CPU jader

160 GB

GPU paměti

DGX Station A100 předek a otevřená boční strana

512 GB

DDR4 RAM

1,92 TB

NVMe pro OS

7,68 TB

NVMe pro data

souběžných instancí

NVIDIA GPU Cloud (NGC)

NVIDIA GPU Cloud (NGC) představuje katalog Docker obrazů nejpoužívanějších prostředí pro vývoj machine learning a deep learning aplikací, HPC aplikací nebo vizualizaci akcelerovanou NVIDIA GPU kartami. Nasazení těchto aplikací je pak otázkou zkopírování odkazu na příslušný Docker obraz, jeho spuštění na DGX systému a stažení a spuštění v Docker kontejneru.

Jednotlivá vývojová prostředí — verze všech obsažených knihoven a frameworků, nastavení parametrů prostředí — jsou aktualizovaná a optimalizovaná NVIDIÍ pro nasazení na DGX systémech. https://ngc.nvidia.com/

Softwarová výbava

Čím se nejvíce odlišují DGX systémy od bare-metal řešení je softwarová výbava. Všechny shodně nabízejí již předinstalovaná a především výkonově vyladěná prostředí pro strojové učení (např. Caffe, resp. Caffe 2, Theano, TensorFlow, Torch nebo MXNet) nebo intuitivní prostředí pro datové analytiky (NVIDIA Digits). To vše elegantně zabalené v Docker kontejnerech. Tyto neustále aktualizované kontejnery lze stáhnout na stránkách NVIDIA GPU Cloud (NGC).

Takto vyladěné prostředí poskytuje dle NVIDIE o 30% vyšší výkon pro aplikace v oblasti učení strojů proti aplikacím nasazeným jenom čistě na NVIDIA hardwaru. Hlavní výhodou předinstalovaného prostředí je ale rychlost nasazení, které se pohybuje v jednotkách hodin.

Podpora hardwaru i softwaru

Silnou stránkou nabízeného řešení NVIDIA je také podpora celého systému. Rychlá hardwarová podpora (v případě selhání některé z komponent) je samozřejmostí.

Zásadní je softwarová podpora pro celé prostředí pro případ, že něco nefunguje tak, jak má. Zákazník má k dispozici stovky vývojářů připravených pomoci. Podpora je součástí nákupu všech systémů NVIDIA DGX. Je k dispozici na 3 – 5 let a po skončení této doby je možné ji dále prodloužit.

Kdo DGX Station využívá

NVIDIA nabízí na DGX systémy speciální cenové akce a programy pro oblasti vzdělávání (EDU) nebo start-up společností. Díky mezinárodní spolupráci mezi NVIDIA a IBM Global Financing je na modely DGX k dispozici zvýhodněné financování formou operativního leasingu.

Získat nabídku

Testování

Pro otestování výkonnosti a zpracování náročných úloh máme k dispozici širokou škálu NVIDIA GPU karet.
V případě Vašeho zájmu o testování prosím vyplňte tento formulář.

Kamila Jeřábková

NVIDIA, Lenovo ISG

+420 734 161 516

kamila.jerabkova@mcomputers.cz