Architektura Hopper a další novinky z NVIDIA GTC22

31.3.2023

Jako již tradičně, i na jarní NVIDIA GPU Technology Conference 2022 jsme dávali pozor a nyní vám přinášíme přehled toho nejzajímavějšího, co bylo představeno během virtuálních prezentací. Asi tou nejzásadnější novinkou bylo oznámení nové architektury Hopper a GPU akcelerátoru H100, který je na ní postavený. Co je na nové generaci přelomového a v jakých dalších systémech bude využita, se dozvíte v článku níže.

Architektura NVIDIA Hopper

Nově oznámená architektura Hopper přináší mnoho vylepšení ve srovnání s předchozí generací Ampere. Na čip GH100 se pomocí špičkového výrobního procesu TSMC 4N (vylepšená 4nm technologie) podařilo dostat více než 80 miliard tranzistorů a zároveň ho vybavit i extrémně rychlou HBM3 pamětí s propustností 3 terabyty za vteřinu.

Hopper nabídne hned několik zajímavých inovací, ať už se jedná o tzv. Confidential Computing, který ochrání data i kód před úniky či narušením zvenku nebo vylepšení výkonnosti výpočtů u transformer modelů či funkcionalitu DPX Instructions pro urchlení a větší efektivitu dynamického programování. A samozřejmě je nový čip vylepšený i o podporu 4. generace NVLinku či páté generace rozhraní PCI Express (PCIe Gen5).

NVIDIA H100 SXM5

Akcelerátor NVIDIA H100 SMX5, postavený na architektuře NVIDIA Hopper bude k dispozici v několika variantách. První z nich je varianta SXM5, která má sice největší výkonnost, ale s tím je zároveň spojena i nejvyšší spotřeba. Verzi SXM5 půjde pořídit pouze v rámci GPU boardů se čtyřmi či osmi akcelerátory a samostatná karta nebude v prodeji.

80 GB HBM3 paměti s propustností až 3 TB/s
16 896 CUDA a 528 Tensor jader 4. generace
teoretický výkon 30 TFLOPS s přesností FP64
teoretický výkon 60 TFLOPS s přesností FP32 a až 1000 TFLOPS pro výpočty Tensor TF32 s využitím funkce sparsity
podpora výpočtů FP8 s teoretickým výkonem až 4000 TFLOPS (s funkcí sparsity)
4. generace NVLinku s přenosovou rychlostí až 900 GB/s
pasivní SXM karta se spotřebou 700W

Webinář: Novinky z jarní konference NVIDIA GTC22

Na konferenci NVIDIA GTC jsou tradičně představovány novinky ze světa umělé inteligence, superpočítačů nebo vizualizace. A protože byl letošní ročník GTC22 nabitý technologiemi, v prezentaci naleznete souhrn toho nejzajímavějšího. V druhé části webináře jsme ukázali, jak rychle a efektivně nasadit AI aplikace, frameworky a knihovny v prostředí VMware a představili jsme řešení NVIDIA AI Enterprise na certifikovaných serverech Lenovo. Věnovali jsme se i problematice sdílení NVIDIA GPU akcelerátorů mezi více uživateli a možnostem napojení IT infrastruktury na NVIDIA GPU Cloud (NGC).

Stáhnout prezentaci

NVLink 4. generace

Již čtvrtá generace NVLinku opět přináší vyšší datovou propustnost než generace předchozí. Nejnovější rozhraní NVLink dokáže v 18 linkách nabídnout obousměrnou propustnost až 900GB/s, což je 14x více, než zvládne aktuální rozhraní PCI Express 4. generace (64GB/s). S nástupem plánované PCIe Gen5 (128GB/s) se sice náskok mírně sníží, rozdíl v datových propustnostech bude ale stále více než sedminásobný. Kromě toho NVLink nyní nově podporuje tzv. in-network výpočty nazvané SHARP, které byly dříve k dispozici pouze přes rozhraní Infiniband, a dokáže tak poskytnout neuvěřitelný výkon jeden exaFLOP při AI výpočtech s přesností FP8 (s využitím funkce sparsity) při All2All propustnosti 57,6 TB/s. Nový NVLink Switch System bude podporovat clustery až 256 připojených H100 a bude poskytovat až 9x větší šířku pásma než InfiniBand HDR s generací Ampere.

18 linek per GPU s datovou propustností až 900GB/s bi-directional
4x rychlejší než PCIe Gen4 (64GB/s)
7x rychlejší než PCIe Gen5 (128GB/s)
nově podpora in-network výpočtů
podpora clusteru až 256 připojených H100

NVIDIA H100 CNX

Konvergovaná varianta karty NVIDIA H100 CNX je postavena na PCIe verzi akcelerátoru H100, avšak přináší ještě něco navíc. V rámci jednoho boardu totiž nalezneme ještě SmartNIC čip nejnovější síťové karty ConnectX 7, která podporuje přenosové rychlosti až 400 Gbps. Oba čipy jsou vzájemně propojeny přes integrovaný PCIe Gen5 switch a toto provedení nalezne využití především u distribuovaných AI výpočtů mezi více uzly. Kartu bude možné připojit přes nejnovější rozhraní PCIe Gen5.

80 GB HBM3 paměti s propustností až 2 TB/s
14 592 CUDA a 528 Tensor jader 4. generace
teoretický výkon 24 TFLOPS s přesností FP64
teoretický výkon 48 TFLOPS s přesností FP32 a až 800 TFLOPS pro výpočty Tensor TF32 s využitím funkce sparsity
podpora výpočtů FP8 s teoretickým výkonem až 3200 TFLOPS (s funkcí sparsity)
připojení přes PCIe Gen5 s přenosovou rychlostí až 128 GB/s obousměrně
dual slot karta se spotřebou 350 W

NVIDIA DGX H100

Superpočítač NVIDIA DGX H100 je nástupce vlajkové lodi výpočetních systémů DGX A100. Tak jako svůj předchůdce, i DGX H100 obsahuje 8 navzájem propojených akcelerátorů NVIDIA H100 80GB. Zachoval si i stejný form faktor 6U, ovšem spotřeba nám vzrostla téměř dvojnásobně na 10,2 kW.

8x H100 80 GB HBM3 paměti s propustností až 24 TB/s a GPU pamětí 640GB
CPU – dual x86 (bude upřesněno)
2 TB RAM (DDR5?)
4x NVSwitch (7,2 TB/s)
OS: 2x 1.9TB NVMe M.2
DATA: 8x 3.84TB NVMe U.2
8x single-port ConnectX-7 (400Gb/s InfiniBand/Ethernet)
2x dual-port BlueField-3 DPU VPI (400Gb/s IB/Eth)
10Gb/s onboard NIC (RJ45) (volitelně 50Gb/s Eth)
Management (BMC) (RJ45)
2x NVIDIA BlueField-3 DPU BMC (RJ45)
Spotřeba max. 10,2kW
podpora výpočtů FP8 s teoretickým výkonem až 32 petaFLOPS (s funkcí sparsity)

Srovnání výkonu generace Hopper a Ampere

Úvodní slovo Jensena Huanga na jarní GTC22

Pokud jste si v průběhu konference GTC22 nestihli pustit úvodní slovo Jensena Huanga živě, můžete se na něj podívat alespoň ze záznamu na videu vpravo.

Jeho tradiční keynote byla tentokrát doslova nabitá novinkami, ať už se jednalo o oznámení v oblasti hardwaru a nové architektury Hopper nebo ve světě Omniverse, digitálním metaverzu, které nabírá na čím dál tím větší důležitosti.

Na závěr keynote jsme si užili i digitální koncert s krásnou animací datového centra uvnitř kalifornského sídla společnosti Nvidia, v budově Endeavour.

NVIDIA RTX A5500

NVIDIA RTX A5500, poslední a zatím nejmladší zástupce rodiny NVIDIA Ampere, obsahuje nejnovější generaci jader NVIDIA RT, Tensor a CUDA pro ty nejnáročnější grafické výpočty a akceleraci AI. GPU karta RTX A5500 je ideální pro provoz vysoce výkonných virtuálních pracovních stanic (vWS) s profesionálními vizualizačními aplikacemi nebo v kombinaci se softwarem NVIDIA Virtual PC (vPC) pro multimediální virtuální desktopy. Podporuje také výpočty hlubokého a strojového učení, kódování videa, cloud gaming, AI zvukové a video efekty, vykreslování, analýzu dat a mnoho dalších úloh.

24 GB GDDR6 ECC paměti s propustností až 768 GB/s
10 240 CUDA a 320 Tensor jader 3. generace
80 RT jader 2. generace s výkonem 66,6 TFLOPS
teoretický výkon 34,1 TFLOPS s přesností FP32 a až 272,8 TFLOPS pro výpočty Tensor TF32 s využitím funkce sparsity
připojení přes PCIe Gen4 s přenosovou rychlostí až 64 GB/s
4x display port, podpora vGPU
aktivní chlazení se spotřebou 230W

NVIDIA Omniverse

V průběhu svého úvodního slova nám Jensen Huang opět ukázal svou malou virtuální kopii pojmenovanou Toy Jensen, která byla vytvořena na nové platformě Omniverse. Omniverse Avatar je platforma pro vývoj interaktivních avatarů s umělou inteligencí, která spojuje základní technologie NVIDIA AI – NVIDIA Riva pro umělou inteligenci řeči, NVIDIA Metropolis pro počítačové vidění, NVIDIA NeMo Megatron pro porozumění mluveného jazyka a NVIDIA Merlin pro vyhledávání nejvhodnějších odpovědí a doporučení. Využití by měla najít především v komunikaci ze zákazníkem v průběhu objednávky produktů či řešení uživatelských problémů.

Další součástí virtuálního vesmíru Omniverse je i takzvaný Omniverse Replicator, který dokáže simulovat přirozené fyzikální podmínky a poskytnout tak validní syntetická data pro trénování modelů umělé inteligence. Tento směr nalezne využití především v segmentu autonomních vozidel a robotiky. V Omniverse lze ale simulovat i extrémně komplexní systémy, jak dokazuje například možnost vytvoření reálného modelu produkčních továren či elektráren, klimatického obrazu určité oblasti a NVIDIA má dokonce v plánu vytvořit věrný digitální klon celé planety Země, který ponese název E-2 (Earth Two) neboli Země Dvě.

NVIDIA Omniverse je end-to-end platforma pro týmovou spolupráci a simulace, která přelomově transformuje složité pracovní postupy vývoje a návrhu. Jedná se o virtuální 3D svět, ve kterém můžete v reálné čase vzdáleně spolupracovat s ostatními členy týmu a snadno vytvářet složité, fyzikálně přesné simulace, obrázky nebo videa. NVIDIA Omniverse Enterprise umožňuje 3D produkčním týmům – které jsou často velké a geograficky rozptýlené – bezproblémově spolupracovat na složitých projektech. Spíše než komplikované domlouvání osobních setkání nebo výměnu a iteraci obrovských souborů mohou designéři, umělci a testeři pracovat současně ve virtuálním světě odkudkoli a na jakémkoli zařízení.

Společnost M Computers zastupuje společnost NVIDIA na českém trhu v Enterprise oblasti výpočetních akcelerátorů a AI systémů.

Jako první společnost ve střední a východní Evropě získala nějvýšší status ELITE PARTNER a zároveň i dvě ocenění NVIDIA AI Innovator a NVIDIA AI Champion.

Testování

Pro otestování výkonnosti a zpracování náročných úloh máme k dispozici širokou škálu NVIDIA GPU karet.
V případě Vašeho zájmu o testování prosím vyplňte tento formulář.

Kamila Jeřábková

NVIDIA, Lenovo ISG

+420 734 161 516

kamila.jerabkova@mcomputers.cz