Srovnání HPC akcelerátorů pro rok 2023

13.6.2023

Každým rokem přichází firmy s novými a unikátními akcelerátory a řešeními pro HPC, které přinášejí zásadní skoky ve vývoji, výzkumu a produkci AI, ML a DL aplikací. Proto jsme vám shrnuli ty nejvýznamnější z nich a porovnali jejich jednotlivé parametry, výkon a shrnuli jejich funkce.

Přehled akcelerátorů

Grafické či jiné výpočetní akcelerátory hrají v dnešní době v oblasti HPC obrovskou roli. Místo toho, aby byla veškerá práce zpracovávána tradičními procesory, výpočty se rozdělují do výpočetních jednotek, které mají přesně uzpůsobené instrukční sady, speciální jádra nebo rychlou paměť pro mnohokdy i desetkrát rychlejší zpracování daných problémů.

Narozdíl od procesorů, které aktuálně vrcholí modely s okolo 100 jádry, grafické a jiné akcelerátory jich mají řádově stovky až tisíce. Jejich jádra jsou sice slabší v porovnání s těmi procesorovými, za to jsou přesně dělané na konkrétní operace, které mají provádět a v tom excelují.

Firmy vyvýjí stále lepší a lepší akcelerátory, lepší algoritmy a instrukce, lepší architektury… Abychom se mohli lépe zorientovat v aktuálních trendech a vytvořili si dobrý přehled o možnostech, které právě teď máme, sepsali jsme pro vás toto srovnání současných novinek na trhu.

Popis jednotlivých akcelerátorů

Intel Flex 170 Intel Gaudi2 AMD MI 300X / 250X NVIDIA A100 / H100 Graphcore C600 Cerebras WSE-2 Groq GroqCard

Parametry akcelerátorů

Firma	Intel	Intel	AMD	AMD	NVIDIA	NVIDIA	Graphcore	Cerebras
Akcelerátor	Flex 170	Gaudi2	MI 250X	MI 300X	A100	H100	C600	WSE-2
Počet jader	32 Xe	24 TPC	14,080	12 Chiplets	6,912	7,296	1,472 IPU	850,000
Počet transistorů	21,700 Mil.	TB/A	58,000 Mil.	153,000 Mil.	54,200 Mil.	80,000 Mil.	59,400 Mil.	2,600 Mld.
Výrobní proces	Intel 7 (10nm)	7nm	6nm	5nm*	7nm Ampere	4nm Hopper	7nm MK2	7nm TSMC N7
Kapacita	16 GB	96 GB	128 GB	192 GB	80 GB	80 GB	900 MB	40 GB
Typ paměti	GDDR6	HBM2e	HBM2e	HBM3	HBM2e	HBM2e	IPM	on-chip SRAM
Sběrnice	PCIe gen. 4	SXM5	OAM	SXM5*	SXM4	SXM5	PCIe gen. 4	prop.
Spotřeba	150 W	600 W	560 W	TB/A	500 W	700 W	185 W	15 kW
Cena	6,400 USD (est.)	TB/A	8,000 USD	TB/A	32,097 USD	36,405 USD	N/A	N/A

* Parametry jsou pouze předpokládané a nejsou ověřené, mohou se časem změnit

Srovnání výkonu akcelerátorů

Firma	Intel	Intel	AMD	AMD	NVIDIA	NVIDIA	Graphcore	Cerebras
Akcelerátor	Xe DC GPU	Gaudi	MI 250X	MI 300X	A100	H100	C600	WSE-2
FP16	256 GFLOPs	839 TFLOPs	383 TFLOPs	N/A	624 TFLOPs	1 979 TFLOPs	280 TFLOPs	7 500 TFLOPs
TF32	N/A	N/A	N/A	N/A	312 TFLOPs	989 TFLOPs	N/A	N/A
BFLOAT16	256 GFLOPs	~ 800 TFLOPs *	383 TFLOPs	N/A	624 TFLOPs	1 513 TFLOPs	123.13 TFLOPs	~ 7000 TFLOPs *
INT8	512 GOPs	1678 TOPs	383 TOPs	N/A	1 248 TOPs	3 026 TOPs	123 TOPs	N/A

Intel Flex 170 DC GPU

Intel Flex 140 a 170

Grafické akcelerátory Intel Flex jsou novou řadou datacentrových karet od Intelu. Jsou sice zaměřené převážně na cloud gaming a computing, ale Intel dodává i knihovny pro AI aplikace, ve kterých za svoji cenu nemá nijak špatný výkon. Ovšem to není jejich primární přednost, jelikož karty Intel Flex vypinají především v operacemi s videem, jako je encoding, škálování, komprese a jiné.

Kodek AV1

Intel je první společností, která na trh přinesla grafický akcelerátor s dedikovaným AV1 encodingem. Toto je celkem průlomová událost, jelikož videokodek AV1 má násobně lepší kompresní poměry než AMD a NVIDIA s H.264. Narozdíl od H.265 a HEVC je také volně dostupná bez licencování.

Intel x NVIDIA komprese videa

Karta pro cloud gaming

Intel se rozhodl udělat lehce netradiční krok a své Intel Flex DC GPU karty v marketingu tlačí i směrem „cloud gamingu“. Jelikož se tento business sektor (Streamování her do zařízení hráče, ovšem veškeré výpočty a renderování je prováděno vzdáleně na serveru) v posledních pár letech poměrně rozrostl, je možné, že zde Intel se svými kartami uspěje.

Hlavní předností pro toto využití je převážně již zmíněné kódování videa, jelikož to je místo největší ztrá

ty výkonu a kvality i při rychlejších přenosech. Dále mohou Intel Flex karty nabídnout Intel Flex game streaming

až 32 Ray Tracing jader, poměrně vysoké takty (2000+ MHz) na jádru a dostatek GDDR6 grafické paměti; u modelu Flex 170 16 GB a 12 GB pro slabší Flex 140. Intel se ve svých specifikacích pyšní, že s tímto výkonem dokáže jediná Flex 170 karta streamovat až 68 720p30 her najednou.

AI computing

Ačkoliv jsou Intel Flex DC GPU karty převážně určené pro cloud computing a media processing, Intel pomocí několika knihoven a instrukčních sad vytvořil prostředí i pro AI aplikace. Karty Flex 140 a 170 podporují většinu nejpoužívanějších AI knihoven, jako je TensorFlow, PyTorch nebo OpenVINO. Intel také zmiňuje, že AI aplikace by měly být plynule škálovatelné z Xeon procesorů přímo na Flex karty, což by mohlo ve výsledku u aplikací poměrně zvednout výkon a plně Intel řešení určené pro méně náročné výpočty by mohly být velmi zajímavou možností.

Intel Habana Labs Gaudi2

Nová divize Intelu, Intel Habana Labs, kterou v roce 2019 koupil, se zaměřuje čistě na SXM karty pro akceleraci umělé inteligence. U nejnovějšího modelu Gaudi2, který je oproti předchozímu 16nm Gaudi postaven na 7nm technologii, Intel uvádí, že karta by měla mít až dvojnásobnou propustnost a výkon oproti NVIDIA A100.

Nejefektivnější akcelerátor pro AI deep learning

Využívání umělé inteligence expanduje v posledních letech do skoro každého průmyslu. Habana Labs chce tento postup více zpřístupnit a akcelerovat, a proto vyvinula druhou generaci Akcelerátorů pro nejrůznější odvětví AI, základně ale například pro Image recognition nebo NLP. Ve zmíněných oblastech máme porovnání teoretického TensorFlow výkonu oproti NVIDIA akcelerátorům:

RoCE2 škálování

Produkty Habana mají připravené jednoduché a efektivní řešení pro škálování trénovací a výpočetní kapacit na Gaudi2 díky integraci 24 100-Gigabit RDMA over Converged Ethernet (RoCE2) portů na čipové kartě, což je víc než dvojnásobek oproti první generaci.

21 portů na každém Gaudi2 procesoru je dedikovaných na propoje mezi dalšími, až sedmi procesory v hvězdicové topologii (all-to-all) v rámci celého serveru. zbylé tři porty jsou pro škálovatelný výstup, který může dosahovat až 2.4 Tbps pro celý osmikartový systém (HLS-Gaudi2).

Pro usnadnění konstrukce komplexnějších řešení, Habana nabízí kompletní osmičipové řešení přímo na jedné desce. Přes průmyslový standard RoCE můžou koncoví zákazníci tvořit Gaudi2 systémy přesně podle svých potřeb pro DL cluster a škálovat od jednoho po tisíce Gaudi2.

AMD MI 300X

AMD MI 300X announcement

Tento nově oznámený akcelerátor vyvíjí AMD pro účely trénování umělé inteligence, jelikož na trhu je v tomto sektoru aktuálně zntalený boom. Akcelerátory MI 300X mají být přímou konkurencí pro akcelerátory NVIDIA H100.

Karty MI 300X jsou složeny z 12 čipletů, které jsou postaveny na 5nm / 6nm výrobním procesu. Celkově si můžeme všimnout, že karty MI 300X jsou v podstatě APU MI 300A bez „APU“ – tedy jsou samostatně fungující kartou.

MI 300X má kartám H100 také konkurovat obrovskou kapacitou paměti, kterou tvoří 192 GB HBM3.

Karta má být uvedena v Q3 2023 a komerčně nasazena v plánovaném exa-scale superpočítači El Capitan.

AMD MI 250X

AMD akcelerátory Instinct MI 2xx se staví jako přímý soupeř pro NVIDIA A100 SXM karty a jsou postaveny na nové architektuře CDNA2, která je vylepšením minulé, osvědčené architektury CDNA. Oproti ní má vylepšenou efektivitu a spotřebu v poměru k výkonu, ovšem také samotná architektura dostala menší i větší úpravy. Jednou z nich je například „Elevated Fanout Bridge 2.5D“, což je alternativní druh SMD propoje mezi jádrem akcelerátoru, pamětí a dalšími komponenty na kartě. Především šetří náklady na výrobu, jelikož je vyroben z dostupnějších substrátů, ale také je mnohem jednodušší na výrobu. Dále díky EFB2.5D je mnohem lehčí hardware škálovat.

Frontier – AMD × HPE

Nejvýkonnější superpočítač na světě, Frontier, je postavený na 3. generaci AMD EPYC procesorů a akcelerátorech AMD Instinct MI250 v šasi od HP Enterprise. S konfigurací čtyř těchto akcelerátorů na jeden výpočetní uzel a propoji AMD Infinity Fabric dosahuje Froniter špičkového výkonu 1.6 ExaFLOP, což ho činí prvním Exa-scale superpočítačem na světě.

AMD Infinity architektura

S pomocí několika nových funkcí a technologií od AMD dokážou technologická řešení s procesory AMD EPYC 3. generace a akcelerátory AMD Instinct dostat z x86 architektury úplné maximum. 7nm SoC systémy poskytují až dvojnásobný výkon oproti minulým generacím a ve výsledku až čtyřnásobné TFLOPs v AI aplikacích, takže akcelerátory MI250X mají teoretickou point-to-point propustnost okolo 800 GB/s na svém I/O rozhraní.

NVIDIA A100 / H100

Akcelerátor NVIDIA A100 TC GPU (Tensor Core GPU) potřebné zrychlení na jakkoliv škálovaný systém pro flexibilní řešení na vývoj a trénování AI, datové analytiky a HPC. Karta A100 je postavena na architektuře Ampere, která dosahuje v některých aplikacích až 20x většího výkonu oproti minulé generaci. S 80 GB HBM2e pamětí a datovým tokem přes 2 TBps je ideální volbou pro běh těch největších modelů a datasetů.

Oproti tomu je NVIDIA H100 ne její náhradou, ale doplněním vernisáže od NVIDIe; je postavena na novější 4 nm architektuře Hopper oproti 7nm Ampere. Výkon se více než zdvojnásobil, k tomu navíc díky menšímu výrobnímu procesu má mnohem vyšší efektivitu. S novým NVIDIA NVLink Switch systémem lze také zapojit do clusteru až 256 H100 karet, což například v oblasti NLP či jakékoliv AI aplikace může přinést exponenciální urychlení.

AI, Deep Learning, Machine Learning, Data Processing, NLP

AI Training speed difference between NVIDIA A100 and H100

Obě karty jsou skvělou volbou pro řešení na trénování neuronových sítí pro jakýkolkiv sektor AI, pro datovou analytiku, dataprocessing či jiné aplikace, které pracují s obrovskými datovými sety, na které je co nejrychlejší propojení mezi kartami a vysoká kapacita paměti nezbytná.

NVIDIA H100 navíc nabízí Tensor jádra čtvrté generace a Transformer Engine s přesností FP8, díky které lze dosáhnout až devítinásobné trénovací rychlosti na MoE modelech. Tyto parametry navíc s NVLinkem čtvrté generace, který má datový průtok až 900 GBps pro mezi-GPU propoje, NVLINK Switch systémem, který urychluje komunikaci mezi každou jednotlivou kartou v nodu, PCIe 5. generace nebo SXM5 a NVIDIA MagnumIO softwarem dokáží poskytnout efektivní škálování od menších průmyslů až po masivní, jednotné GPU clustery.

ZČU + TechSoft: testování NVIDIA akcelerátorů v Ansys Fluent

Technologické výzkumné centrum Západočeské univerzity v Plzni spolu s TechSoft za podpory M Computers provedlo rozsáhlé testování grafických akcelerátorů od NVIDIE v simulačním programu Ansys Fluent R1. Krom porovnání benchmarků jednotlivých karet a jejich konfigurací provedlo také testování různých scénářů, které mohou v řešení a provozu aplikace nastat.

Některá porovnání a výsledky jsou uvedeny níže:

Děkujeme kolegům Jindřichovi Kňourkovi ze ZČU a Richardovi Paulasovi z TechSoft engineering s.r.o. za skvělé zpracování a prezentaci dat získaných s pomocí řešení dodaných od M Computers s.r.o!

Graphcore C600

Akcelerátor Graphcore C600 je IPU procesor PCIe karta s vysokým výkonnem pro strojové učení. Karta je postavena na nové architektuře Mk2, do které přibyla i například podpora FP8 přesnosti, která dokáže ještě víc urychlit některé AI výpočty. Karta obecně slouží jako již zmíněné IPU, tedy Infrastructure Processing Unit, což je karta, která se stará převážně o odlehčení zátěže procesoru a předzpracovávat některá data, která by jinak procesoru trvala násobně déle.

„Fun fact“; pokud se vám zdá, že PCIe akcelerátory od Graphcore vypadají poměrně netradičně, tak máte zcela pravdu; jejich design byl navržený AI algorytmem

Karta je dělána v dvouslotovém, full-height formátu a lze ji nasadit do standardních serverových šasí, běžně po dvou do 2U serverů a až po osmi do 4U.

IPU-Link

Technologii IPU-Link vyvynula společnost Graphcore především pro propojování Akcelerátorů mezi sebou, jedná se o podobný princip jako např. NVLink. IPU-Link má ovšem možnost až osmikartového zapojení, čímž zlepšuje výkon a škálování řešení postavených na Graphcore akcelerátorech.

In – Processor Memory (IPM)

Graphcore IPU memory management

Architektura IPU od Graphcore má další unikátní prvek, kterou je paměť integrovaná přímo do jádra výpočetní jednotky. Můžeme ji přirovnat k Lx cache a také má podobné výhody – skvělou odezvu, datový tok a rychlost. V architektuře Mk2 má každé IPU jádro k dispozici 900 MB vlastní paměti, + k tomu až 448 GB streamovací / systémové paměti, která funguje jako buffer.

Cerebras WSE-2

V případě firmy Cerebras se jedná o kompletní unikát – čip o ploše 46,225 mm², což je více než padesátkrát větší plocha oproti největšímu grafickému čipu. Do tak velkého waferu bylo nasazeno 850,000 jader s 7nm procesem, v celku přes 2,6 trilionu transistorů.

Koncept WSE (Wafer Scale Engine), tedy víceméně celá compute jednotka superpočítače na jednom masivním čipu má nespočet výhod oproti clusterovaným systémům, tou hlavní je především latence a datový tok mezi jednotlivými jádry. Jelikož jsou všechny vytištěné na jediné ploše, jsou komunikační cesty mezi jednotkami úplně minimální, oproti Fabric propojům v tradičních systémech, které průtok omezují a lehce zpomalují.

Srovnání HPC akcelerátorů pro rok 2023

Přehled akcelerátorů

Popis jednotlivých akcelerátorů

Parametry akcelerátorů

Srovnání výkonu akcelerátorů

Intel Flex 170 DC GPU

Kodek AV1

Karta pro cloud gaming

AI computing

Intel Habana Labs Gaudi2

Nejefektivnější akcelerátor pro AI deep learning

RoCE2 škálování

AMD MI 300X

AMD MI 250X

Frontier – AMD × HPE

AMD Infinity architektura

NVIDIA A100 / H100

AI, Deep Learning, Machine Learning, Data Processing, NLP

ZČU + TechSoft: testování NVIDIA akcelerátorů v Ansys Fluent

Graphcore C600

IPU-Link

In – Processor Memory (IPM)

Cerebras WSE-2

DALŠÍ AKTUALITY

Petr Plodík získal stříbrnou medaili prof. Jánského

Pomáháme zrychlit geolokační projekty

Na vlnách AI s Lenovo a M Computers

Do práce na kole 2024

NVIDIA DGX na CEITEC VUT v Brně

Víkend s nadací Srdce na dlani

Dubnová běžecká a pěší výzva

Získali jsme prestižní NVIDIA ocenění

Spolupráce s Photon Energy Group – video

O nás

Produkty NVIDIA

Produkty Intel a AMD

Kontakt