13.6.2023
Každým rokem přichází firmy s novými a unikátními akcelerátory a řešeními pro HPC, které přinášejí zásadní skoky ve vývoji, výzkumu a produkci AI, ML a DL aplikací. Proto jsme vám shrnuli ty nejvýznamnější z nich a porovnali jejich jednotlivé parametry, výkon a shrnuli jejich funkce.
Grafické či jiné výpočetní akcelerátory hrají v dnešní době v oblasti HPC obrovskou roli. Místo toho, aby byla veškerá práce zpracovávána tradičními procesory, výpočty se rozdělují do výpočetních jednotek, které mají přesně uzpůsobené instrukční sady, speciální jádra nebo rychlou paměť pro mnohokdy i desetkrát rychlejší zpracování daných problémů.
Narozdíl od procesorů, které aktuálně vrcholí modely s okolo 100 jádry, grafické a jiné akcelerátory jich mají řádově stovky až tisíce. Jejich jádra jsou sice slabší v porovnání s těmi procesorovými, za to jsou přesně dělané na konkrétní operace, které mají provádět a v tom excelují.
Firmy vyvýjí stále lepší a lepší akcelerátory, lepší algoritmy a instrukce, lepší architektury… Abychom se mohli lépe zorientovat v aktuálních trendech a vytvořili si dobrý přehled o možnostech, které právě teď máme, sepsali jsme pro vás toto srovnání současných novinek na trhu.
| Firma | Intel | Intel | AMD | AMD | NVIDIA | NVIDIA | Graphcore | Cerebras |
| Akcelerátor | Flex 170 | Gaudi2 | MI 250X | MI 300X | A100 | H100 | C600 | WSE-2 |
| Počet jader | 32 Xe | 24 TPC | 14,080 | 12 Chiplets | 6,912 | 7,296 | 1,472 IPU | 850,000 |
| Počet transistorů | 21,700 Mil. | TB/A | 58,000 Mil. | 153,000 Mil. | 54,200 Mil. | 80,000 Mil. | 59,400 Mil. | 2,600 Mld. |
| Výrobní proces | Intel 7 (10nm) | 7nm | 6nm | 5nm* | 7nm Ampere | 4nm Hopper | 7nm MK2 | 7nm TSMC N7 |
| Kapacita | 16 GB | 96 GB | 128 GB | 192 GB | 80 GB | 80 GB | 900 MB | 40 GB |
| Typ paměti | GDDR6 | HBM2e | HBM2e | HBM3 | HBM2e | HBM2e | IPM | on-chip SRAM |
| Sběrnice | PCIe gen. 4 | SXM5 | OAM | SXM5* | SXM4 | SXM5 | PCIe gen. 4 | prop. |
| Spotřeba | 150 W | 600 W | 560 W | TB/A | 500 W | 700 W | 185 W | 15 kW |
| Cena | 6,400 USD (est.) | TB/A | 8,000 USD | TB/A | 32,097 USD | 36,405 USD | N/A | N/A |
* Parametry jsou pouze předpokládané a nejsou ověřené, mohou se časem změnit
| Firma | Intel | Intel | AMD | AMD | NVIDIA | NVIDIA | Graphcore | Cerebras |
| Akcelerátor | Xe DC GPU | Gaudi | MI 250X | MI 300X | A100 | H100 | C600 | WSE-2 |
| FP16 | 256 GFLOPs | 839 TFLOPs | 383 TFLOPs | N/A | 624 TFLOPs | 1 979 TFLOPs | 280 TFLOPs | 7 500 TFLOPs |
| TF32 | N/A | N/A | N/A | N/A | 312 TFLOPs | 989 TFLOPs | N/A | N/A |
| BFLOAT16 | 256 GFLOPs | ~ 800 TFLOPs * | 383 TFLOPs | N/A | 624 TFLOPs | 1 513 TFLOPs | 123.13 TFLOPs | ~ 7000 TFLOPs * |
| INT8 | 512 GOPs | 1678 TOPs | 383 TOPs | N/A | 1 248 TOPs | 3 026 TOPs | 123 TOPs | N/A |
Grafické akcelerátory Intel Flex jsou novou řadou datacentrových karet od Intelu. Jsou sice zaměřené převážně na cloud gaming a computing, ale Intel dodává i knihovny pro AI aplikace, ve kterých za svoji cenu nemá nijak špatný výkon. Ovšem to není jejich primární přednost, jelikož karty Intel Flex vypinají především v operacemi s videem, jako je encoding, škálování, komprese a jiné.
Intel je první společností, která na trh přinesla grafický akcelerátor s dedikovaným AV1 encodingem. Toto je celkem průlomová událost, jelikož videokodek AV1 má násobně lepší kompresní poměry než AMD a NVIDIA s H.264. Narozdíl od H.265 a HEVC je také volně dostupná bez licencování.
Intel se rozhodl udělat lehce netradiční krok a své Intel Flex DC GPU karty v marketingu tlačí i směrem „cloud gamingu“. Jelikož se tento business sektor (Streamování her do zařízení hráče, ovšem veškeré výpočty a renderování je prováděno vzdáleně na serveru) v posledních pár letech poměrně rozrostl, je možné, že zde Intel se svými kartami uspěje.
Hlavní předností pro toto využití je převážně již zmíněné kódování videa, jelikož to je místo největší ztrá
ty výkonu a kvality i při rychlejších přenosech. Dále mohou Intel Flex karty nabídnout
až 32 Ray Tracing jader, poměrně vysoké takty (2000+ MHz) na jádru a dostatek GDDR6 grafické paměti; u modelu Flex 170 16 GB a 12 GB pro slabší Flex 140. Intel se ve svých specifikacích pyšní, že s tímto výkonem dokáže jediná Flex 170 karta streamovat až 68 720p30 her najednou.
Ačkoliv jsou Intel Flex DC GPU karty převážně určené pro cloud computing a media processing, Intel pomocí několika knihoven a instrukčních sad vytvořil prostředí i pro AI aplikace. Karty Flex 140 a 170 podporují většinu nejpoužívanějších AI knihoven, jako je TensorFlow, PyTorch nebo OpenVINO. Intel také zmiňuje, že AI aplikace by měly být plynule škálovatelné z Xeon procesorů přímo na Flex karty, což by mohlo ve výsledku u aplikací poměrně zvednout výkon a plně Intel řešení určené pro méně náročné výpočty by mohly být velmi zajímavou možností.
Nová divize Intelu, Intel Habana Labs, kterou v roce 2019 koupil, se zaměřuje čistě na SXM karty pro akceleraci umělé inteligence. U nejnovějšího modelu Gaudi2, který je oproti předchozímu 16nm Gaudi postaven na 7nm technologii, Intel uvádí, že karta by měla mít až dvojnásobnou propustnost a výkon oproti NVIDIA A100.
Využívání umělé inteligence expanduje v posledních letech do skoro každého průmyslu. Habana Labs chce tento postup více zpřístupnit a akcelerovat, a proto vyvinula druhou generaci Akcelerátorů pro nejrůznější odvětví AI, základně ale například pro Image recognition nebo NLP. Ve zmíněných oblastech máme porovnání teoretického TensorFlow výkonu oproti NVIDIA akcelerátorům:
Produkty Habana mají připravené jednoduché a efektivní řešení pro škálování trénovací a výpočetní kapacit na Gaudi2 díky integraci 24 100-Gigabit RDMA over Converged Ethernet (RoCE2) portů na čipové kartě, což je víc než dvojnásobek oproti první generaci.
21 portů na každém Gaudi2 procesoru je dedikovaných na propoje mezi dalšími, až sedmi procesory v hvězdicové topologii (all-to-all) v rámci celého serveru. zbylé tři porty jsou pro škálovatelný výstup, který může dosahovat až 2.4 Tbps pro celý osmikartový systém (HLS-Gaudi2).
Pro usnadnění konstrukce komplexnějších řešení, Habana nabízí kompletní osmičipové řešení přímo na jedné desce. Přes průmyslový standard RoCE můžou koncoví zákazníci tvořit Gaudi2 systémy přesně podle svých potřeb pro DL cluster a škálovat od jednoho po tisíce Gaudi2.
Tento nově oznámený akcelerátor vyvíjí AMD pro účely trénování umělé inteligence, jelikož na trhu je v tomto sektoru aktuálně zntalený boom. Akcelerátory MI 300X mají být přímou konkurencí pro akcelerátory NVIDIA H100.
Karty MI 300X jsou složeny z 12 čipletů, které jsou postaveny na 5nm / 6nm výrobním procesu. Celkově si můžeme všimnout, že karty MI 300X jsou v podstatě APU MI 300A bez „APU“ – tedy jsou samostatně fungující kartou.
MI 300X má kartám H100 také konkurovat obrovskou kapacitou paměti, kterou tvoří 192 GB HBM3.
Karta má být uvedena v Q3 2023 a komerčně nasazena v plánovaném exa-scale superpočítači El Capitan.
AMD akcelerátory Instinct MI 2xx se staví jako přímý soupeř pro NVIDIA A100 SXM karty a jsou postaveny na nové architektuře CDNA2, která je vylepšením minulé, osvědčené architektury CDNA. Oproti ní má vylepšenou efektivitu a spotřebu v poměru k výkonu, ovšem také samotná architektura dostala menší i větší úpravy. Jednou z nich je například „Elevated Fanout Bridge 2.5D“, což je alternativní druh SMD propoje mezi jádrem akcelerátoru, pamětí a dalšími komponenty na kartě. Především šetří náklady na výrobu, jelikož je vyroben z dostupnějších substrátů, ale také je mnohem jednodušší na výrobu. Dále díky EFB2.5D je mnohem lehčí hardware škálovat.
Nejvýkonnější superpočítač na světě, Frontier, je postavený na 3. generaci AMD EPYC procesorů a akcelerátorech AMD Instinct MI250 v šasi od HP Enterprise. S konfigurací čtyř těchto akcelerátorů na jeden výpočetní uzel a propoji AMD Infinity Fabric dosahuje Froniter špičkového výkonu 1.6 ExaFLOP, což ho činí prvním Exa-scale superpočítačem na světě.
S pomocí několika nových funkcí a technologií od AMD dokážou technologická řešení s procesory AMD EPYC 3. generace a akcelerátory AMD Instinct dostat z x86 architektury úplné maximum. 7nm SoC systémy poskytují až dvojnásobný výkon oproti minulým generacím a ve výsledku až čtyřnásobné TFLOPs v AI aplikacích, takže akcelerátory MI250X mají teoretickou point-to-point propustnost okolo 800 GB/s na svém I/O rozhraní.
Akcelerátor NVIDIA A100 TC GPU (Tensor Core GPU) potřebné zrychlení na jakkoliv škálovaný systém pro flexibilní řešení na vývoj a trénování AI, datové analytiky a HPC. Karta A100 je postavena na architektuře Ampere, která dosahuje v některých aplikacích až 20x většího výkonu oproti minulé generaci. S 80 GB HBM2e pamětí a datovým tokem přes 2 TBps je ideální volbou pro běh těch největších modelů a datasetů.
Oproti tomu je NVIDIA H100 ne její náhradou, ale doplněním vernisáže od NVIDIe; je postavena na novější 4 nm architektuře Hopper oproti 7nm Ampere. Výkon se více než zdvojnásobil, k tomu navíc díky menšímu výrobnímu procesu má mnohem vyšší efektivitu. S novým NVIDIA NVLink Switch systémem lze také zapojit do clusteru až 256 H100 karet, což například v oblasti NLP či jakékoliv AI aplikace může přinést exponenciální urychlení.
Obě karty jsou skvělou volbou pro řešení na trénování neuronových sítí pro jakýkolkiv sektor AI, pro datovou analytiku, dataprocessing či jiné aplikace, které pracují s obrovskými datovými sety, na které je co nejrychlejší propojení mezi kartami a vysoká kapacita paměti nezbytná.
NVIDIA H100 navíc nabízí Tensor jádra čtvrté generace a Transformer Engine s přesností FP8, díky které lze dosáhnout až devítinásobné trénovací rychlosti na MoE modelech. Tyto parametry navíc s NVLinkem čtvrté generace, který má datový průtok až 900 GBps pro mezi-GPU propoje, NVLINK Switch systémem, který urychluje komunikaci mezi každou jednotlivou kartou v nodu, PCIe 5. generace nebo SXM5 a NVIDIA MagnumIO softwarem dokáží poskytnout efektivní škálování od menších průmyslů až po masivní, jednotné GPU clustery.
Technologické výzkumné centrum Západočeské univerzity v Plzni spolu s TechSoft za podpory M Computers provedlo rozsáhlé testování grafických akcelerátorů od NVIDIE v simulačním programu Ansys Fluent R1. Krom porovnání benchmarků jednotlivých karet a jejich konfigurací provedlo také testování různých scénářů, které mohou v řešení a provozu aplikace nastat.
Některá porovnání a výsledky jsou uvedeny níže:
Děkujeme kolegům Jindřichovi Kňourkovi ze ZČU a Richardovi Paulasovi z TechSoft engineering s.r.o. za skvělé zpracování a prezentaci dat získaných s pomocí řešení dodaných od M Computers s.r.o!
Akcelerátor Graphcore C600 je IPU procesor PCIe karta s vysokým výkonnem pro strojové učení. Karta je postavena na nové architektuře Mk2, do které přibyla i například podpora FP8 přesnosti, která dokáže ještě víc urychlit některé AI výpočty. Karta obecně slouží jako již zmíněné IPU, tedy Infrastructure Processing Unit, což je karta, která se stará převážně o odlehčení zátěže procesoru a předzpracovávat některá data, která by jinak procesoru trvala násobně déle.
„Fun fact“; pokud se vám zdá, že PCIe akcelerátory od Graphcore vypadají poměrně netradičně, tak máte zcela pravdu; jejich design byl navržený AI algorytmem
Karta je dělána v dvouslotovém, full-height formátu a lze ji nasadit do standardních serverových šasí, běžně po dvou do 2U serverů a až po osmi do 4U.
Technologii IPU-Link vyvynula společnost Graphcore především pro propojování Akcelerátorů mezi sebou, jedná se o podobný princip jako např. NVLink. IPU-Link má ovšem možnost až osmikartového zapojení, čímž zlepšuje výkon a škálování řešení postavených na Graphcore akcelerátorech.
Architektura IPU od Graphcore má další unikátní prvek, kterou je paměť integrovaná přímo do jádra výpočetní jednotky. Můžeme ji přirovnat k Lx cache a také má podobné výhody – skvělou odezvu, datový tok a rychlost. V architektuře Mk2 má každé IPU jádro k dispozici 900 MB vlastní paměti, + k tomu až 448 GB streamovací / systémové paměti, která funguje jako buffer.
V případě firmy Cerebras se jedná o kompletní unikát – čip o ploše 46,225 mm2, což je více než padesátkrát větší plocha oproti největšímu grafickému čipu. Do tak velkého waferu bylo nasazeno 850,000 jader s 7nm procesem, v celku přes 2,6 trilionu transistorů.
Koncept WSE (Wafer Scale Engine), tedy víceméně celá compute jednotka superpočítače na jednom masivním čipu má nespočet výhod oproti clusterovaným systémům, tou hlavní je především latence a datový tok mezi jednotlivými jádry. Jelikož jsou všechny vytištěné na jediné ploše, jsou komunikační cesty mezi jednotkami úplně minimální, oproti Fabric propojům v tradičních systémech, které průtok omezují a lehce zpomalují.
https://mcomputers.cz/wp-content/uploads/2025/01/Srdce_sek_predani.jpg
539
907
Jitka Bláhová
https://mcomputers.cz/wp-content/uploads/2024/12/obrazek_2024-12-03_164614578-e1733305217994.png
Jitka Bláhová2025-01-31 12:00:572025-01-31 14:13:35Společně se zákazníky pomáháme dětem: Vánoční šifrování a podpora Srdce na dlani
https://mcomputers.cz/wp-content/uploads/2025/01/07_ThinkPad_x9_14.png
986
1536
Jitka Bláhová
https://mcomputers.cz/wp-content/uploads/2024/12/obrazek_2024-12-03_164614578-e1733305217994.png
Jitka Bláhová2025-01-14 16:16:442025-01-14 21:30:13Lenovo na CES 2025: Revoluční technologie do kanceláře i na gaming
https://mcomputers.cz/wp-content/uploads/2024/12/IMG_0539-kopie.jpg
850
1200
Veronika Pantůčková
https://mcomputers.cz/wp-content/uploads/2024/12/obrazek_2024-12-03_164614578-e1733305217994.png
Veronika Pantůčková2024-12-17 11:27:182024-12-17 12:49:08Naši zaměstnanci plní vánoční přání seniorů
https://mcomputers.cz/wp-content/uploads/2024/12/Lenovo_Awards_2024-86-1-scaled.webp
1707
2560
Jitka Bláhová
https://mcomputers.cz/wp-content/uploads/2024/12/obrazek_2024-12-03_164614578-e1733305217994.png
Jitka Bláhová2024-12-16 13:11:142025-01-07 10:36:38Získali jsme prestižní ocenění od Lenovo: TOP SMB Partner roku 2024
![](https://mcomputers.cz/wp-content/uploads/2024/09/Logo-Facebook-128x.png"){kind=logo}
