Čipy Graphcore nasazeny do provozu na ČVUT

23. 11. 2022

Realizovali jsme v regionu první instalaci s IPU čipy Graphcore, které přímo konkurují profesionálním akcelerátorům Nvidia. Do provozu ho uvádí ČVUT, konkrétně Research Center for Informatics (RCI) spadající pod Fakultu elektrotechnickou a Fakultu informačních technologií. Očekávání jsou velká.

Graphcore Intelligence Processing Unit (IPU)

Graphcore je mladá britská společnost, která vyvíjí takzvaná IPU (Intelligence Processing Unit), tedy čipy s architekturou MIMD schopné akcelerovat operace spojené s prvky umělé inteligence a strojovým učením. Základem nabídky Graphcore je IPU čip MK2 GC200. Ten je vyroben 7nm procesem u TSMC.

IPU čip MK2 GC200 obsahuje

59,4 miliardy tranzistorů

a 1472 procesorových jader

AI výkon v FP16 má dosahovat na 250 teraflops.

Tyto čipy dále Graphcore skládá do hotových serverů o několika konfiguracích. Graphcore k tomu dodává i vlastní framework Poplar. Od investorů jako Microsoft, Dell, Sequoia Capital, Samsung nebo BMW posbírala firma Graphcore 692 milionů dolarů na vývoj a rozvoj společnosti a patří k velkým nadějím britského polovodičového průmyslu. Očekávání jsou vysoká, neboť je přímou konkurencí pro podobné akcelerátory od firmy Nvidia. Britské IPU jsou také dostupné v některých cloudech, takže lze rovněž mluvit jako o alternativě k čipům TPU (Tensor Processing Unit) běžících v Google Cloudu.

Instalace na ČVUT

První instalace Graphcore čipů v regionu byla uvedena do provozu na ČVUT, kde si pořídili jednotku POD4 obsahující server MI2000 se čtyřmi IPU akcelerátory. Jde o nejmenší možnou konfiguraci, jež by měla zvládat až jeden petaflop. Aktuálně probíhá na ČVUT testování. Mimo jiné si chtějí ověřit, jak na tom Graphcore bude ve srovnání s používanými prvky od Nvidie, tedy kartami V100 a A100 a minisuperpočítačem DGX A100, kterých škola pořídila deset.

„POD jsme koupili spolu se serverem, který má obdobnou konfiguraci jako naše ostatní uzly v klastru, tedy AMD Epyc s 64 jádry a 128 vlákny, 1 TB paměti, 2 TB NVMe, 200 Gb/s Infiniband a čtyřikrát 100 Gb/s Ethernet. Server je s IPU POD4 propojen 100Gb Ethernetem. K jednomu serveru mohou být připojeny až čtyři bloky POD4, vznikne pak POD16. Navzájem jsou bloky propojeny dedikovanou 400Gb sběrnicí. Máme tedy prostor pro případné další rozšiřování.“

— Daniel Večerka z katedry kybernetiky Fakulty elektrotechnické ČVUT —

1 2

Graphcore budou využívat primárně výzkumníci zabývající se machine learning a computer vision. Dle aktuálně dostupných testů by mohlo být IPU v těchto oblastech až 5x rychlejší než karty Nvidia Tesla A100, které v klastru RCI aktuálně ČVUT využívá. I proto jsou očekávání od nové instalace opravdu veliká. Sám Graphcore uvádí, že je výkonnější než Nvidia A100. Proto jsou na výsledky v reálném provozu všichni zvědaví.

Velkou výhodou je, že Graphcore nabízí snadnou integraci do frameworků PyTorch a TensorFlow, jež primárně na ČVUT používají. Stačí změnit pár řádků kódu a místo na GPU poběží učení na IPU.

Cenové srovnání

Pro ČVUT dodávaný model MI2000 vyjde na 36 tisíc dolarů, což je zhruba 850 tisíc korun. Pro vzdělávací sektor je cena snížená na 28 tisíc dolarů. K tomu se ještě platí tříletá podpora na hardware a software v hodnotě 6850 dolarů. Pro představu jedna samotná karta Nvidia A100 80 GB se prodává za nějakých 16,9 tisíce dolarů, pro školy za sníženou cenu 13 tisíc dolarů.

Sledování celé situace kolem Graphcore a Nvidia je velmi zajímavé. Nvidia s nově ohlášenou H100 zase udělala brutální výkonový skok dopředu, ale cenovka za celý server DGX H100 s osmi kartami H100 bude tomuto pokroku také odpovídat. Spekuluje se, že bude atakovat hranici 500 tisíc dolarů za server. Zároveň se řeší, jestli bude postavena na příští generaci Intelu (Sapphire Rapids), který má zpoždění, nebo AMD (Genoa) kvůli PCI Express 5.0. DGX H100 ale bude mít nejlepší poměr výkon/spotřeba a už teď naše firma začíná řešit s některými univerzitami nákup, neboť jim to přijde zajímavé.