Martin Petr pro Lupa.cz: Jak postavit efektivní AI infrastrukturu

Na Lupa.cz vyšel rozhovor s naším kolegou Martinem Petrem, který se věnuje aktuální situaci na trhu s AI hardwarem, jeho dostupnosti a výzvám, které dnes firmy při budování vlastní AI infrastruktury řeší.

Vysoká poptávka po GPU akcelerátorech a dalších komponentách ovlivňuje nejen ceny, ale také dodací lhůty. U specifických konfigurací a platforem, jako jsou systémy NVIDIA HGX nebo DGX, mohou v krajních případech dosahovat až 24 týdnů. O to důležitější je podle Martina plánovat infrastrukturu s dostatečným předstihem a při návrhu zohlednit nejen požadovaný výkon, ale také dostupnost jednotlivých komponent.

AI infrastruktura není jen
o GPU

V rozhovoru Martin přibližuje, proč se při návrhu AI infrastruktury pouze nestačí zaměřit na výběr výkonného akcelerátoru. Důležitou roli hraje také síťová konektivita, rychlé NVMe úložiště, napájení nebo chlazení.

Právě limity stávajících datových center patří mezi oblasti, které firmy často podceňují. Moderní GPU systémy mají výrazně vyšší nároky na spotřebu a chlazení, a proto je potřeba posuzovat infrastrukturu jako celek.

Od trénování modelů
k inferenci

Mění se také způsob, jakým firmy umělou inteligenci využívají. Místo trénování vlastních modelů od začátku stále častěji pracují s již předtrénovanými modely, které přizpůsobují vlastním datům. Investice se tak postupně přesouvají od rozsáhlých tréninkových clusterů k systémům optimalizovaným pro inferenci.

V rozhovoru se také dozvíte více o konceptu NVIDIA AI Factory, rozdílech mezi vlastní
on-premise infrastrukturou a cloudem nebo o tom, na co myslet při plánování AI infrastruktury, aby byla připravená i na další generace hardwaru.

Celý rozhovor s Martinem Petrem si můžete přečíst na Lupa.cz.