NVIDIA AI Enterprise

NVIDIA AI Enterprise je komplexní sada softwaru pro umělou inteligenci a analýzu dat, která je optimalizovaná, certifikovaná a podporovaná společností NVIDIA pro provoz na VMware vSphere společně s certifikovanými systémy (NVIDIA-Certified  Systems). Zahrnuje technologie pro rychlé nasazení, správu a škálování AI výpočtů v moderním hybridním cloudu.

Výhody NVIDIA AI Enterprise

NVIDIA AI Enterprise je ucelenou podnikovou platformou optimalizovanou pro výpočty umělé inteligence. Tato integrovaná platforma poskytuje nejlepší balík software pro AI ve své třídě – NVIDIA AI Enterprise Suite, optimalizovaný a výhradně certifikovaný pro přední virtualizační platformu v oboru – VMware vSphere.

Tato platforma, kterou lze provozovat pouze na certifikovaných akcelerovaných serverech (NVIDIA-Certified Systems), významně urychluje tempo, kterým mohou vývojáři vyvíjet aplikace umělé inteligence, a zároveň umožňuje organizacím škálovat moderní výpočetní zátěž na stejné infrastruktuře VMware vSphere, do které již investovaly.

Optimalizovaný pro vysoký výkon

Výkon srovnatelný s bare-metal nasazením ve více uzlech, vhodný pro velké a komplexní výpočetní zátěže pro trénování AI modelů a strojové učení.

Certifikovaný pro VMware vSphere

Snižte rizika při nasazení AI do vaší infrastruktury s kompletní sadou softwaru NVIDIA AI Enterprise, platformy pro datová centra certifikované se systémem VMware vSphere.

Podpora NVIDIA Enterprise Support

Využijte špičkovou podporu NVIDIA Enterprise Support, která zajistí, aby kritické projekty a procesy běžely spolehlivě a bez přerušení.

Optimalizováno a certifikováno na VMware vSphere s Tanzu

Společnosti VMware a NVIDIA se spojily, aby usnadnily nasazení AI do každého podniku a odvětví.

NVIDIA AI Enterprise je sada aplikací a frameworků pro AI a datovou vědu optimalizovaná a certifikovaná společností NVIDIA výhradně pro provoz na VMware vSphere s akcelerovanými systémy s certifikací NVIDIA. Zahrnuje klíčové technologie a software pro rychlé nasazení, správu a škálování výpočetních zátěží AI v moderním hybridním cloudu.

Distribuovaný výkon pro deep learning

Softwarová sada NVIDIA AI Enterprise, která je optimalizována pro prostředí VMware vSphere, poskytuje výkon téměř srovnatelný s bare-metal nasazením a to i napříč více uzly.

GPU virtualizace s NVIDIA AI Enterprise nijak neomezuje efektivitu a výkon akcelerátorů, čímž významně zkracuje dobu potřebnou k vývoji nových aplikací a služeb AI.

Víceuzlové škálování vyžaduje ethernetovou síťovou kartu, která podporuje RoCE. Pro ten nejlepší výkon doporučuje NVIDIA používat síťový adaptér Mellanox ConnectX-6 Dx a GPU NVIDIA A100 v každém virtuálním systému používaném pro škálování více uzlů.

Nasazení AI infrastruktury

Mnoho odborníků na umělou inteligenci se snaží škálovat výpočetní zdroje tak, aby zkrátili čas potřebný k dokončení tréninku neuronové sítě či dosáhli výsledků v reálném čase. Použití přístupu založeného na multi-GPU přibližuje vědce k dosažení jejich cílů, protože mohou rychleji experimentovat s různými neuronovými sítěmi a algoritmy. Jak vědci trénují stále více modelů, velikost a spotřeba dat může výrazně narůst.

Nasazení virtuálních GPU (vGPU) pro výpočty hlubokého učení lze navrhnout pomocí tří různých přístupů ve virtualizovaném prostředí:

Jednomu virtuálnímu počítači je přiřazeno jedna či pouze část vGPU
Jeden virtuální počítač využívá více vGPU, které jsou propojeny NVLinkem
Kombinace více virtuálních uzlů (VM)

Výpočetní modely mohou být dostatečně malé na to, aby běžely na jednom nebo více GPU v rámci serveru, jak ale rostou datové sady, prodlužuje se i doba trénování.

To je okamžik, kdy je vhodné využít distribuované trénování s více uzly. Cílem je vytvořit model využívající velké datové sady, které rozumí vzorcům a vztahům mezi daty, spíše než jen datům samotným.

To vyžaduje rychlou výměnu dat mezi více uzly během výpočetního procesu a GPUDirect RDMA společně s ATS poskytují vysoce výkonné síťové propojení mezi těmito uzly.

Každá organizace by měla vyhodnotit své potřeby a dle nich zvolit správný přístup, jak postavit svou infrastrukturu pro Deep Learning výpočty.

Jak je vidět na obrázku výše, počínaje na levé straně nahoře, datoví vědci nejdřívě musí připravit data, než budou trénovat neuronovou síť. Za tímto účelem je RAPIDS skvělým nástrojem pro výpočty strojového učení, stejně tak pro formátování a označování dat, která budou použita pro tréninkové výpočetní postupy.

Jakmile jsou data připravena, odborník na umělou inteligenci přejde na trénink. NVIDIA AI Enterprise nabízí předpřipravené a vyladěné kontejnery pro trénování neuronových sítí pomocí nástrojů, jako jsou TensorFlow a PyTorch.

Datový vědec může dále optimalizovat své nově natrénované modely pomocí sady TensorRT SDK a dalších nástrojů NVIDIA, aby byly co nejefektivnější. To se provádí slučováním neuronových vrstev a eliminací nadbytečných kroků.

A konečně, jakmile je model připraven pro produkci, může server NVIDIA Triton Inference Server odbavovat příchozí požadavky na inference. Triton Inference Server, dostupný jako kontejner pro Docker, podporuje výpočty jak na GPU, tak i CPU. Umožňuje front-endovým klientským aplikacím odesílat požadavky na clusterové inference pro AI a může spravovat modely i z cloudového úložiště těchto modelů.

Software pro optimalizaci infrastruktury

NVIDIA AI Enterprise Host Software

NVIDIA CUDA Toolkit

NVIDIA Magnum IO software stack for accelerated data centers

Frameworky pro AI and datovou vědu

TensorFlow

PyTorch

NVIDIA Triton Inference Server

NVIDIA TensorRT

NVIDIA RAPIDS

Jak efektivně využít Multi-GPU systémy?

To je jedna z nejčastějších otázek, kterou nám naši zákazníci pokládají. Několik technik optimalizace algoritmů na Multi-GPU systémech je popsáno ve webináři na Multi-GPU téma. Další možnosti je navšívit workshop Fundamentals of Deep Learning for Multi-GPUs, který pořádáme společně s NVIDIA Deep Learning Institutem (DLI).

Proč kontejnery?

Frameworky pro AI a datovou vědu jsou dodávány jako image kontejnerů. Tyto kontejnery lze spustit např. pomocí nástroje Docker.

Jednou z mnoha výhod používání kontejnerů je jednorázová instalace vaší aplikace, vazeb a proměnných prostředí do obrazu kontejneru; spíše než do systému, na kterém běžíte. Kromě toho, hlavní výhody používání kontejnerů také zahrnují:

Jednorázová instalace aplikace, vazeb a proměnných výpočetního prostředí do bitové kopie kontejneru.
Nehrozí riziko konfliktu s knihovnami, které jsou již nainstalovány.
Kontejnery umožňují použití více různých frameworků na stejném serveru, které by jinak mohly mít konfliktní softwarové závislosti.
Poté, co svou aplikaci integrujete do kontejneru, můžete ji spustit na mnoha dalších místech, zejména na serverech, bez instalace jakéhokoli softwaru.
Starší akcelerované výpočetní aplikace mohou být kontejnerizovány a nasazeny na novější systémy, on-premise nebo do cloudu.
Konkrétní zdroje GPU lze přidělit kontejneru pro izolaci a lepší výkon.
Aplikace můžete snadno sdílet, spolupracovat na nich a testovat je v různých prostředích.
Souběžně lze spouštět více instancí daného frameworku, přičemž každá má přiřazenou jednu nebo více konkrétních GPU.
Kontejnery mohou vyřešit konflikty síťových portů mezi aplikacemi mapováním kontejnerových portů na konkrétní externě viditelné porty při spouštění kontejneru.

Podívejte se na záznam webináře NVIDIA AI Enterprise

V průběhu webináře představíme novinky ze světa umělé inteligence, seuperpočítačů nebo vizualizace oznámené na NVIDIA konferenci GTC22. A protože byl letošní ročník konference nabitý technologiemi (např. nová GPU architektura Hopper), představíme Vám souhrn toho nejzajímavějšího.

Ve druhé části webináře ukážeme, jak rychle a efektivně nasadit AI aplikace, frameworky a knihovny v prostředí VMware. Jaká jsou řešení NVIDIA AI Enterprise a jeho nasazení na certifikovaných Lenovo serverech? Můžete se těšit i na problematiku sdílení NVIDIA GPU akcelerátorů více uživateli a zároveň vám představíme možnosti napojení vaší infrastruktury na NVIDIA GPU Cloud (NGC) – katalog optimalizovaných AI kontejnerů nebo předtrénovaných modelů.

Testování

Pro otestování výkonnosti a především rychlosti nasazení ML a AI aplikací máme k dispozici nejenom systémy NVIDIA DGX Station A100 a v rámci NVIDIA Tesla Test Drive programu také akcelerátory NVIDIA Tesla A100, ale i demo licence pro virtualizaci GPU (vGPU). V případě Vašeho zájmu o testování prosím vyplňte tento formulář.