Nejvýkonnější systémy pro umělou inteligenci
Aktuální boom okolo ChatGPT a velká vlna zájmu o zapojování systémů umělé inteligence (AI) a strojového učení do prakticky jakékoliv digitální činnosti vytváří obrovský tlak na potřebu výpočetního výkonu a schopnost zpracovávat až neskutečné množství dat. Není se čemu divit, protože oblast AI se již používá v oblastech jako konverzace, úprava a tvorba textů, umělé fotografie, optimalizace webu a vyhledávání či obchodování na veřejných trzích. K tomu všemu se musela umělá inteligence vytrénovat na reálných datech a následně potvrdit, že výsledek má „hlavu i patu“. Pokud nemáte dostatečný výkon a transakční rychlost, můžete na výsledky čekat i roky.
Na konferenci Supercomputing se prezentovala ukázka řešení
demonstrující současné schopnosti a možnosti, do kterého se intenzivně zapojili
zástupci společnosti Micron, konkrétně z divize Micron Data Center Workload
Engineering.
Vzniklé řešení bylo dílem několika stejně významných stran,
a spolu Micronem spojily své síly týmy ze společností WEKA, AMD a Supermicro,
aby jako první otestovaly platformy AMD EPYC 4. generace v distribuovaném
úložném řešení WEKA určené pro zpracování náročných úloh A.I. (umělé
inteligence).
Vzniklé řešení využívalo to nejlepší z nejmodernějšího
hardwaru a softwaru, a pro změření jeho schopnosti zpracovávat náročné pracovní
zátěže pro AI byl použit nový benchmark MLPerf vyvinutý pracovní skupinou
MLCommons pro podporu strojového učení.
WEKA je řešení pro softwarově definované úložiště, a v nové
verzi 4 přináší vyšší škálovatelnost a výkon na uzel, což je nezbytné pro
využití výhod systémů nové generace, včetně AI.
Celé řešení je postavené na šesti uzlech společnosti
Supermicro, konkrétně na nových systémech AS-1115CS-TNR, které tvoří WEKA
cluster. Tyto platformy využívají výhody procesorů AMD EPYC 4. generace spolu s
PCIe Gen5. celý systém je pak propojen pomocí síťových karet NVIDIA ConnectX-6
200Gb a to konkrétně dvěma síťovými kartami na uzel a jednou síťovou kartou na
klienta.
Specifikace konkrétního testovaného řešení:
• Procesor
AMD 4th Gen EPYC 9654P (96 jader).
• 12x
Micron DDR5 4800MT/s RDIMM
• 10x SSD
Micron 7450 NVMe
• 2x síťová
karta NVIDIA® Connectx®-6 200Gbe NIC
Jako paměti byly v tomto řešení nasazeny Micron DDR5 DRAM,
které poskytují vyšší výkon, propustnost i přenosové rychlosti než předchozí
generace DDR4. Použity byly také SSD disky Micron 7450 NVMe – postavené na
176vrstvé technologii Micronu s využitím CMOS under Array (CuA). Díky kombinaci
těchto technologií poskytují disky vynikající výkon všem aplikacím a minimální
dobu odezvy.
Jak to dopadlo?
Testovala se výkonnost FIO u 12 klientů generujících zátěž,
aby se změřila maximální propustnost systému, přičemž zátěž byla postupně
škálována u všech klientů.
Bylo dosaženo rychlosti až 142 GB/s pro čtení 1MB souborů a
103 GB/s pro jejich zápis. Zápisová propustnost je ohromující, pokud vezmeme v
úvahu ES schéma kódování 4+2, které WEKA používá. To bylo umožněno extrémně
vysokým výpočetním výkonem procesorů AMD EPYC 4. generace a vyšším výkonem
nových pamětí Micron DDR5 DRAM.
Při náhodném čtení a zápisu bylo naměřeno až 6,3 milionu
IOPS operací při čtení 4KB souborů a 1,7 milionu IOPS operací při jejich
zápisu. To potvrdilo vynikající výsledky clusteru i pro zpracování malých
náhodných bloků, který byl dosažen pomocí vysokého výkonu a minimální latence
SSD disků Micron 7450 NVMe spolu se zaměřením systému WEKA na čtení/zápis
malých bloků na NVMe úložiště.
Zveřejněno: 17. 03. 2023