Nejvýkonnější systémy pro umělou inteligenci

Aktuální boom okolo ChatGPT a velká vlna zájmu o zapojování systémů umělé inteligence (AI) a strojového učení do prakticky jakékoliv digitální činnosti vytváří obrovský tlak na potřebu výpočetního výkonu a schopnost zpracovávat až neskutečné množství dat. Není se čemu divit, protože oblast AI se již používá v oblastech jako konverzace, úprava a tvorba textů, umělé fotografie, optimalizace webu a vyhledávání či obchodování na veřejných trzích. K tomu všemu se musela umělá inteligence vytrénovat na reálných datech a následně potvrdit, že výsledek má „hlavu i patu“. Pokud nemáte dostatečný výkon a transakční rychlost, můžete na výsledky čekat i roky.

Na konferenci Supercomputing se prezentovala ukázka řešení demonstrující současné schopnosti a možnosti, do kterého se intenzivně zapojili zástupci společnosti Micron, konkrétně z divize Micron Data Center Workload Engineering.

Vzniklé řešení bylo dílem několika stejně významných stran, a spolu Micronem spojily své síly týmy ze společností WEKA, AMD a Supermicro, aby jako první otestovaly platformy AMD EPYC 4. generace v distribuovaném úložném řešení WEKA určené pro zpracování náročných úloh A.I. (umělé inteligence).

Vzniklé řešení využívalo to nejlepší z nejmodernějšího hardwaru a softwaru, a pro změření jeho schopnosti zpracovávat náročné pracovní zátěže pro AI byl použit nový benchmark MLPerf vyvinutý pracovní skupinou MLCommons pro podporu strojového učení.

WEKA je řešení pro softwarově definované úložiště, a v nové verzi 4 přináší vyšší škálovatelnost a výkon na uzel, což je nezbytné pro využití výhod systémů nové generace, včetně AI.

Celé řešení je postavené na šesti uzlech společnosti Supermicro, konkrétně na nových systémech AS-1115CS-TNR, které tvoří WEKA cluster. Tyto platformy využívají výhody procesorů AMD EPYC 4. generace spolu s PCIe Gen5. celý systém je pak propojen pomocí síťových karet NVIDIA ConnectX-6 200Gb a to konkrétně dvěma síťovými kartami na uzel a jednou síťovou kartou na klienta.

Specifikace konkrétního testovaného řešení:

             Procesor AMD 4th Gen EPYC 9654P (96 jader).

             12x Micron DDR5 4800MT/s RDIMM

             10x SSD Micron 7450 NVMe

             2x síťová karta NVIDIA® Connectx®-6 200Gbe NIC

Jako paměti byly v tomto řešení nasazeny Micron DDR5 DRAM, které poskytují vyšší výkon, propustnost i přenosové rychlosti než předchozí generace DDR4. Použity byly také SSD disky Micron 7450 NVMe – postavené na 176vrstvé technologii Micronu s využitím CMOS under Array (CuA). Díky kombinaci těchto technologií poskytují disky vynikající výkon všem aplikacím a minimální dobu odezvy.

Jak to dopadlo?

Testovala se výkonnost FIO u 12 klientů generujících zátěž, aby se změřila maximální propustnost systému, přičemž zátěž byla postupně škálována u všech klientů.

Bylo dosaženo rychlosti až 142 GB/s pro čtení 1MB souborů a 103 GB/s pro jejich zápis. Zápisová propustnost je ohromující, pokud vezmeme v úvahu ES schéma kódování 4+2, které WEKA používá. To bylo umožněno extrémně vysokým výpočetním výkonem procesorů AMD EPYC 4. generace a vyšším výkonem nových pamětí Micron DDR5 DRAM.

Při náhodném čtení a zápisu bylo naměřeno až 6,3 milionu IOPS operací při čtení 4KB souborů a 1,7 milionu IOPS operací při jejich zápisu. To potvrdilo vynikající výsledky clusteru i pro zpracování malých náhodných bloků, který byl dosažen pomocí vysokého výkonu a minimální latence SSD disků Micron 7450 NVMe spolu se zaměřením systému WEKA na čtení/zápis malých bloků na NVMe úložiště.

Zveřejněno: 17. 03. 2023