Hluboký pohled na úložiště souborů OCI s Lustre – výkon a škálovatelnost pro úlohy AI, ML a HPC

Proč ukládat soubory s Lustre? Nový standard pro cloudové ukládání souborů

Moderní IT organizace jsou pod neustálým tlakem na poskytování škálovatelné, výkonné a spolehlivé infrastruktury, která by podněcovala inovace založené na datech. Vzhledem k tomu, že pracovní zátěže jsou stále více datově náročné – od trénování modelů umělé inteligence až po výpočetně náročné simulace – jsou nároky kladené na základní úložné platformy vyšší než kdy dříve. Tradiční úložné architektury se často potýkají s výkonem ve velkém měřítku, nepružným růstem a složitostí správy distribuovaných systémů v neustále se rozšiřujících prostředích.

Vzhledem k těmto výzvám společnost Oracle představila OCI File Storage with Lustre, plně spravovanou službu pro ukládání souborů, která byla vytvořena tak, aby splňovala náročné požadavky dnešních nejnáročnějších úloh. Odstraněním složitosti nasazení, škálování a každodenní správy umožňuje File Storage with Lustre zákazníkům soustředit se na poskytování obchodní hodnoty, nikoli na správu infrastruktury.

Ukládání souborů s Lustre implementuje open-source Lustre v cloudu s plnou odolností a dostupností OCI Cloud.

Ukládání souborů s Lustre vyniká několika základními silnými stránkami:

• Elastická škálovatelnost: V současné době může úložiště souborů s Lustre růst online z desítek terabajtů až na 20 PB kapacity. Můžete začít s malými 31 TB a souborový systém rozšiřovat dle potřeby, abyste splnili růst dat bez nutnosti přepracování architektury úložiště nebo narušení stávajících pracovních postupů.
• Prokázaný výkon ve velkém měřítku: Lineární škálování výkonu je demonstrováno rozsáhlými benchmarky. S rostoucí úložnou kapacitou se lineárně škáluje jak propustnost, tak i IOPS, což zajišťuje rychlý přístup s rostoucími pracovními zátěžemi a datovými sadami.
• Zjednodušený provoz: Využitím spravované infrastruktury OCI eliminuje File Storage with Lustre potřebu neustálého ladění hardwaru, ruční konfigurace failoveru nebo prostojů během škálování. To zahrnuje spravované služby, které se starají o činnosti, jako jsou bezpečnostní záplaty, opravy chyb Lustre a upgrady. File Storage with Lustre usnadňuje monitorování díky integraci s nativní službou OCI Monitoring Service.
• Vysoká dostupnost a odolnost již od návrhu: Integrovaná architektura domény chyb, replikace úložných svazků, automatické přepnutí při selhání a absence jediného bodu selhání maximalizují provozuschopnost kritických úloh.

Výkonové charakteristiky

Úložiště souborů s Lustre nabízí různé výkonnostní úrovně, které splňují vaše specifické požadavky. Zákazníci v současné době používají v produkčním prostředí souborové systémy s různými velikostmi a výkonnostními úrovněmi, včetně souborových systémů o velikosti až 20 PB.

Výsledky benchmarků: Transparentní výkon splňující průmyslové standardy

Aby si zákazníci mohli být jisti reálnými možnostmi úložiště souborů Lustre, společnost Oracle jej podrobila přísnému testování s využitím oborových nástrojů:

1. Benchmark IOR: Hodnotí propustnost paralelního souborového I/O, která je typická pro HPC úlohy. File Storage with Lustre prokázal lineární škálování propustnosti od 125 TB (16 klientů) do 250 TB (32 klientů), přičemž výkon se předvídatelně zlepšoval s rostoucí kapacitou a počtem klientů.
2. Benchmark FIO: Simuluje blokové I/O operace se smíšeným náhodným čtením/zápisem (v tomto případě poměr 60/40). Testy s různými velikostmi bloků (1M, 128k, 4k) potvrdily, že i IOPS rostou úměrně s přidělenou kapacitou.
3. MDTest: Zaměřuje se na výkon metadat – což je klíčové pro úlohy s rozsáhlým vytvářením, mazáním a statistikami souborů. File Storage with Lustre opět prokázal škálovatelný výkon metadat, úměrný jak kapacitě, tak počtu cílů metadat (MDT).

Obrázek 1 – Propustnost

Obrázek 2 – Výkon metadat

Benchmarky pro File Storage with Lustre ukazují, že poskytuje lineární a předvídatelnou škálovatelnost jak v propustnosti, tak v metadatech, jakmile je zřízena dodatečná úložná kapacita. Pomocí standardních oborových nástrojů (IOR, FIO a MDTest) jsme testovali paralelní souborové I/O operace, smíšené náhodné/blokové operace a výkon metadat. Výsledky ukazují, že s rostoucí velikostí souborového systému a počtem klientů se výkon úměrně škáluje a zahrnuje všechny kritické aspekty, jako je rychlost přenosu dat, IOPS a operace s metadaty. Důležité je, že těchto výsledků bylo dosaženo s okamžitým nasazením, což zdůrazňuje robustní výkon a snadné použití pro náročné úlohy, jako je umělá inteligence, strojové učení a HPC.

Začínáme s úložištěm souborů OCI s Lustre

Souborový systém můžete snadno vytvořit z konzole OCI Cloud, Terraformu, CLI nebo API. Vytvořte si souborový systém Lustre ještě dnes v konzoli Oracle Cloud – jednoduše přejděte do sekce Lustre File Storage v konzoli Oracle Cloud. Podrobnější technické informace naleznete v dokumentaci k úložišti souborů s Lustre nebo se obraťte na nás  a proberte s námi své souborové systémy a agregované požadavky na výkon.

Zdroj: Oracle