S tím, jak se úlohy umělé inteligence vyvíjejí od experimentů zaměřených na školení k systémům v reálném čase a produkčním měřítku, začínají podniky hledat infrastrukturu, která splňuje výkonnostní požadavky každé fáze – od trénování modelů až po generování dat s rozšířeným načítáním (RAG) a inferenci v reálném čase.
Úložiště kompatibilní s S3 se díky své flexibilitě a nativní integraci do cloudu stalo standardním rozhraním pro moderní platformy umělé inteligence. Úlohy jako RAG, interaktivní inference a agentní umělá inteligence však často vyžadují přístup k objektovým datům s vysokou souběžností a nízkou latencí, což posouvá hranice výkonu dále.
Ve společnosti Oracle úzce spolupracují s technologickými partnery, aby poskytovali nejlepší úložná řešení ve své třídě, která jsou přizpůsobena vyvíjejícím se potřebám zákazníků. Využíváním specializovaných odborných znalostí partnerů umožňují zákazníkům těžit z dostupných efektivních, škálovatelných a vysoce výkonných úložných možností. V tomto blogu se podělíme o výsledky společného testu konceptu (POC) mezi společnostmi Oracle a DDN, členem partnerské sítě Oracle Partner Network, a zdůrazníme architekturu a výkonnostní výsledky použití řešení DDN Infinia na platformě Oracle Cloud Infrastructure (OCI) IaaS Compute.
Infinia je softwarově definované, S3-kompatibilní KV úložiště optimalizované pro umělou inteligenci řízenou GPU, které poskytuje vysoké IOPS, nízkou latenci a škálovatelnou propustnost.
DDN Infinia nabízí:
- Extrémní výkon S3: Ultranízká latence, vysoká propustnost a miliony IOPS (obj/s).
- Sjednocený přístup k datům: Propojuje multimodální data napříč prostředími bez izolací.
- Masivní škálování: Podporuje více než 200 000 GPU a datové sady v exabajtovém měřítku.
- Nativní multi-tenancy: Izolace a správa úloh pomocí QoS a dynamického škálování.
1. Architektura nasazení
Tato prezentace konceptu (POC) demonstruje škálovatelnost a výkon softwarově definovaného úložiště DDN Infinia běžícího na OCI bare metal serverech pro podporu vysoce propustných a nízkolatenčních úloh S3 pro AI/ML, média a HPC. Jako serverové uzly doporučujeme použít BM.DenseIO.E5 a BM.DenseIO.E4.
Obrázek 1: Architektura nasazení OCI pro škálování DDN Infinia
2. Nastavení benchmarku
2.1 Serverové uzly: 6 x OCI Compute BM.DenseIO.E5.128
Obrázek 2: Nastavení DDN Infinia POC v OCI – Konfigurace serveru
Řešení DDN Infinia bylo nasazeno na šesti uzlech BM.DenseIO.E5 (2 × procesory AMD EPYC 9J14, celkem 128 OCPU, 1,5 TB RAM, 12 × 6,8 TB NVMe SSD a jedno vysokorychlostní síťové rozhraní 100 GbE), čímž vznikl jeden logický úložný cluster s jednotným jmenným prostorem kompatibilním s S3. Pro počáteční konfiguraci úložiště Infinia doporučujeme minimálně šest serverových uzlů, aby byla zajištěna vysoká dostupnost a zároveň nedocházelo k přerušení přístupu k datům v případě, že by jeden nebo více serverových uzlů byl odstaven offline (z důvodu údržby softwaru/hardwaru). Toto nastavení poskytlo ~450 TB využitelné kapacity před ochranou s plnou podporou pro kódování mazání, indexování metadat a distribuovaný vysoce výkonný přístup k objektům S3.
2.2 Klientské uzly: 6 x BM.Standard.E5.192
Klientské uzly S3 byly zřízeny na platformě OCI BM.Standard.E5.192 pro simulaci aplikací AI/ML přistupujících k úložišti DDN Infinia prostřednictvím protokolu S3. Každý uzel obsahoval: 2 x 96jádrové procesory AMD EPYC (192 OCPU), 2,2 TB RAM a jedno vysokorychlostní síťové rozhraní 100 GbE.
Klientské uzly mohou být libovolné uzly GPU nebo pouze uzly CPU. Vrstvení úložiště můžete provádět kombinací Infinia a levného objektového úložiště pro přenos dat do/z úložiště na základě požadavků na vaši pracovní zátěž.
Klientské uzly generovaly úlohy GET/PUT s vysokou souběžností pomocí oborových nástrojů, jako jsou AWS cli, s5cmd a warp benchmark, a emulovaly aplikace umělé inteligence provádějící inferenci, RAG a streamování I/O v reálném čase.
2.3 Ochrana osobních údajů
Ve výše uvedeném nastavení je z celkového úložiště NVMe o velikosti 490 TB 450 TB úložného fondu použitelného před ochranou. Rozdíl ~40 TB představuje běžnou systémovou rezervu pro: konsolidovaný auditní záznam, metadata clusteru, prostor pro opětovné sestavení/žurnálování, virtuální horkou náhradu a režii fragmentace.
Níže uvedená tabulka ukazuje hrubou a použitelnou kapacitu pro některé typické scénáře s použitím uzlů OCI BM.DenseIO.E5.
| Uzly | Hrubá kapacita (TB) | Použitelné, předběžná ochrana (TB) | Použitelné, EC 8+3P (TB) | Použitelné, EC 16+3P (TB) | Použitelná, 4cestná replikace (TB) |
|---|---|---|---|---|---|
| 6 | 489,6 | 450 | 327 | – | 112,5 |
| 10 | 816 | 761 | 553 | 642 | 190 |
| 12 | 979,2 | 917 | 666 | 774 | 229 |
| 16 | 1306 | 1223 | 889 | 1030 | 306 |
| 32 | 2611.2 | 2444 | 1776 | 2052 | 611 |
Pro clustery s méně než 10 uzly doporučujeme EC 8+3P a pro clustery s 10 a více uzly, a to i pro produkční prostředí. Pro malé/minimální vstupně-výstupní operace a metadata se používá čtyřcestná replikace. Pokud potřebujete pomoc s výpočtem kapacity, obraťte se na tým OCI HPC GPU Storage.
3. Výsledky výkonnosti
3.1 Metadata a datový výkon S3
Testování výkonu S3 se zaměřilo na rychlost obj/s pro malé objekty i operace s metadaty, propustnost pro velké objekty, latenci a také na dobu do prvního bajtu (TTFB) pro přístup k objektům S3.
| Provoz S3 | Objekt/sekunda | Propustnost | Latence |
|---|---|---|---|
| DÁT | 52 tisíc/s | 27,6 GiB/s | 4 milisekundy |
| ZÍSKAT | 225 tisíc/s | 34,6 GiB/s | 1,7 milisekundy |
| Operace s metadaty S3 | Objekt/sekunda |
|---|---|
| SEZNAM | 194 tisíc/s |
| STAT | 345 tisíc/s |
| Čas do prvního bajtu | 5 milisekund |
|---|
Tabulka 1: Souhrnný výkon DDN Infinia S3 na OCI napříč šesti BM.DenseIO.E5
Nyní porovnáme výkon DDN Infinia na OCI pomocí níže uvedených nástrojů/benchmarků S3:
- Warp: Je navržen pro rychlost – spustí spoustu paralelních požadavků, aby maximalizoval využití sítě, a blíží se teoretickému limitu 100 Gb/s síťové karty BM.DenseIO.E5. S Warpem tedy dosahujeme propustnosti 10,6 GiB/s.
- AWS CLI cp: Toto je napsáno v Pythonu a není zrovna optimalizováno pro vysokorychlostní přenosy nebo silný paralelismus. Prostě nedrží krok s hardwarem, takže maximum, čeho dosáhl, bylo 2,2 GiB/s.
- s5cmd cp: Toto je napsáno v Go, který zvládá souběžnost mnohem lépe než Python, takže je schopen paralelně přenášet více dat a dosáhnout lepšího výkonu než AWS CLI cp, ale stále to nedosahuje toho, co dokáže Warp. Toto se pohybuje někde uprostřed s rychlostí 4,7 GiB/s.
Čím je nástroj optimalizovanější pro paralelismus a efektivní přenos dat, tím blíže se dostanete k saturaci síťového spojení. Proto vidíme tak velký rozdíl mezi těmito výsledky.
| Nástroj pro benchmarking | Propustnost jednoho klienta S3 na jeden server S3 |
|---|---|
| warp benchmark | 10,6 GiB/s |
| Rozhraní příkazového řádku AWS | 2,2 GiB/s |
| s5cmd cp | 4,7 GiB/s |
Tabulka 2: Propustnost DDN Infinia mezi jedním klientem S3 a jedním serverem S3 na OCI
Na OCI DDN Infinia konzistentně poskytovala:
- Trvale vysoký počet IOPS (obj/s),
- Trvale vysoká propustnost,
- Nízká latence a TTFB v nižších jednociferných milisekundách a
- Výkon úložiště se škáluje s počtem uzlů serverů OCI s horizontálním …
3.2 Škálovatelnost výkonu
Výkon a škálovatelnost serveru Infinia S3 byly hodnoceny pomocí populárního benchmarku warp. Propustnost S3 serveru DDN Infinia se škálovala s počtem uzlů škálovatelného OCI serveru (obrázek 3), dokud jsme nenasytili šířku pásma sítě mezi uzly (vysokorychlostní síťové rozhraní 100 GbE). Celková propustnost S3 je vyvážena mezi zúčastněnými uzly škálovatelného OCI serveru, přičemž každý uzel OCI serveru udržuje ~4,6 GiB/s pro operace PUT a ~5,7 GiB/s pro operace GET.
Obrázek 3: Nastavení DDN Infinia Scale-Out OCI – škálování propustnosti S3
Výkon metadat a datových objektů/s v DDN Infinia S3 se škáluje se škálovatelnými uzly serveru OCI (obrázek 4). Agregovaný výkon metadat a datových objektů/s v S3 je vyvážený mezi zúčastněnými škálovatelnými uzly serveru OCI.
Obrázek 4: Nastavení OCI pro škálování DDN Infinia – škálování výkonu S3 Obj/s
3.3 Porovnání nákladů
Porovnejme náklady na vybudování úložné kapacity NVMe s kapacitou 490 TB u různých poskytovatelů cloudových služeb. 1
| Poskytovatel cloudu | Vypočítat tvar | Náklady/hodinu na vybudování 490TB NVMe úložiště Infinia | Kraj | Úspory nákladů |
|---|---|---|---|---|
| OCI | BM.DenseIO.E5.128 | 71,46 dolarů | Všechny regiony | 1x |
| AWS | i3en.24xlarge | 97,63 dolarů | us-east-1 (Severní Virginie) | 1,4násobek |
| AWS | i3en.24xlarge | 108 dolarů | eu-west-1 (Irsko) nebo us-west-1 (Severní Kalifornie) | 1,5násobek |
| AWS | i3en.24xlarge | 116,64 dolarů | eu-central-1 (Frankfurt) | 1,6násobek |
| AWS | i3en.24xlarge | 114,91 USD | ap-severovýchod-1 (Tokio) nebo ap-severovýchod-3 (Ósaka) | 1,6násobek |
| AWS | i3en.24xlarge | 118,80 USD | me-central-1 (SAE) | 1,7násobek |
| GCP | z3-highmem-88-highlssd | 187,60 dolarů | us-east4 (Severní Virginie) | 2,6násobek |
| GCP | z3-highmem-88-highlssd | 193,90 USD | europe-west4 (Nizozemsko) | 2,7násobek |
| GCP | z3-highmem-88-highlssd | 229,60 dolarů | europe-central2 (Varšava) | 3,2x |
| GCP | z3-highmem-88-highlssd | 234,64 USD | asia-northeast1 (Tokio) nebo asia-northeast2 (Ósaka) | 3,3x |
| GCP | z3-highmem-88-highlssd | 221,20 USD | me-central1 (Dauhá) | 3,1x |
Tabulka 3: Porovnání nákladů mezi poskytovateli cloudu
[1] – Výpočty cen byly provedeny s použitím maloobchodních cen platných k 30. červnu 2025.
Na rozdíl od jiných poskytovatelů cloudových služeb jsou ceny OCI pro výpočetní služby stejné ve všech regionech. Z výše uvedené tabulky vidíme, že OCI BM.DenseIO.E5 nabízí levnější variantu (71,46 USD/hod.), která splňuje celkový požadavek na úložiště NVMe (využitelná nechráněná kapacita) 490 TB pro řešení DDN Infinia.
Na OCI si udržuje nákladovou efektivitu i při zvyšování požadované kapacity, protože:
- Vysoké úložiště na uzel (81,6 TB)
- Konkurenceschopné maloobchodní ceny za hodinu za uzel (11,91 USD)
- Pro dosažení kapacity je potřeba méně uzlů
4. Závěrem
Společné konzultační setkání společností Oracle a DDN potvrdilo, že DDN Infinia na OCI nabízí lineární škálovatelnost, vysokou propustnost S3, ultranízkou latenci a masivní souběžnost. Řešení OCI a DDN mohou společně poskytnout cloudový stack vytvořený pro:
- Nízké náklady na infrastrukturu OCI – Tvar OCI BM.DenseIO.E5 nabízí cenově efektivní úložiště NVMe a udržuje nákladovou efektivitu i s rostoucími požadavky na kapacitu.
- Vysoce výkonné škálovatelné úložiště dat – Nízká latence, nízké TTFB, škálování a vysoká propustnost metadat (IOPS) u DDN Infinia, stejně jako škálování a vysoká datová propustnost, mohou sloužit jako ideální úložiště pro vysoce výkonné aplikace a urychlit inferenci AI LLM i úlohy RAG.
- Rychlejší doba potřebná k analýze, vyšší efektivita GPU – Eliminací úzkých hrdel I/O a zajištěním trvale vysoce výkonného přístupu k objektům umožňuje Infinia plně využít GPU a CPU v OCI. To se promítá do kratších časů trénování, rychlejší inference umělé inteligence a nižších nákladů na inferenci.
- Optimalizováno pro vysoce výkonnou architekturu OCI – Infinia běží na husté výpočetní technologii OCI typu bare metal a síťové fabrice 100 GbE a plně využívá infrastrukturu Oracle – poskytuje konzistentní, stabilní a spolehlivý výkon ve velkém měřítku.
Chcete-li se dozvědět více, kontaktujte nás.
Zdroj: Oracle
