Článek přečtěte do 6 min.

V květnu 2024 na Red Hat Summitu oznámili několik věcí v rámci portfolia Red Hat AI, včetně představení serveru Red Hat AI Inference Server a modelů Red Hat AI ověřených třetími stranami, integrace rozhraní Llama Stack a Model Context Protocol (MCP) API ve formě preview pro vývojáře a zavedení komunitního projektu llm-d. Nejnovější verze portfolia, Red Hat AI 3, přináší podnikům mnoho z těchto funkcí připravených pro produkční prostředí. Kromě toho poskytují další nástroje a služby, které týmům umožní zvýšit efektivitu, efektivněji spolupracovat a nasazovat se kdekoli. Pojďme se podívat, co Red Hat AI 3 znamená pro vaši firmu.

1. Dosáhněte nových úrovní efektivity s inferencí s ohledem na SLA

Strategií společnosti Red Hat je obsluhovat jakýkoli model v jakémkoli akcelerátoru a jakémkoli prostředí. Nejnovější vylepšení inferencingu nabízejí funkce pro splnění smluv o úrovni služeb (SLA) pro generativní AI aplikace (gen AI), podporu pro další hardwarové akcelerátory a rozšířený katalog ověřených a optimalizovaných modelů třetích stran.

Mezi hlavní výhody patří:

  • Nástroj llm-d je nyní všeobecně dostupný v Red Hat OpenShift AI 3.0. Nástroj llm-d poskytuje distribuovanou inferenci nativní pro Kubernetes, která je nezbytná pro škálování a správu nepředvídatelné povahy velkých jazykových modelů (LLM). Na rozdíl od konzistentního chování mnoha tradičních škálovatelných úloh se požadavky LLM, jako jsou výzvy a odpovědi, mohou značně lišit, což činí monolitické škálování vysoce neefektivní. Díky inteligentní distribuci procesu inference nabízí nástroj llm-d konzistentní alokaci zdrojů a předvídatelné doby odezvy, což je zásadní pro dodržování přísných SLA a optimalizaci ekonomické a výkonnostní životaschopnosti podnikových aplikací umělé inteligence.
  • Nejnovější verze 3.2 serveru Red Hat AI Inference Server poskytuje konzistentní, rychlé a cenově efektivní inferenci prostřednictvím podnikové verze vLLM a přístup k optimalizačním možnostem modelů Red Hat AI. Zároveň rozšiřuje podporu grafických procesorů NVIDIA a AMD, nyní včetně IBM Spyre. Tato integrace nových akcelerátorů poskytuje zákazníkům flexibilitu, optimalizaci a řízení rizik potřebné pro podporu jejich budoucích strategií v oblasti umělé inteligence.
  • Red Hat AI 3 obsahuje novou várku ověřených a optimalizovaných modelů od třetích stran, které zahrnují špičkové open source modely od poskytovatelů, jako jsou Open AI, Google a NVIDIA. To zjednodušuje výběr modelů a pomáhá organizacím snižovat náklady na hardware, dosahovat vyšší propustnosti a snižovat latenci během inference. Tyto modely připravené pro podniky jsou k dispozici v repozitáři Red Hat AI Hugging Face a v katalogu modelů Red Hat OpenShift AI jako naskenované a sledovatelné kontejnery. Nové modely zahrnují vícejazyčné, kódovací, sumarizační, chatovací a další.
  • Pro podnikové IT organizace, které se chtějí stát poskytovateli modelů pro své uživatele, poskytuje OpenShift AI 3.0 přístup k  funkcím Modely jako služba (MaaS) jako náhled pro vývojáře. MaaS umožňuje organizacím využít kombinaci modelů založených na API a samosprávných modelů pro případy užití, které nelze spustit v prostředí veřejného cloudu. Tato verze obsahuje řídicí rovinu MaaS, integrovanou bránu API, řízení přístupu na základě rolí (RBAC) a metriky sledování nákladů, které společně umožňují organizacím centralizovat zdroje, urychlit inovace a snížit provozní náklady spojené se soukromou umělou inteligencí.

2. Urychlit inovace v oblasti agentní umělé inteligence

Vývoj cloudově nativního vývoje způsobil v posledním desetiletí revoluci v tom, jak mnoho organizací vyvíjelo aplikace. Podobně generace umělé inteligence transformovala standardy vývoje softwaru. Nyní se chystá třetí vlna umělé inteligence přinést ještě větší transformaci: agentickou umělou inteligenci.

Několik nových funkcí obsažených v OpenShift AI 3.0 pomáhá položit základy pro škálovatelné agentní systémy a pracovní postupy umělé inteligence a poskytuje rámce, nástroje a funkce, které potřebujete k urychlení implementace agentní umělé inteligence.

 Nové funkce, včetně:

  • Modulární a adaptivní platforma umělé inteligence s Llama Stack: Pro zvýšení flexibility a zjednodušení provozu agentů umělé inteligence jsme v OpenShift AI 3.0 vydali jako technický náhled rozhraní Llama Stack API. To poskytuje standardizovaný vstupní bod pro širokou škálu funkcí umělé inteligence – od generování rozšířeného vyhledávání (RAG), bezpečnosti a vyhodnocování až po telemetrii, inferenci s vLLM a volání nástrojů s MCP) – což organizacím umožňuje integrovat vlastní API, externí poskytovatele a preferované agentní frameworky. Red Hat AI poskytuje důvěryhodnou, komplexní a konzistentní platformu, která usnadňuje nasazení, správu a provoz agentů umělé inteligence způsobem zaměřeným na bezpečnost a ve velkém měřítku v produkčních prostředích.
  • Podpora MCP – Pro urychlení nasazení agentních systémů s umělou inteligencí poskytuje OpenShift AI 3.0 podporu pro nově vznikající otevřený standard MCP jako vývojářskou náhledovou verzi. Server MCP funguje jako standardizovaný „překladač“ pro širokou škálu externích nástrojů, zdrojů dat a aplikací. Doplňuje API Llama Stack tím, že zvládá komplexní integrace s externími aplikacemi a zdroji dat, čímž osvobozuje Llama Stack od nutnosti vlastní integrace pro každý externí nástroj. Také jsme vytvořili kolekci serverů MCP. To umožňuje ISV propojit své nástroje a služby přímo s Red Hat AI.
  • Zjednodušená, specializovaná prostředí – OpenShift AI 3.0 nabízí specializovaná prostředí, jako je AI Hub a Gen AI Studio, která slouží specifickým potřebám platformních a AI inženýrů. AI Hub umožňuje platformním inženýrům prozkoumávat, nasazovat a spravovat základní aktiva, jako jsou LLM a MCP servery. Slouží jako centrální bod pro správu životního cyklu a správu aktiv AI. Gen AI Studio poskytuje AI inženýrům praktické prostředí pro objevování, testování a správu nasazených aktiv AI. AI inženýři mohou experimentovat s různými modely, ladit hyperparametry a prototypovat aplikace Gen AI, jako je chat a RAG.

3. Propojení modelů s vašimi soukromými daty

Red Hat AI 3 umožňuje týmům zvýšit výkon a přesnost modelů tím, že nabízí několik způsobů, jak si AI přizpůsobit pro vaši doménu. Nástroje v Red Hat AI 3 jsou dostupné pro přispěvatele všech úrovní odborných znalostí v oblasti AI – od vývojářů, přes datové vědce až po inženýry AI – což zefektivňuje spolupráci a interoperabilitu.

Mezi nové funkce patří:

  • Modulární a rozšiřitelný přístup  – OpenShift AI 3.0 představuje novou modulární a rozšiřitelnou sadu nástrojů pro přizpůsobení modelů, která ilustruje vývoj InstructLabu v jeho přechodu od výkonné komplexní metodologie k flexibilnějšímu přístupu. Sada nástrojů obsahuje individuální, specializované knihovny Pythonu pro příjem dat, generování syntetických dat (SDG), ladění a vyhodnocování modelů, což týmům poskytuje větší kontrolu a efektivnější cestu k přizpůsobení modelů. To umožňuje datovým vědcům, výzkumníkům umělé inteligence a inženýrům umělé inteligence vybrat pouze komponenty, které potřebují, což jim pomáhá pracovat rychleji a efektivněji.
  • Vylepšené možnosti RAG  – V OpenShift AI je nyní k dispozici nové, rozšířené prostředí RAG. Tento zjednodušený pracovní postup umožňuje vývojářům a inženýrům AI snadný přístup ke zdrojům dat pomocí technologií open source, jako je docling, a propojovat je s modely, aplikacemi a agenty. Platforma nyní podporuje rozhraní API pro vkládání a dokončování OpenAI spolu s možnostmi Llama Stack, což poskytuje flexibilitu pro nasazení řešení RAG v různých prostředích a zároveň zachovává konzistentní funkčnost.

4. Škálování umělé inteligence v hybridním cloudu

Produktivita, konzistence a vylepšený uživatelský zážitek jsou klíčem k úspěšné strategii umělé inteligence. V Red Hatu je naším cílem poskytovat platformu umělé inteligence, která podnikům umožňuje konzistentně vytvářet, ladit, nasazovat a spravovat modely umělé inteligence a agentní aplikace ve velkém měřítku v hybridním cloudu a poskytovat tak jednotný zážitek, který prodlužuje dobu návratnosti investic.

OpenShift AI 3.0 nabízí: 

  • Centralizované řízení prostřednictvím registru modelů – Registr modelů poskytuje efektivnější prostředí pro správu modelů umělé inteligence, což umožňuje týmům snadněji vyhledávat, znovu používat a spravovat širokou škálu aktiv – od vlastních modelů a artefaktů zákazníků až po oblíbené možnosti komunity a třetích stran. Tyto funkce jsou navrženy tak, aby zvýšily produktivitu, podpořily konzistenci a pomohly zajistit centralizovanou správu životního cyklu.
  • Vylepšené uživatelské rozhraní pro AI pipelines – Vylepšené uživatelské prostředí pro AI pipelines poskytuje datovým vědcům a inženýrům AI nástroje, které potřebují k rychlejšímu trénování a ladění modelů, zefektivňuje pracovní postupy pomocí spustitelných příkladů a opakovaně použitelných komponent a také umožňuje přenést si vlastní pracovní postupy Argo pro maximální flexibilitu.
  • Vylepšená sledovatelnost –  Aby organizace získaly centralizovaný pohled na výkon umělé inteligence a lepší kontrolu a konzistenci, OpenShift AI 3.0 zahrnuje základní metriky platformy se standardem sledovatelnosti OpenTelemetry, monitorování GPU bez konfigurace, referenční dashboardy pro klíčové metriky umělé inteligence, jako je doba do prvního tokenu a propustnost, a možnost exportu API pro hladkou integraci s podnikovými monitorovacími platformami.
  • Inteligentní GPU jako služba  – OpenShift AI 3.0 využívá pokročilé funkce pro zvýšení využití GPU, maximalizaci efektivity a podporu široké škály úloh. Díky akceleračnímu slicingu pro všechna zařízení s podporou NVIDIA MIG mohou podniky rozdělit GPU pro více uživatelů, což pomáhá zajistit, aby žádný zdroj nepřišel nazmar. Využitím Kueue platforma podporuje rozmanitější sadu úloh AI, včetně úloh trénování Ray, úloh trénování operátorů a inferenčních služeb pro efektivní plánování a správu napříč sdíleným hardwarem.

Nový přístup k podnikové umělé inteligenci

Red Hat AI je postaven na přesvědčení, že podniková AI není univerzálním řešením. Jedná se o strategický, holistický přístup, který uznává složitost a rozmanitost reálných obchodních výzev. Red Hat poskytuje flexibilní platformu, která organizacím umožňuje překonat zažité trendy a nabízí svobodu volby jakéhokoli modelu, hardwaru nebo strategie nasazení v hybridním cloudu. Tento závazek k výběru, kontrole a efektivitě nás odlišuje – nenabízíme jen AI, ale poskytujeme spolehlivý a komplexní základ, který organizacím umožňuje vytěžit maximum ze svých investic do AI.

Chcete-li se dozvědět více o Red Hat AI 3 a zjistit, jak můžete vytvářet umělou inteligenci pro váš svět, podívejte se na živou relaci Co je nového a co bude dál a neváhejte nás kontaktovat.

Zdroj: Red Hat