S potěšením oznamujeme, že streamování OCI s Apache Kafka je nyní všeobecně dostupné a nabízí výkon a flexibilitu distribuovaných funkcí streamování událostí Apache Kafka v infrastruktuře Oracle Cloud (OCI). S touto novou spravovanou službou Kafka můžete snadno vytvářet a provozovat aplikace řízené událostmi a datové kanály v reálném čase v zabezpečeném a škálovatelném prostředí OCI – a zároveň využívat výhod efektivního nasazení, integrace a správy.
Níže prozkoumáme klíčové funkce, výhody a běžné případy použití OCI streamování s Apache Kafka a zakončíme to podrobným návodem, který vám pomůže začít.
Proč streamovat OCI s Apache Kafka?
Vzhledem k tomu, že firmy stále více vyžadují zpracování a analýzu dat v reálném čase, poskytuje Apache Kafka robustní páteř pro streamování úloh. Díky plně spravované službě Kafka od společnosti Oracle na OCI se nyní vaše týmy mohou více soustředit na inovace dat a aplikací a méně na správu infrastruktury.
Mezi klíčové výhody patří:
- Plně spravovaná Kafka : Automatické zřizování, škálování, údržba a opravy – OCI se postará o těžkou provozní práci.
- Vysoká propustnost a škálovatelnost : Navrženo pro škálování napříč více doménami dostupnosti s využitím vysoce propustné sítě a odolné architektury OCI.
- Komplexní zabezpečení : Chraňte svá data pomocí robustních síťových funkcí, ověřování (SASL-SCRAM, mTLS) a řízení přístupu.
Klíčové vlastnosti
1. Flexibilní možnosti clusteru
- Streamování OCI s Apache Kafka nabízí flexibilní konfigurace clusterů pro podporu různých úloh. Starter clustery, doporučené pro vývoj a testování, lze zřídit s 1 až 30 brokery. High Availability (HA) clustery, určené pro produkční použití, podporují odolné nasazení napříč více doménami, vyžadují minimálně 3 brokery a lze škálovat až na 30 brokerů.
2. Vlastní konfigurace
- Cluster můžete rychle vytvořit pomocí výchozího nastavení konfigurace nebo přizpůsobit nastavení zprostředkovatele, replikační faktory a další parametry tak, aby vyhovovaly vašim specifickým požadavkům, a to pomocí rozhraní OCI CLI nebo Kafka API.
3. Zabezpečení a dodržování předpisů
- Ověřování : Zabezpečení clusterů pomocí SASL-SCRAM nebo mTLS. Integrace s OCI IAM je plánována v budoucích aktualizacích.
- Řízení přístupu : Spravujte a omezujte připojení a oprávnění pomocí seznamů řízení přístupu (ACL) Kafka spolu s flexibilními konfiguracemi VCN pro řízení přístupu k síti dle potřeby.
4. Vysoká dostupnost a obnova po havárii
- V konfiguracích HA replikace dat v rámci oblasti zvyšuje odolnost a dostupnost.
- Replikace napříč clustery (více regionů) a zotavení po havárii je podporováno prostřednictvím MirrorMakeru 2.
Běžné případy použití
Streamování OCI s Apache Kafka podporuje řadu kritických pracovních postupů v reálném čase a s využitím umělé inteligence:
- Datová základna pro trénování umělé inteligence v reálném čase: Streamujte a agregujte data v reálném čase z různých zdrojů a poskytujte aktuální, vysoce kvalitní datové sady nezbytné pro trénování a přeškolování umělé inteligence a modelů velkých jazyků (LLM) na základě nových obchodních nebo provozních signálů.
- Vektorové databázové kanály pro GenAI a RAG: Streamujte zpracovaná data, včetně vektorových vkládání, přímo do integrovaných vektorových databází (jako jsou ty používané ve scénářích vyhledávání pomocí umělé inteligence nebo generování s rozšířeným vyhledáváním), což umožňuje modelům umělé inteligence využívat kontextové a aktuální informace ke zvýšení relevance a přesnosti výstupu.
- Orchestrace agentů AI a multiagentních systémů: Zajistěte komunikaci a sdílení událostí v reálném čase mezi mikroslužbami nebo agenty AI, podpořte správu stavu agentů a koordinujte dynamické pracovní postupy se streamovacími kanály pro responzivnější a autonomnější řešení AI.
- Analýza dat v reálném čase: Nepřetržitě streamujte data z IoT a zařízení pacientů pro proaktivní monitorování zdraví, prediktivní analýzu a včasný zásah.
- Analýza chování uživatelů: Zaznamenávejte a zpracovávejte data o interakcích uživatelů v reálném čase napříč webovými a mobilními aplikacemi za účelem získání praktických poznatků a personalizovaných doporučení.
- Předpovídání poptávky: Streamujte a analyzujte živá prodejní a provozní data pro zlepšení předpovědí za chodu, přesnosti předpovědí a podporu obchodních rozhodnutí založených na datech.
- Detekce podvodů: Neustále monitorujte finanční transakce v reálném čase, abyste identifikovali podezřelé vzorce, odhalili anomálie a rychle reagovali na potenciální hrozby podvodů.
- Zachycení změn dat (CDC): Bezproblémové streamování změn databáze do analytických platforem nebo datových jezer, aby byly následné systémy synchronizovány s nejnovějšími daty s nízkou latencí.
Začínáme: Návod k konzoli
Předpoklad: Nastavení zásad
Před zřízením prvního clusteru Kafka musíte udělit potřebná oprávnění jak samotné službě Kafka (označované jako rawfka), tak i skupinám uživatelů. Aktualizujte níže uvedené zásady nahrazením zástupných symbolů.
Oprávnění služby:
Povolit službě rawfka používat virtuální síťové karty (vnic) v oddílu
Povolit službě rawfka používat skupiny zabezpečení sítě (network-security-groups) v oddílu
Povolit službě rawfka používat podsítě v oddílu
Autorizace uživatele:
Povolit skupině
Oprávnění superuživatele SASL (pokud jsou vyžadována):
Povolit službě rawfka použití v oddílu
Povolit službě rawfka použití tajných identifikátorů v oddílu
Krok za krokem: Vytvoření clusteru Kafka
Podrobný návod se snímky obrazovky je k dispozici v dokumentaci. Níže je shrnutí postupu:
1. Zobrazení nebo vytvoření clusterů Kafka:
Přejděte do svého oddílu a zobrazte existující clustery Kafka, nebo začněte výběrem možnosti „Vytvořit cluster".
2. Konfigurace podrobností clusteru:
Zadejte název clusteru, verzi a oddíl, ve kterém chcete cluster vytvořit.
3. Nastavení brokera:
Vyberte typ clusteru (Starter nebo HA), počet brokerů a alokace zdrojů (CPU, paměť a úložiště).
4. Konfigurace clusteru:
Podle potřeby použijte výchozí nebo vlastní konfigurace Kafka.
5. Nastavení zabezpečení:
Nastavte mTLS (s příslušnými certifikáty) pro zabezpečení v rámci clusteru; po nasazení nakonfigurujte SASL-SCRAM.
6. Sítě:
Vyberte si virtuální cloudovou síť (VCN) a podsítě – pro clustery HA se doporučují regionální podsítě.
7. Zkontrolujte a vytvořte:
Před spuštěním nového clusteru Kafka potvrďte všechna nastavení.
Přehled cen
Streamování OCI s Apache Kafka se účtuje na základě využití infrastruktury:
- Cena závisí na počtu brokerů, jader CPU, paměti a úložišti.
- Servisní poplatek: 0,10 USD za OCPU za hodinu (nebo 0,05 USD za OCPU za hodinu pro tvary ARM A1).
- Nejnovější informace naleznete na stránce s cenami OCI.
Začněte ještě dnes
OCI Streaming s Apache Kafka vám pomůže využít sílu aplikací pro streamování v reálném čase se sníženými provozními náklady – a se škálovatelností, dostupností a zabezpečením, které od infrastruktury Oracle Cloud očekáváte. Pro další informace nás neváhejte kontaktovat.
Zdroj: Oracle
