Kernfunktionen und Anwendungsfälle
Kernfunktionen
Abschnitt betitelt „Kernfunktionen“Vollständig verwalteter Service
Abschnitt betitelt „Vollständig verwalteter Service“STACKIT Intake macht die Bereitstellung, den Betrieb oder die Wartung Ihrer eigenen Ingestion-Infrastruktur überflüssig. Alle Komponenten werden für Sie übernommen, von Message-Brokern bis hin zu Sicherheit und Skalierung.
Zuverlässige Bereitstellung und Pufferung
Abschnitt betitelt „Zuverlässige Bereitstellung und Pufferung“Intake enthält einen integrierten Puffer-Mechanismus, der eine temporäre Datenpersistenz bietet und sicherstellt, dass Ihre Datenströme bis zu 24 Stunden lang resistent gegen Downstream-Ausfälle oder Verarbeitungsverzögerungen sind.
Idempotente Ingestion
Abschnitt betitelt „Idempotente Ingestion“Die Plattform garantiert, dass Daten genau einmal aufgenommen werden, wodurch Daten-Duplizierung selbst bei Wiederholungsversuchen oder Systemausfällen verhindert wird.
Direkte Lakehouse-Integration
Abschnitt betitelt „Direkte Lakehouse-Integration“Intake streamt Daten direkt in Apache-Iceberg-Tabellen innerhalb des Dremio-REST-Katalogs und bietet so eine nahtlose und native Verbindung zu Ihrer Lakehouse-Architektur. Verarbeiten Sie Ihre Datenströme mit STACKIT Dremio (Dremio) SQL und STACKIT Spark (Spark).
Flexibles Nachrichtenformat
Abschnitt betitelt „Flexibles Nachrichtenformat“Nehmen Sie mit Intake beliebige JSON-Nachrichten auf.
Automatische Schema-Inferenz
Abschnitt betitelt „Automatische Schema-Inferenz“Spaltendatentypen werden automatisch aus JSON-Payloads abgeleitet, und der Service verwaltet die Integration neuer Daten in die Ziel-Iceberg-Tabellen.
Kompatibilität mit dem Apache-Kafka-Protokoll
Abschnitt betitelt „Kompatibilität mit dem Apache-Kafka-Protokoll“Der Service unterstützt das weit verbreitete Apache-Kafka-Protokoll, sodass Sie vorhandene Kafka-Client-Bibliotheken und eine Vielzahl von Daten-Producern wie Debezium ohne Änderungen verwenden können.
Anwendungsfälle
Abschnitt betitelt „Anwendungsfälle“STACKIT Intake bietet die Leistung und Einfachheit, die für moderne Echtzeit-Datenherausforderungen erforderlich sind. Hier sind die wichtigsten Szenarien, in denen der Service seine Stärken ausspielt:
Internet of Things (IoT)
Abschnitt betitelt „Internet of Things (IoT)“Nehmen Sie massive Mengen an Echtzeit-Sensor- und Telemetriedaten von Geräten mit nur geringer Verzögerung in Ihr Lakehouse für Analysen und Monitoring auf. Die zuverlässige Pufferung stellt sicher, dass selbst bei gelegentlichen Verbindungsproblemen keine Daten verloren gehen.
Change Data Capture (CDC)
Abschnitt betitelt „Change Data Capture (CDC)“Streamen Sie Datenbankänderungen nahezu in Echtzeit für Anwendungsfälle wie die Aktualisierung von Data Lakes, den Betrieb von Echtzeit-Analyse-Dashboards oder die Synchronisierung von Daten über Systeme hinweg.
Echtzeit-Analysen
Abschnitt betitelt „Echtzeit-Analysen“Erstellen Sie eine robuste Ingestion-Ebene, um Event-Streams – wie Clickstream-Daten, Finanztransaktionen oder Applikations-Logs – für die sofortige Analyse mit Dremio SQL in Ihre Datenplattform einzuspeisen.
Mikroservices und ereignisgesteuerte Architekturen
Abschnitt betitelt „Mikroservices und ereignisgesteuerte Architekturen“Nutzen Sie Intake, um die zwischen Mikroservices ausgetauschten Events und Nachrichten als Grundlage für Ihre Analysen zu persistieren.
Log- und Event-Aggregation
Abschnitt betitelt „Log- und Event-Aggregation“Zentralisieren Sie Logs und Events aus verschiedenen Anwendungen und Services an einem einzigen Ziel für zentrales Monitoring, Auditing und Analysen.