FAQ

Ist STACKIT Intake ein Managed Kafka Service Angebot?

Nein. Obwohl STACKIT Intake das Apache Kafka-Protokoll für die Datenerfassung nutzt, ist es kein allgmeiner Managed Kafka Service. Das entscheidende Unterscheidungsmerkmal ist, dass Intake eine Einweg-Pipeline nur für die Erfassung ist; Sie können keine Daten daraus konsumieren. Es ist darauf ausgelegt, als Data Sink zu fungieren, der Nachrichten direkt in Ihre Dremio Iceberg-Tabellen schreibt, und nicht als Message Broker für die allgemeine Kommunikation zwischen Diensten oder die Stream-Verarbeitung.

Welche Datenformate unterstützt STACKIT Intake?

STACKIT Intake ist ausschließlich für die Erfassung von Daten im JSON-Format konzipiert. Der Service leitet die Datentypen automatisch aus Ihren JSON-Payloads ab und verwaltet das Schema der Ziel-Apache Iceberg-Tabelle, wobei eine automatische Schema-Evolution unterstützt wird, wenn neue Felder eingeführt werden.

Wie handhabt STACKIT Intake Tabellenschemata?

Wenn Sie die Zieltabelle in Dremio nicht vorab erstellen, generiert STACKIT Intake diese automatisch beim Empfang der ersten JSON-Nachricht. Das Schema dieser Tabelle wird aus der Struktur und den Datentypen dieser ersten Nachricht abgeleitet. STACKIT Intake unterstützt nur die additive Schema-Evolution. Dies ermöglicht es Ihnen, neue Spalten zu Ihrem Schema hinzuzufügen, erlaubt jedoch nicht die Änderung des Datentyps einer bestehenden Spalte. Für eine zuverlässige und konsistente Erfassung sollten alle nachfolgenden Nachrichten diesem abgeleiteten Schema entsprechen.

Wie wird die Durchsatzkapazität für einen Intake Runner erzwungen?

Die von Ihnen definierte Durchsatzkapazität ist kein striktes Limit pro Stunde. Stattdessen werden die Metriken maxMessagesPerHour und maxMessageSizeKiB verwendet, um die Größe eines internen Puffers zu berechnen, der Nachrichten für bis zu 24 Stunden speichert. Der Intake Runner erzwingt die Kapazität, indem er die Erfassung neuer Nachrichten blockiert, wenn dieser Puffer voll ist, unabhängig davon, wie schnell er sich gefüllt hat. Sobald Nachrichten erfolgreich nach Dremio übertragen wurden, wird Pufferplatz frei und der Intake Runner nimmt die Annahme von Nachrichten wieder auf. Dieser Mechanismus ermöglicht es dem System, kurze Spitzen mit hohem Volumen abzufangen, ohne Nachrichten zu verlieren.

Kann ich die Durchsatzkapazität eines Intake Runners nach der Erstellung erhöhen oder verringern?

Sie können die Kapazität eines bestehenden Intake Runners erhöhen, wenn Ihr Datenvolumen wächst. Eine Verringerung der Kapazität wird derzeit jedoch nicht unterstützt. Um den Durchsatz zu reduzieren, müssen Sie den Intake Runner und seine Intakes löschen und neu erstellen, wobei Sie auf Ihre bestehenden Dremio-Tabellen verweisen.

Speichert STACKIT Intake meine Daten dauerhaft?

Nein. STACKIT Intake ist als temporärer Datenpuffer konzipiert, nicht als dauerhafter Datenspeicher. Es hält Nachrichten für bis zu 24 Stunden vor, um eine zuverlässige Übermittlung an Dremio zu gewährleisten. Sobald die Daten erfolgreich in Ihre Dremio Iceberg-Tabelle geschrieben wurden, werden sie aus dem Puffer von Intake entfernt.

Sind meine Daten bei der Übertragung und im Ruhezustand sicher?

Ja. Die Daten werden bei der Übertragung zum Intake Runner über das Apache Kafka-Protokoll gesichert, das SASL-Authentifizierung und SSL/TLS-Verschlüsselung verwendet. Die Daten werden dann in einem temporären, verwalteten Puffer vorgehalten. Die dauerhafte Speicherung und Sicherheit Ihrer Daten werden von Ihren Dremio-verwalteten Iceberg-Tabellen innerhalb der STACKIT Data Platform übernommen.