Erstellen und Verwalten von Intakes

Voraussetzungen

Bevor Sie mit der Erstellung und Verwaltung Ihrer Intakes über die STACKIT CLI beginnen, stellen Sie sicher, dass folgende Voraussetzungen erfüllt sind:

• Sie haben ein STACKIT Kundenkonto: Kundenkonto erstellen
• Sie haben ein STACKIT Benutzerkonto: Benutzerkonto erstellen
• Sie haben ein STACKIT Projekt: Projekt erstellen

• Sie haben die STACKIT CLI auf Ihrem System installiert: Benutzerhandbuch
• Sie haben Dremio konfiguriert und verfügen über das erforderliche Dremio Personal Access Token (PAT), die Catalog-URI, den Warehouse-Namen sowie die Token-Endpunkt-URL: Dremio für die STACKIT Intake-Integration konfigurieren
• Sie haben einen Intake Runner erstellt: Erstellen und Verwalten von Intake Runnern

Ein Intake erstellen

Ein Intake definiert die Datenpipeline, die Ihren Datenstrom mit der Ziel-Dremio-Iceberg-Tabelle verbindet.

Entscheidung über Dremio-Verbindung und Partitionierung

Das Intake muss mit Details über den Dremio Iceberg REST-Katalog konfiguriert werden, in den der Datenstrom geschrieben werden soll. Zudem muss eine Entscheidung über das Partitionierungsschema getroffen werden:

• none: Daten werden nicht partitioniert. Dies ist die Standardeinstellung. Für Produktions-Workloads ist dies unter Umständen nicht ratsam, da Tabellenoptimierungen wie Compactions mit dem Eintreffen neuer Daten kollidieren könnten.
• intake-time: Daten werden täglich basierend auf dem Zeitpunkt partitioniert, an dem das Intake die Daten empfangen hat. Diese Zeit wird im Feld __intake_ts widergespiegelt, das Intake automatisch jeder empfangenen Nachricht hinzufügt. Dies ermöglicht es Ihnen, Optimierungen an älteren Partitionen vorzunehmen, während in der Partition des aktuellen Tages noch Daten eingehen.
• manual: Sie können ein beliebiges Feld Ihres Datenstroms für die Partitionierung angeben.

STACKIT Portal

1. Öffnen Sie Ihr Projekt im STACKIT Portal.

2. Navigieren Sie zu Data & AI > Intake.

3. Klicken Sie in der Seitenleiste auf Intakes.

4. Klicken Sie in der oberen Leiste auf Intake erstellen.

5. Füllen Sie die Felder aus:

   Expand

   Feld	Beschreibung	Optionen	Standard	Optional
   Name	ein lesbarer Name für das Intake	String, nicht länger als 32 Zeichen
   Beschreibung	eine textuelle Beschreibung des Zwecks des Intakes	String, nicht länger als 1024 Zeichen	""	✓
   Intake Runner	die ID des Intake Runners, auf dem das Intake bereitgestellt wird	UUID des Runners
   Tabellenname	der Name der Iceberg-Tabelle, die den Datenstrom empfangen soll	String, nicht länger als 1024 Zeichen	”intake-<INTAKE_ID>“	✓
   Iceberg-Warehouse	der Name des Warehouses im Katalog	In der Regel catalog-s3
   Tabellen-Namespace	der Namespace, in dem die Iceberg-Tabelle im Katalog erstellt wird	String, nicht länger als 1024 Zeichen	”intake”	✓
   Tabellen-Partitionierung	das anzuwendende Partitionierungsschema	Eines von: • none • intake-time • manual	none	✓
   Dremio-PAT	das PAT des Benutzers für den Zugriff auf Dremio	String, nicht länger als 1024 Zeichen
   Iceberg-Katalog-Endpunkt	die URL des Dremio Iceberg REST-Katalog-Endpunkts	In der Regel https://dremio-<ihr-dremio-instanzname>-catalog.data-platform.stackit.run/iceberg/
   Dremio-Token-Endpunkt	die URL des Dremio OAuth 2-Token-Endpunkts	In der Regel https://dremio-<ihr-dremio-instanzname>.data-platform.stackit.run/oauth/token

STACKIT CLI

Flags

Expand

Flag	Beschreibung	Optionen	Standard	Optional
display-name	ein lesbarer Name für das Intake	String, nicht länger als 32 Zeichen
labels	Labels im Format key=value. Ermöglicht die Klassifizierung des Zwecks des Intakes	key=value-Format, durch Kommas getrennt. Beispiel: “key1=value1,key2=value2”	[]	✓
runner-id	die ID des Intake Runners, auf dem das Intake bereitgestellt wird	UUID des Runners
catalog-table-name	der Name der Iceberg-Tabelle, die den Datenstrom empfangen soll	String, nicht länger als 1024 Zeichen	”intake-<INTAKE_ID>“	✓
catalog-warehouse	der Name des Warehouses im Katalog	In der Regel catalog-s3
catalog-namespace	der Namespace, in dem die Iceberg-Tabelle im Katalog erstellt wird	String, nicht länger als 1024 Zeichen	”intake”	✓
catalog-partition-by	der Partitionierungsausdruck / das Feld für die Partitionierung, falls catalog-partitioning nicht none ist	Name eines Feldes oder Iceberg-Partitionierungsausdruck	Wenn die Partitionierung intake-time ist, ist der Standard day(__intake_ts)	✓
catalog-partitioning	das anzuwendende Partitionierungsschema	Eines von: • none • intake-time • manual	none	✓
dremio-pat	das PAT des Benutzers für den Zugriff auf Dremio	String, nicht länger als 1024 Zeichen
catalog-uri	die URL des Dremio Iceberg REST-Katalog-Endpunkts	In der Regel https://dremio-<ihr-dremio-instanzname>-catalog.data-platform.stackit.run/iceberg/
dremio-token-endpoint	die URL des Dremio OAuth 2-Token-Endpunkts	In der Regel https://dremio-<ihr-dremio-instanzname>.data-platform.stackit.run/oauth/token
catalog-auth-type	welches Authentifizierungsschema für den Katalog verwendet werden soll	Eines von: • none • dremio Wählen Sie dremio, wenn Sie eine Verbindung zu Dremio herstellen möchten.

Erstellungsbefehl ausführen

Führen Sie den folgenden Befehl aus, um Ihr Intake zu erstellen, und geben Sie die entsprechenden Flags an:

stackit beta intake create --runner-id <RUNNER_ID> --display-name <NAME> --catalog-uri <URI> --catalog-warehouse <WAREHOUSE> --catalog-auth-type --dremio-token-endpoint <TOKEN_ENDPOINT> --dremio-pat <PAT> --catalog-partitioning <PARTITION_SCHEME> --catalog-partition-by <PARTITION_FIELD>

Nach Ausführung des Befehls müssen Sie mit y bestätigen. Wenn die Instanz erfolgreich erstellt wurde, gibt die CLI die Instanz-ID zurück:

Created Intake for Intake Runner "3fa81897-0cfe-445e-9133-9bba744ff2c6". Intake ID: 17802315-32c2-48ce-a33d-3043d8aec89b

Beachten Sie, dass die CLI die Dremio-Endpunkt-URLs und das PAT validiert, bevor ein Intake erstellt wird. Sollte ein Problem mit diesen Werten vorliegen, erhalten Sie eine Fehlermeldung, die das Problem beschreibt.

Beispiel

Dieses Beispiel erstellt ein Intake auf dem Runner f1e2d3c4-a5b6-7890-1234-567890abcdef, partitioniert die Daten nach der Ingestion-Zeit und zielt auf eine spezifische Tabelle ab:

stackit beta intake create --runner-id 3fa81897-0cfe-445e-9133-9bba744ff2c6 \
--display-name iot-telemetry-daily \
--catalog-uri "[https://dremio-iot-catalog.data-platform.stackit.run/iceberg/](https://dremio-iot-catalog.data-platform.stackit.run/iceberg/)" \
--catalog-warehouse "catalog-s3" \
--catalog-auth-type dremio \
--dremio-token-endpoint "[https://dremio-iot.data-platform.stackit.run/oauth/token](https://dremio-iot.data-platform.stackit.run/oauth/token)" \
--dremio-pat "MY_SECURE_DREMIO_PAT_12345" \
--catalog-table-name "telemetry_logs" \
--catalog-partitioning intake-time

Ein Intake anzeigen

STACKIT Portal

1. Öffnen Sie Ihr Projekt im STACKIT Portal.
2. Navigieren Sie zu Data & AI > Intake.
3. Klicken Sie in der Seitenleiste auf Intakes.
4. Klicken Sie auf das Intake, das Sie anzeigen möchten.
5. Die Details des Intakes werden angezeigt, einschließlich Konfiguration und Status.

STACKIT CLI

Sie können die Details eines Intakes mit dem describe-Befehl untersuchen.

Expand

Argument	Beschreibung
INTAKE_ID	Die ID des Intakes, das Sie aktualisieren möchten

stackit beta intake describe <INTAKE_ID>

Sie erhalten eine Antwort wie die folgende:

ATTRIBUTE             │ VALUE
──────────────────────┼───────────────────────────────────────────────────────────────────────
ID                    │ 17802315-32c2-48ce-a33d-3043d8aec89b
Name                  │ PurchaseOrderService
State                 │ active
Runner ID             │ 3fa81897-0cfe-445e-9133-9bba744ff2c6
Created               │ 2025-10-16 12:26:21 +0000 UTC
Labels                │ <nil>
──────────────────────┼───────────────────────────────────────────────────────────────────────
Ingestion URI         │ 3fa81897-0cfe-445e-9133-9bba744ff2c6.intake.eu01.onstackit.cloud:9094
Topic                 │ intake-17802315-32c2-48ce-a33d-3043d8aec89b
Dead Letter Topic     │ deadletter-intake-17802315-32c2-48ce-a33d-3043d8aec89b
Undelivered Messages │ 0
──────────────────────┼───────────────────────────────────────────────────────────────────────
Catalog URI           │ [https://dremio-intake-catalog.data-platform.stackit.run/iceberg/](https://dremio-intake-catalog.data-platform.stackit.run/iceberg/)
Catalog Warehouse     │ catalog-s3
Catalog Namespace     │ intake-demo
Catalog Table Name    │ purchase_order_events
Catalog Partitioning  │ intake-time

Alle Intakes auflisten

STACKIT Portal

1. Öffnen Sie Ihr Projekt im STACKIT Portal.
2. Navigieren Sie zu Data & AI > Intake.
3. Klicken Sie in der Seitenleiste auf Intakes.
4. Eine Liste aller mit Ihrem Projekt verknüpften Intakes wird zusammen mit deren Status und wichtigsten Details angezeigt.

STACKIT CLI

Um alle in Ihrem Cloud-Projekt bereitgestellten Intakes aufzulisten, rufen Sie den list-Befehl auf:

Expand

Flag	Beschreibung
limit	Maximale Anzahl der aufzulistenden Einträge.

stackit beta intake list

Dies führt zu einer Ausgabe wie der folgenden:

ID                                     │ NAME                 │ STATE  │ RUNNER ID
──────────────────────────────────────┼──────────────────────┼────────┼──────────────────────────────────────
17802315-32c2-48ce-a33d-3043d8aec89b │ PurchaseOrderService │ active │ 3fa81897-0cfe-445e-9133-9bba744ff2c6

Ein Intake aktualisieren

STACKIT Portal

1. Öffnen Sie Ihr Projekt im STACKIT Portal.

2. Navigieren Sie zu Data & AI > Intake.

3. Klicken Sie in der Seitenleiste auf Intakes.

4. Klicken Sie auf das Intake, das Sie aktualisieren möchten.

5. Klicken Sie auf die Schaltfläche Bearbeiten.

6. Ändern Sie die gewünschten Felder und klicken Sie auf Speichern, um die Änderungen anzuwenden:

   Expand

   Feld	Beschreibung	Optionen	Standard	Optional
   Name	ein lesbarer Name für das Intake	String, nicht länger als 32 Zeichen
   Beschreibung	eine textuelle Beschreibung des Zwecks des Intakes	String, nicht länger als 1024 Zeichen	""	✓
   Tabellenname	der Name der Iceberg-Tabelle, die den Datenstrom empfangen soll	String, nicht länger als 1024 Zeichen	”intake-<INTAKE_ID>“	✓
   Iceberg-Warehouse	der Name des Warehouses im Katalog	In der Regel catalog-s3
   Tabellen-Namespace	der Namespace, in dem die Iceberg-Tabelle im Katalog erstellt wird	String, nicht länger als 1024 Zeichen	”intake”	✓
   Tabellen-Partitionierung	das anzuwendende Partitionierungsschema	Eines von: • none • intake-time • manual	none	✓
   Dremio-PAT	das PAT des Benutzers für den Zugriff auf Dremio	String, nicht länger als 1024 Zeichen
   Iceberg-Katalog-Endpunkt	die URL des Dremio Iceberg REST-Katalog-Endpunkts	In der Regel https://dremio-<ihr-dremio-instanzname>-catalog.data-platform.stackit.run/iceberg/
   Dremio-Token-Endpunkt	die URL des Dremio OAuth 2-Token-Endpunkts	In der Regel https://dremio-<ihr-dremio-instanzname>.data-platform.stackit.run/oauth/token

STACKIT CLI

Sie können die Eigenschaften eines bestehenden Intakes mit dem update-Befehl aktualisieren.

Expand

Argument	Beschreibung
INTAKE_ID	Die ID des Intakes, das Sie aktualisieren möchten

Expand

Flag	Beschreibung	Optionen
display-name	ein lesbarer Name für das Intake	String, nicht länger als 32 Zeichen
catalog-uri	die URL des Dremio Iceberg REST-Katalog-Endpunkts	In der Regel https://dremio-<ihr-dremio-instanzname>-catalog.data-platform.stackit.run/iceberg/
catalog-warehouse	der Name des Warehouses im Katalog	In der Regel catalog-s3
dremio-token-endpoint	die URL des Dremio OAuth 2-Token-Endpunkts	In der Regel https://dremio-<ihr-dremio-instanzname>.data-platform.stackit.run/oauth/token
dremio-pat	das PAT des Benutzers für den Zugriff auf Dremio	String, nicht länger als 1024 Zeichen
catalog-auth-type	welches Authentifizierungsschema für den Katalog verwendet werden soll	Eines von: • none • dremio Wählen Sie dremio, wenn Sie eine Verbindung zu Dremio herstellen möchten.
catalog-namespace	der Namespace, in dem die Iceberg-Tabelle im Katalog erstellt wird	String, nicht länger als 1024 Zeichen
catalog-table-name	der Name der Iceberg-Tabelle, die den Datenstrom empfangen soll	String, nicht länger als 1024 Zeichen
catalog-partitioning	das anzuwendende Partitionierungsschema	Eines von: • none • intake-time • manual
catalog-partition-by	der Partitionierungsausdruck / das Feld für die Partitionierung, falls catalog-partitioning nicht none ist	Name eines Feldes oder Iceberg-Partitionierungsausdruck
labels	Labels im Format key=value. Ermöglicht die Klassifizierung des Zwecks des Intakes	key=value-Format, durch Kommas getrennt. Beispiel: “key1=value1,key2=value2”

Aktualisierungsbefehl ausführen

Führen Sie den Befehl unter Angabe der ID des Intake Runners und der entsprechenden Flags aus, um Ihr Intake zu aktualisieren:

stackit beta intake update <INTAKE_ID> --display-name <NAME> --catalog-uri <URI> --catalog-warehouse <WAREHOUSE> --catalog-auth-type --dremio-token-endpoint <TOKEN_ENDPOINT> --dremio-pat <PAT> --catalog-partitioning <PARTITION_SCHEME> --catalog-partition-by <PARTITION_FIELD>

Sobald der Aktualisierungsbefehl gesendet wurde, antwortet die CLI mit einem Text wie diesem:

Update Request for Intake "17802315-32c2-48ce-a33d-3043d8aec89b" sent successfully.

Beispiele

Die Labels eines Intakes ändern:

stackit beta intake update 17802315-32c2-48ce-a33d-3043d8aec89b --labels "dept=billing,stage=test"

Das PAT für die Katalogverbindung eines Intakes erneuern:

stackit beta intake update 17802315-32c2-48ce-a33d-3043d8aec89b --dremio-pat "NEW_SUPER_SECRET_DREMIO_PAT"

Ein Intake löschen

STACKIT Portal

1. Öffnen Sie Ihr Projekt im STACKIT Portal.

2. Navigieren Sie zu Data & AI > Intake.

3. Klicken Sie in der Seitenleiste auf Intakes.

4. Klicken Sie auf die drei Punkte rechts neben dem Intake, das Sie löschen möchten.

5. Wählen Sie Löschen.

6. Bestätigen Sie den Löschvorgang durch Eingabe des Intake-Namens.

7. Drücken Sie auf Löschen.

   Das Löschen eines Intakes ist ein unwiderruflicher Vorgang. Dabei werden auch alle zugehörigen Intake-Benutzer gelöscht.

STACKIT CLI

Das Löschen eines Intakes ist ein unwiderruflicher Vorgang. Wenn Sie das Flag —force verwenden, werden auch alle zugehörigen Intake-Benutzer gelöscht. Ohne force ändert sich der Status des Runners zu “deleting”. Er verbleibt in diesem Status und bleibt so lange funktionsfähig, bis Sie alle zugehörigen Intake-Benutzer manuell gelöscht haben.

Expand

Argument	Beschreibung
INTAKE_ID	Die ID des Intakes, das Sie löschen möchten

Expand

Flag	Beschreibung
force	Auch Intake-Benutzer löschen

stackit beta intake  delete <INTAKE_ID> --force

Sie müssen das Löschen des Intake Runners durch Drücken von y bestätigen. Der Löschbefehl führt zu einer Ausgabe wie dieser:

Deletion request for Intake "ef907939-6fcd-42b0-a635-1b33d3ba7cf3" sent successfully.