Erstellen Sie Ihr erstes Intake und senden Sie Ihre Daten dorthin

Voraussetzungen

• Sie haben ein STACKIT Kundenkonto: Kundenkonto erstellen
• Sie haben ein STACKIT Benutzerkonto: Benutzerkonto erstellen
• Sie haben ein STACKIT Projekt: Projekt erstellen
• Sie haben eine STACKIT Dremio Instanz
• Sie haben Dremio für den Intake-Zugriff konfiguriert: Dremio für die STACKIT Intake Integration konfigurieren
• Sie haben die STACKIT CLI auf Ihrem System installiert: Benutzerhandbuch
• Sie haben ein laufendes Terminal oder eine Befehlszeile

STACKIT Portal

Erforderliche Informationen sammeln

Bevor Sie ein Intake erstellen, müssen Sie einige Informationen über Ihre Dremio-Instanz zusammenstellen:

• Dremio catalog URI: Der API-Endpunkt für Ihren Dremio-Iceberg-Katalog. In der Regel: https://dremio-<Ihr-Dremio-Instanzname>-catalog.data-platform.stackit.run/iceberg/
• Dremio warehouse: Der Name des Dremio-Iceberg-Katalog-Warehouses, mit dem eine Verbindung hergestellt werden soll. In der Regel: catalog-s3
• Dremio token endpoint URI: Die URL zum Anfordern von Dremio-Authentifizierungstoken. In der Regel: https://dremio-<Ihr-Dremio-Instanzname>.data-platform.stackit.run/oauth/token
• Dremio personal access token (PAT): Ihr geheimer Schlüssel für die Authentifizierung. Wie Sie diesen erhalten, erfahren Sie in dieser Anleitung

STACKIT CLI

Umgebungsvariablen festlegen

Um das Ausführen der Befehle zu erleichtern, exportieren Sie die folgenden Umgebungsvariablen in Ihrem Terminal. Dies verhindert, dass Sie Werte in jedem Befehl manuell ersetzen müssen.

• PROJECT_ID: Ihre Projekt-ID aus dem STACKIT Portal.
• DREMIO_CATALOG_URI: Der API-Endpunkt für Ihren Dremio-Iceberg-Katalog. Diesen erhalten Sie im Bereich Dremio im STACKIT Portal. In der Regel: https://dremio-<Ihr-Dremio-Instanzname>-catalog.data-platform.stackit.run/iceberg/
• DREMIO_WAREHOUSE: Der Name des Dremio-Iceberg-Katalog-Warehouses, mit dem eine Verbindung hergestellt werden soll. In der Regel: catalog-s3
• DREMIO_TOKEN_ENDPOINT: Die URL zum Anfordern von Dremio-Authentifizierungstoken. In der Regel: https://dremio-<Ihr-Dremio-Instanzname>.data-platform.stackit.run/oauth/token
• DREMIO_PERSONAL_ACCESS_TOKEN: Ihr geheimer Schlüssel für die Authentifizierung. Wie Sie diesen erhalten, erfahren Sie in dieser Anleitung

export PROJECT_ID="IHRE_PROJEKT_ID"
export DREMIO_CATALOG_URI="IHRE_DREMIO_CATALOG_URI"
export DREMIO_WAREHOUSE="IHR_DREMIO_WAREHOUSE"
export DREMIO_TOKEN_ENDPOINT="IHR_DREMIO_TOKEN_ENDPOINT"
export DREMIO_PERSONAL_ACCESS_TOKEN="IHR_DREMIO_PERSONAL_ACCESS_TOKEN"

Authentifizierung: Verwendung der STACKIT CLI

Um mit der STACKIT Intake API zu interagieren, müssen Sie Ihre Anfragen authentifizieren. Diese Anleitung verwendet die CLI, welche die Authentifizierung für Sie übernimmt.

stackit auth login

Einen Intake Runner erstellen

Der Intake Runner ist die Engine für die Aufnahme von Daten. Sie müssen einen Runner erstellen, bevor Sie einen STACKIT Intake erstellen können.

STACKIT Portal

1. Öffnen Sie Ihr Projekt im STACKIT Portal.
2. Navigieren Sie zu Data & AI > Intake.
3. Klicken Sie in der Seitenleiste auf Intake Runners.
4. Klicken Sie in der Topbar auf Create Intake Runners.
5. Füllen Sie die Pflichtfelder aus:
   • Name: Ein lesbarer Name für Ihren Runner.
   • Max message size: Die maximale Größe in Kibibyte für eine einzelne Nachricht.
   • Max message rate (per h): Die maximale Anzahl an Nachrichten, die der Runner pro Stunde verarbeiten kann.
6. Klicken Sie auf Order feed-based.

STACKIT CLI

Um einen Intake Runner zu erstellen, führen Sie einen Aufruf der STACKIT CLI mit Ihrer gewünschten Konfiguration aus und drücken Sie y, wenn Sie zur Bestätigung aufgefordert werden:

• displayName: Ein lesbarer Name für Ihren Runner.
• maxMessageSizeKiB: Die maximale Größe in Kibibyte für eine einzelne Nachricht.
• maxMessagesPerHour: Die maximale Anzahl an Nachrichten, die der Runner pro Stunde verarbeiten kann.

stackit beta intake runner create \
  --display-name "mytestrunner" \
  --max-message-size-kib 1000 \
  --max-messages-per-hour 1000

Der Befehl gibt die Details des neuen Runners zurück:

Are you sure you want to create an Intake Runner for project "..."? [y/N] y
Creating STACKIT Intake Runner instance ✓
Created Intake Runner for project "...". Runner ID: ca72a2f8-89bf-4800-88e9-166a82f5c5ff

Notieren Sie sich die ID aus der Antwort. Sie benötigen diese Intake Runner-ID für die nächsten Schritte. Sie können sie praktischerweise als Variable exportieren: export INTAKE_RUNNER_ID="<ID_HIER_EINFÜGEN>"

Überprüfen Sie Ihren Intake Runner

So rufen Sie den aktuellen Status Ihres Runners ab:

STACKIT Portal

Nach der Bestellung führt Sie das Portal zur Liste der Intake Runner.

Hier sollten Sie Ihren neu erstellten Runner im Status Reconciling sehen. Geben Sie ihm einige Minuten Zeit, um den Status Aktiv zu erreichen.

Während der Abstimmung können Sie bereits die Details Ihres Runners einsehen, indem Sie auf dessen Namen klicken. Insbesondere können Sie die Endpunkt-URI überprüfen, über die Sie Nachrichten an Ihre Intakes senden werden.

STACKIT CLI

stackit beta intake Runner describe $INTAKE_RUNNER_ID

Sie sehen alle Eigenschaften Ihres Runners:

ATTRIBUTE               │ VALUE
────────────────────────┼───────────────────────────────────────────────────────────────────────
 ID                     │ ca72a2f8-89bf-4800-88e9-166a82f5c5ff
 Name                   │ mytestrunner
 State                  │ active
 Created                │ 2025-10-16 16:33:04 +0000 UTC
 Labels                 │ <nil>
 Description            │
 Max Message Size (KiB) │ 1000
 Max Messages/Hour      │ 1000
 Ingestion URI          │ ca72a2f8-89bf-4800-88e9-166a82f5c5ff.intake.eu01.onstackit.cloud:9094

Einen Intake erstellen

Ein Intake ist die Datenpipeline, die den Strom der aufgenommenen Daten mit Ihrer Ziel-Dremio-Iceberg-Tabelle verbindet.

STACKIT Portal

1. Öffnen Sie Ihr Projekt im STACKIT Portal.
2. Navigieren Sie zu Data & AI > Intake.
3. Klicken Sie in der Seitenleiste auf Intakes.
4. Klicken Sie in der oberen Leiste auf Intake erstellen.
5. Füllen Sie die Pflichtfelder aus:
   • Name: Ein lesbarer Name für Ihren Intake.
   • Intake-Runner: Wählen Sie den Intake Runner aus, den Sie im vorherigen Schritt erstellt haben.
   • Iceberg-Katalog-Endpoint: Die Dremio-Katalog-URL, die Sie für Ihre Dremio-Instanz erhalten haben.
   • Iceberg-Warehouse: Die Dremio-Warehouse-Kennung, die Sie für Ihre Dremio-Instanz erhalten haben.
   • Namespace der Tabelle: Lassen Sie die Einstellung auf intake.
   • Tabellenname: Lassen Sie die Einstellung auf “Generate name”.
   • Tabellen-Partitionierung: Lassen Sie die Einstellung auf “No partitioning”.
   • Dremio-Token-Endpoint: Die Dremio-Token-Endpunkt-URL, die Sie für Ihre Dremio-Instanz erhalten haben.
   • Dremio PAT: Ihr PAT für die Authentifizierung.
6. Klicken Sie auf Create Intake.

Beachten Sie: Falls Ihr PAT nicht über die korrekten Berechtigungen für den ausgewählten Tabellen-Namespace verfügt, können die Intake-Daten in STACKIT Dremio nicht korrekt angezeigt werden. Überprüfen Sie die erforderliche Konfiguration in diesem Dremio-Leitfaden.

Table Partitioning ist optional und wird nur bei der Tabellenerstellung ausgewertet. Wenn Sie Ihren Intake auf eine bestehende Tabelle ausrichten, wird partitionBy die Partitionierung nicht ändern.

Spaltendatentypen werden aus der JSON-Payload abgeleitet. Aufgrund dieser automatischen Ableitung können die meisten Transform-Partitionen wie day(ts) nur verwendet werden, wenn Sie die Tabelle vorab erstellen und sowohl das Schema als auch die Partitionstransformation explizit angeben. Sobald ein Spaltentyp festgelegt ist (z. B. TIMESTAMP), wandelt Iceberg konforme String-Literale aus dem JSON während der Aufnahme automatisch in den richtigen Typ um.

STACKIT CLI

Um einen Intake zu erstellen, senden Sie eine POST-Anfrage unter Angabe der intakeRunnerId aus dem vorherigen Schritt und der Details Ihres Dremio-Katalogs.

stackit beta intake create \
  --display-name "myintaketest" \
  --runner-id "$INTAKE_RUNNER_ID" \
  --catalog-uri "$DREMIO_CATALOG_URI" \
  --catalog-warehouse "$DREMIO_WAREHOUSE" \
  --catalog-table-name "mytesttable" \
  --catalog-partitioning manual \
  --catalog-partition-by "id" \
  --catalog-auth-type "dremio" \
  --dremio-token-endpoint "$DREMIO_TOKEN_ENDPOINT" \
  --dremio-pat "$DREMIO_PERSONAL_ACCESS_TOKEN"

Wenn Sie keinen Namespace angeben, wird der Standard-Dremio-Ordner “intake” verwendet. Beachten Sie: Falls Ihr DREMIO_PERSONAL_ACCESS_TOKEN nicht über die korrekten Berechtigungen für den ausgewählten Ordner verfügt, können die Intake-Daten in Dremio nicht korrekt angezeigt werden. Überprüfen Sie die erforderliche Konfiguration in diesem Dremio-Leitfaden.

partitionBy ist optional und wird nur bei der Tabellenerstellung ausgewertet. Wenn Sie Ihren Intake auf eine bestehende Tabelle ausrichten, wird partitionBy die Partitionierung nicht ändern.

Spaltendatentypen werden aus der JSON-Payload abgeleitet. Aufgrund dieser automatischen Ableitung können die meisten Transform-Partitionen wie day(ts) nur verwendet werden, wenn Sie die Tabelle vorab erstellen und sowohl das Schema als auch die Partitionstransformation explizit angeben. Sobald ein Spaltentyp festgelegt ist (z. B. TIMESTAMP), wandelt Iceberg konforme String-Literale aus dem JSON während der Aufnahme automatisch in den richtigen Typ um.

Der CLI-Aufruf gibt die ID des Intakes zurück. Speichern Sie die ID aus der Antwort, da Sie diese zum Erstellen von Benutzern benötigen.

export INTAKE_ID="<FÜGEN_SIE_HIER_DIE_INTAKE_ID_EIN>"

Status Ihres Intake prüfen

Um den aktuellen Status eines bestimmten Intakes abzurufen:

STACKIT Portal

Nachdem Sie auf Erstellen geklickt haben, führt Sie das Portal zur Liste der Intakes.

Hier sollten Sie Ihr neu erstelltes STACKIT Intake im Status Reconciling sehen. Warten Sie einige Minuten, bis es den Status Active erreicht.

Während der Abstimmung können Sie bereits die Details Ihres Intakes einsehen, indem Sie auf seinen Namen klicken. Insbesondere können Sie den Topic-Namen prüfen, über den Sie Nachrichten an Ihre Intakes senden werden.

STACKIT CLI

stackit beta intake describe $INTAKE_ID

Sie sehen alle Eigenschaften des Intakes:

ATTRIBUTE            │ VALUE
──────────────────────┼───────────────────────────────────────────────────────────────────────
 ID                   │ 27ea0ab9-e514-442a-a2d0-e8db0edcc2dc
 Name                 │ myintaketest
 State                │ active
 Runner ID            │ ca72a2f8-89bf-4800-88e9-166a82f5c5ff
 Created              │ 2025-10-16 16:50:41 +0000 UTC
 Labels               │ <nil>
──────────────────────┼───────────────────────────────────────────────────────────────────────
 Ingestion URI        │ ca72a2f8-89bf-4800-88e9-166a82f5c5ff.intake.eu01.onstackit.cloud:9094
 Topic                │ intake-27ea0ab9-e514-442a-a2d0-e8db0edcc2dc
 Dead Letter Topic    │ deadletter-intake-27ea0ab9-e514-442a-a2d0-e8db0edcc2dc
 Undelivered Messages │ 0
──────────────────────┼───────────────────────────────────────────────────────────────────────
 Catalog URI          │ [https://dremio-intake-catalog.data-platform.stackit.run/iceberg/](https://dremio-intake-catalog.data-platform.stackit.run/iceberg/)
 Catalog Warehouse    │ catalog-s3
 Catalog Namespace    │ intake
 Catalog Table Name   │ mytesttable
 Catalog Partitioning │ manual
 Catalog Partition By │ id

Einen Intake-Benutzer erstellen

Um Daten an Ihr Intake zu senden, müssen Sie einen Intake-Benutzer mit dem Typ „intake“ erstellen und ein sicheres Passwort vergeben (mindestens 12 Zeichen, davon mindestens ein Großbuchstabe, ein Kleinbuchstabe, ein Sonderzeichen sowie mindestens eine Zahl). Weitere Details finden Sie unter Intake-Benutzer erstellen und verwalten.

STACKIT Portal

1. Öffnen Sie Ihr Projekt im STACKIT Portal.
2. Navigieren Sie zu Data & AI > Intake.
3. Klicken Sie in der Seitenleiste auf Intakes.
4. Klicken Sie auf das Intake, das Sie im vorherigen Schritt erstellt haben.
5. Klicken Sie in der Seitenleiste auf Benutzer.
6. Klicken Sie in der oberen Leiste auf Benutzer erstellen.
7. Füllen Sie die Pflichtfelder aus:
   • Name: Der Name für Ihren Intake-Benutzer.
   • Rolle: Lassen Sie diese auf „Intake Writer“.
   • Passwort: Ein sicheres Passwort (mindestens 12 Zeichen, davon mindestens ein Großbuchstabe, ein Kleinbuchstabe, ein Sonderzeichen sowie mindestens eine Zahl). Sie können auch auf Neues Passwort generieren klicken, um ein sicheres Passwort für Sie erstellen zu lassen. Kopieren Sie es in diesem Fall und bewahren Sie es sicher auf.
8. Klicken Sie auf Erstellen.

Die Antwort enthält den Anmeldenamen des erstellten Benutzers. Notieren Sie diesen für die zukünftige Verwendung mit Ihrem Kafka-Client. Die Antwort enthält außerdem Konfigurationen, die Sie für Java- oder librdkafka-Clients kopieren können.

STACKIT CLI

stackit beta Intake user create --intake-id "$INTAKE_ID" \
  --display-name "myIntakeTopicUser" \
  --password "SuperSecr3t12**??Passw0rd" \
  --type intake

Die Antwort enthält die ID des erstellten Benutzers. Notieren Sie diese für die zukünftige Verwendung:

export INTAKE_USER_ID="<FÜGEN_SIE_DIE_INTAKE_USER_ID_HIER_EIN>"

Übernehmen Sie die ID aus der Antwort.

export INTAKE_USER_ID="<FÜGEN_SIE_DIE_INTAKE_USER_ID_HIER_EIN>"

Den Intake-Benutzer überprüfen

Sie können die Details des erstellten Benutzers einsehen:

STACKIT Portal

1. Navigieren Sie im STACKIT Portal zu Data & AI > STACKIT Intake.
2. Klicken Sie auf das Intake, das Sie im vorherigen Schritt erstellt haben.
3. Klicken Sie in der Seitenleiste auf Benutzer.
4. Klicken Sie auf den soeben erstellten Benutzer, um dessen Details zu sehen, einschließlich des Anmeldenamens.

STACKIT CLI

stackit beta intake user describe "$INTAKE_USER_ID" --intake-id "$INTAKE_ID"

Sie sollten eine Antwort wie diese sehen:

ATTRIBUTE                │ VALUE
──────────────────────────┼──────────────────────────────────────────────────
 ID                       │ 8d06eb8c-1ef6-49be-9518-77ed2c7900c8
 Name                     │ myIntakeTopicUser
 State                    │ active
 Created                  │ 2025-10-16 16:57:25 +0000 UTC
 Labels                   │ <nil>
 Type                     │ intake
 Username                 │ intake-user-8d06eb8c-1ef6-49be-9518-77ed2c7900c8
──────────────────────────┼──────────────────────────────────────────────────
 Java Client Config       │
──────────────────────────┼──────────────────────────────────────────────────
 librdkafka Client Config │

Das von Ihnen angegebene Passwort wird nicht in einem abrufbaren Format gespeichert. Stellen Sie sicher, dass Sie es sicher aufbewahren.

Einen Deadletter-Intake-Benutzer erstellen

Um Nachrichten zu untersuchen, bei denen die Verarbeitung fehlgeschlagen ist, erstellen Sie einen Benutzer mit schreibgeschütztem Zugriff auf die Dead Letter Queue (DLQ), indem Sie den Typ auf dead-letter setzen.

STACKIT Portal

1. Öffnen Sie Ihr Projekt im STACKIT Portal.
2. Navigieren Sie zu Data & AI > Intake.
3. Klicken Sie in der Seitenleiste auf Intakes.
4. Klicken Sie auf das Intake, das Sie im vorherigen Schritt erstellt haben.
5. Klicken Sie in der Seitenleiste auf Benutzer.
6. Klicken Sie in der Topbar auf Benutzer erstellen.
7. Füllen Sie die Pflichtfelder aus:
   • Name: Der Name für Ihren Dead Letter Intake-Benutzer.
   • Rolle: Setzen Sie diese auf „Dead Letter Reader“.
   • Passwort: Ein sicheres Passwort (mindestens 12 Zeichen, mit mindestens einem Großbuchstaben, Kleinbuchstaben und Sonderzeichen sowie mindestens einer Zahl). Sie können auch auf Neues Passwort generieren klicken, um ein sicheres Passwort erstellen zu lassen. Kopieren Sie es in diesem Fall unbedingt und bewahren Sie es sicher auf.
8. Klicken Sie auf Erstellen.

Die Antwort enthält den Anmeldenamen des erstellten Benutzers. Notieren Sie diesen für die zukünftige Verwendung mit Ihrem Kafka-Client. Die Antwort enthält außerdem Konfigurationen, die Sie für Java- oder librdkafka-Clients kopieren können.

STACKIT CLI

stackit beta intake user create --intake-id "$INTAKE_ID" \
  --display-name "myDeadletterTopicUser" \
  --password "SuperSecr3t12**??Passw0rd" \
  --type dead-letter

Dieser Benutzer hat nur die Berechtigung, vom DLQ-Topic zu lesen. Stellen Sie sicher, dass Sie die ID aus der Antwort erfassen:

export INTAKE_USER_DLQ_ID="<PASTE_THE_INTAKE_USER_DLQ_HERE>"

Ihre Intake-Benutzer überprüfen

Listen Sie alle Intake-Benutzer für ein Intake in Ihrem Projekt auf:

STACKIT Portal

Navigieren Sie im STACKIT Portal zu Data & AI > Intake > Intakes.

Klicken Sie auf das Intake, das Sie im vorherigen Schritt erstellt haben.

Klicken Sie in der Seitenleiste auf Benutzer.

Hier sollten Sie sowohl den Intake-Benutzer als auch den Dead Letter-Benutzer sehen, die Sie in den vorherigen Schritten erstellt haben.

STACKIT CLI

stackit beta intake user list --intake-id "$INTAKE_ID"

Daten über Ihr Intake an eine Iceberg-Tabelle senden

Nachdem Sie die Einrichtung abgeschlossen haben, können Sie überprüfen, ob alles funktioniert, indem Sie eine Testnachricht mit einem Kafka-Client wie kcat an Ihr Intake-Topic senden.

echo '{"message": "hello world from kcat!", "id": 123}' | \
kcat -b $INTAKE_RUNNER_ID.intake.eu01.onstackit.cloud:9094 \
  -t intake-"$INTAKE_ID"  \
  -P \
  -X security.protocol=SASL_SSL \
  -X sasl.mechanisms=SCRAM-SHA-512 \
  -X sasl.username=intake-user-"$INTAKE_USER_ID" \
  -X sasl.password='<IHR_SICHERES_PASSWORT_FUER_INTAKE_BENUTZER>'

Nachdem Sie die Nachricht gesendet haben, fragen Sie Ihre Ziel-Tabelle in der Dremio-Benutzeroberfläche ab, um zu bestätigen, dass der Datensatz erfolgreich aufgenommen wurde.

Sie können auch aus dem Dead-Letter-Topic lesen:

```bash
kcat -b $INTAKE_RUNNER_ID.intake.eu01.onstackit.cloud:9094 \
  -t deadletter-intake-"$INTAKE_ID"  \
  -C \
  -X security.protocol=SASL_SSL \
  -X sasl.mechanisms=SCRAM-SHA-512 \
  -X sasl.username=intake-user-"$INTAKE_USER_DLQ_ID" \
  -X sasl.password='<IHR_SICHERES_PASSWORT_FUER_DEADLETTER_BENUTZER>'

Bereinigung

Sie können den Intake Runner mit den folgenden Befehlen löschen. Dadurch werden auch die Intakes und Intake-Benutzer gelöscht.

STACKIT Portal

1. Öffnen Sie Ihr Projekt im STACKIT Portal.
2. Navigieren Sie zu Data & AI > Intake
3. Klicken Sie in der Seitenleiste auf Intake Runners.
4. Klicken Sie auf die drei Punkte rechts neben dem von Ihnen erstellten Intake Runner.
5. Wählen Sie Löschen.
6. Bestätigen Sie das Löschen durch Eingabe des Namens des Intake Runners.
7. Drücken Sie auf Löschen

STACKIT CLI

stackit beta Intake user delete ""$INTAKE_USER_ID" --intake-id "$INTAKE_ID"
stackit beta Intake user delete "$INTAKE_USER_DLQ_ID" --intake-id "$INTAKE_ID"
stackit beta intake delete "$INTAKE_ID"
stackit beta intake runner delete "$INTAKE_RUNNER_ID"

Sie können alle Runner auflisten und warten, bis Ihr Runner nicht mehr aufgelistet wird:

stackit beta intake runner list

Während des Löschvorgangs befindet sich der Runner im Status state deleting.

Herzlichen Glückwunsch, Sie haben Ihre erste Intake-Pipeline erstellt und Daten an diese gesendet. Von hier aus können Sie sich mit Hilfe der How-Tos weiter in das Thema einarbeiten.