Übersicht

STACKIT Workflows ist ein Managed-Service, der auf Apache Airflow 2 basiert. Apache Airflow 2 ist eine Open-Source-Plattform für die programmatische Erstellung, Planung und das Monitoring komplexer Data-Engineering-Workflows. Airflow-Workflows werden in Python als Directed Acyclic Graphs (DAGs) definiert, die eine Sammlung von Aufgaben und deren Abhängigkeiten darstellen.

Die zentralen Bausteine eines DAGs sind Operatoren – vordefinierte Vorlagen für einzelne Aufgaben wie das Ausführen einer SQL-Abfrage oder eines Bash-Skripts. Der Scheduler von Airflow triggert diese Aufgaben basierend auf der Zeit oder externen Ereignissen und verteilt die Arbeitslast zur Skalierung auf mehrere Worker. STACKIT Workflows verteilt die Arbeitslast, die automatisch in Pods gekapselt wird, speziell in einem Kubernetes-Cluster. Eine umfassende Weboberfläche bietet eine Übersicht für das Monitoring, die Verwaltung und das Debugging dieser Datenpipelines.

Für eine detailliertere Übersicht besuchen Sie bitte die offizielle Airflow 2.10 Dokumentation.