Implementierung einer Airflow-Plattform auf AKS in Azure

Company Description

Der Kunde, Siemens Healthineers, ist ein führender Anbieter von Gesundheitstechnologie.

Project Description

Bereitstellung mehrerer Apache Airflow-Umgebungen auf Azure AKS zur Optimierung der Orchestrierung, Skalierbarkeit und Integration von Daten-Workflows für einen führenden Anbieter von Gesundheitstechnologie.

Team Size

Das Projekt wurde von einem 4-köpfigen Experten-Team umgesetzt, bestehend aus:

• 1 Cloud Architect: Verantwortlich für das Design der AKS- und Azure-Infrastruktur sowie Architektur-Entscheidungen.
• 2 DevOps Engineers: Zuständig für den Aufbau der CI/CD-Pipelines, die Automatisierung und das Container-Management.
• 1 Platform Engineer: Fokussiert auf die tiefe Airflow-Integration, Datenbankanbindungen und die DAG-Migration.

Tools & Technologies

Project Task

• Bereitstellung eines Azure Kubernetes Service (AKS) Clusters mit dynamischen Skalierungsfunktionen
• Konfiguration und Integration von Apache Airflow mit Azure Active Directory (Azure AD) und einer externen PostgreSQL-Datenbank
• Migration bestehender Directed Acyclic Graphs (DAGs) und Integration von Data Build Tool (dbt) in die Airflow-Umgebungen
• Erstellung und Verwaltung benutzerdefinierter Airflow-Container-Images über die Azure Container Registry (ACR)
• Entwicklung und Anpassung von CI/CD-Pipelines in Azure DevOps für automatisierte Plattform-Deployments
• Permanente Wartung und Administration der Kubernetes-Cluster sowie der Airflow-Umgebungen
• Kontinuierliche Betreuung und technischer Support der Nutzer bei Problemen und Fehlersuchen

Results / Achievements

• Erfolgreiche Bereitstellung eines hochskalierbaren AKS-Clusters zur Schaffung einer robusten Grundlage für komplexe Datenorchestrierung
• Nahtlose und sichere Integration von Airflow mit Azure AD, externen Datenbanken und dbt-Workflows realisiert
• Optimierung der Plattform-Deployments und Sicherstellung der Workflow-Kontinuität durch maßgeschneiderte Container-Images, erfolgreiche DAG-Migration und angepasste CI/CD-Pipelines