Skalierbare Datenarchitektur & Reporting-Pipelines mit Snowflake, Airflow & Snowpark

Kurzfassung

Für dmTECH (IT-Einheit von dm-drogerie markt) entwickelte Innovaforge eine belastbare End-to-End-Datenpipeline für das Planisware-Reporting. Ergebnis: schnellere Bereitstellung kritischer Reporting-Funktionen, reibungslose Historisierung & Migration in Snowflake sowie wiederverwendbare Framework-Bausteine für SCD/CDC. Das Projekt schuf die Grundlage für datengetriebene Entscheidungen in über 500 Filialen.

Kunde & Kontext

Kunde: dmTECH GmbH (Karlsruhe) – interne IT von dm-drogerie markt Zeitraum: November 2024 bis Juli 2025 Rolle von Innovaforge: Externer IT-Consulting-Partner für Data Architecture & Data Engineering (Leitung Architektur, Implementierung & Optimierung der Planisware-Reporting-ETL).

Ausgangssituation

dmTECH wollte Planisware- und ERP-Daten täglich, zuverlässig und auditierbar in ein zentrales Data-Warehouse integrieren, um Projekt- & Ressourcenplanung unternehmensweit zu steuern – mit hoher Datenqualität, klarer Governance und kurzen Release-Zyklen bis ins Reporting (MicroStrategy).

Herausforderungen

Heterogene Quellsysteme (Planisware, ERP) hinter einem Virtualisierungslayer (Denodo)
Komplexe Business-Logiken & Historisierung (SCD-Typen, CDC)
Anspruch an stabile, wiederverwendbare Orchestrierung mit Monitoring & schnellem Troubleshooting
Nahtloses CI/CD für zuverlässige, reproduzierbare Deployments in Kubernetes

Lösung durch Innovaforge

Architektur auf einen Blick

Medallion-Architektur in Snowflake (auf GCP) mit klarer Trennung von Bronze/Silver/Gold, dimensionalem Modell (Fakten & Dimensionen)
Denodo als Virtualisierungsschicht für performante, kontrollierte Datenbereitstellung
Orchestrierung: Apache Airflow (tägliche Workflows, SLA-Checks, Alerting)
Transformationen: Snowpark Python – robuste, testbare Pipelines mit klaren Geschäftsregeln
CI/CD & Infrastruktur: GitLab + Terraform für automatisierte Deployments auf Kubernetes
Monitoring & Qualität: Laufzeit-Optimierung & Datenqualitätskontrollen in Airflow und Snowflake-Dashboards

Wiederverwendbare Engineering-Bausteine

ETL-Framework in Airflow inkl. Standard-Operatoren, Konventionen & Templates
SCD/CDC-Module (Historisierung, Änderungs-erkennung) als Library-Komponenten für schnelle Onboarding-Fähigkeit neuer Datenobjekte
Infrastructure-as-Code (Terraform) & GitOps-Workflows für reproduzierbare Releases

Umsetzung & Zusammenarbeit

Innovaforge übernahm Architektur, Implementierung, Performance-Engineering & Dokumentation – in enger Abstimmung mit Fachbereichen, IT, MicroStrategy-Teams und Stakeholdern. Besonderheiten: schnelle Umsetzung anspruchsvoller Anforderungen, exzellentes Troubleshooting bei Performance-Engpässen und strukturierter Wissenstransfer in das interne Team.

Ergebnisse & Mehrwert

Geschwindigkeit & Verlässlichkeit

Kritische Reporting-Funktionen (MicroStrategy) deutlich schneller bereitgestellt – durch automatisierte, robuste Airflow-Workflows.

Datenqualität & Governance

Saubere Migration historischer Planisware-Daten nach Snowflake, auditierbare Historisierung (SCD) & CDC-Prozesse.

Skalierbarkeit & Wiederverwendung

Framework-Komponenten erlauben zügiges Onboarding weiterer Datenquellen und reduzieren Time-to-Value für neue Use Cases.

Business-Impact

Fundierte, datengetriebene Entscheidungen in >500 Filialen durch zuverlässige, aktuelle Steuerungsinformationen.

Kennzahlen (Auszug)

tägliche Orchestrierung sämtlicher relevanter Datenflüsse (Airflow)
End-to-End-CI/CD von Code bis Deployment (GitLab, Terraform, Kubernetes)
Historisierte Datenbasis (SCD), änderungsgetriebene Verarbeitung (CDC) für Reporting in MicroStrategy

Warum Innovaforge?

Tiefe Technologie-Expertise in Snowflake (GCP), Snowpark, Airflow, Denodo, Terraform & Kubernetes
Strukturierte, wiederverwendbare Engineering-Ansätze statt Einzel-Skripten – schnellere Projekte, weniger Risiken
Hands-on-Mentalität & klare Dokumentation – Ihr Team bleibt arbeitsfähig, Know-how verbleibt im Unternehmen
Exzellente Referenz: dmTECH empfiehlt Innovaforge nachdrücklich für anspruchsvolle Data-Engineering-Projekte.

Tech-Stack

Snowflake (GCP) · Snowpark Python · Apache Airflow · Denodo · MicroStrategy · GitLab · Terraform · Kubernetes

Projektorganisation

Dauer: ~9 Monate (11/2024–07/2025)
Leistungen: Architektur, Data Engineering, CI/CD, Performance-Optimierung, Monitoring, Dokumentation & Enablement des Kundenteams

Möchten Sie Ihre Datenarchitektur modernisieren, Reporting-Zyklen verkürzen und Data-Products schneller in die Fläche bringen? Sprechen Sie mit Innovaforge. Wir liefern skalierbare, auditierbare und wartbare Lösungen – von Architektur über Implementierung bis Betrieb.

Jetzt Erstgespräch vereinbaren: Wir prüfen Ihre Datenlandschaft, identifizieren Quick-Wins und skizzieren innerhalb weniger Tage eine belastbare Roadmap – inklusive Architektur-Skizze, Aufwandsrahmen und MVP-Plan.