Skalierbare Datenarchitektur & Reporting-Pipelines mit Snowflake, Airflow & Snowpark

Fallstudie

Unternehmen

dmTECH GmbH

Industrie

Drogerie

Dauer

9 Monate (11/2024 – 07/2025)

Einleitung

Für dmTECH (IT-Einheit von dm-drogerie markt) entwickelte Innovaforge eine belastbare End-to-End-Datenpipeline für das Planisware-Reporting. Ergebnis: schnellere Bereitstellung kritischer Reporting-Funktionen, reibungslose Historisierung & Migration in Snowflake sowie wiederverwendbare Framework-Bausteine für SCD/CDC. Das Projekt schuf die Grundlage für datengetriebene Entscheidungen in über 500 Filialen.

Herausforderung

dmTECH wollte Planisware- und ERP-Daten täglich, zuverlässig und auditierbar in ein zentrales Data-Warehouse integrieren, um Projekt- & Ressourcenplanung unternehmensweit zu steuern – mit hoher Datenqualität, klarer Governance und kurzen Release-Zyklen bis ins Reporting (MicroStrategy).

Heterogene Quellsysteme (Planisware, ERP) hinter einem Virtualisierungslayer (Denodo)
Komplexe Business-Logiken & Historisierung (SCD-Typen, CDC)
Anspruch an stabile, wiederverwendbare Orchestrierung mit Monitoring & schnellem Troubleshooting
Unübersichtliche Infrastruktur: Die bestehende Infrastruktur und die Azure Cloud-Dienste waren unübersichtlich und komplex, was die Verwaltung und Optimierung erschwerte.

Lösung

Medallion-Architektur in Snowflake (auf GCP) mit klarer Trennung von Bronze/Silver/Gold, dimensionalem Modell (Fakten & Dimensionen)
Denodo als Virtualisierungsschicht für performante, kontrollierte Datenbereitstellung
Orchestrierung: Apache Airflow (tägliche Workflows, SLA-Checks, Alerting)
Transformationen: Snowpark Python – robuste, testbare Pipelines mit klaren Geschäftsregeln
Transformationen: Snowpark Python – robuste, testbare Pipelines mit klaren Geschäftsregeln
CI/CD & Infrastruktur: GitLab + Terraform für automatisierte Deployments auf Kubernetes
Monitoring & Qualität: Laufzeit-Optimierung & Datenqualitätskontrollen in Airflow und Snowflake-Dashboards

Ergebnisse

Geschwindigkeit & Verlässlichkeit: Kritische Reporting-Funktionen (MicroStrategy) deutlich schneller bereitgestellt – durch automatisierte, robuste Airflow-Workflows.
Datenqualität & Governance: Saubere Migration historischer Planisware-Daten nach Snowflake, auditierbare Historisierung (SCD) & CDC-Prozesse.
Skalierbarkeit & Wiederverwendung: Framework-Komponenten erlauben zügiges Onboarding weiterer Datenquellen und reduzieren Time-to-Value für neue Use Cases.
Business-Impact: Fundierte, datengetriebene Entscheidungen in >500 Filialen durch zuverlässige, aktuelle Steuerungsinformationen.
tägliche Orchestrierung sämtlicher relevanter Datenflüsse (Airflow)
End-to-End-CI/CD von Code bis Deployment (GitLab, Terraform, Kubernetes)
Historisierte Datenbasis (SCD), änderungsgetriebene Verarbeitung (CDC) für Reporting in MicroStrategy

Fazit

Innovaforge übernahm Architektur, Implementierung, Performance-Engineering & Dokumentation – in enger Abstimmung mit Fachbereichen, IT, MicroStrategy-Teams und Stakeholdern. Besonderheiten: schnelle Umsetzung anspruchsvoller Anforderungen, exzellentes Troubleshooting bei Performance-Engpässen und strukturierter Wissenstransfer in das interne Team.

Referenz Dm

Wer sind wir

Innovaforge IT Consulting & Softwareentwicklung GmbH bietet umfassende Dienstleistungen im Bereich Datenarchitektur, Dateningenieurwesen und Datenanalyse. Wir unterstützen Unternehmen dabei, ihre Daten zu nutzen, um ihre Geschäftsprozesse zu optimieren, neue Produkte und Dienstleistungen zu entwickeln und ihre Wettbewerbsfähigkeit zu verbessern.