Cloud-Migration des bestehenden Berichtssystems

Fallstudie

Unternehmen

Carl Zeiss AG

Industrie

Produktion

Kunde seit

2024

Einleitung

Migration des bestehenden Berichtswesens von Carl Zeiss in eine skalierbare, Cloud-native Lösung. Der Fokus liegt auf der Bewältigung der Herausforderungen des Altsystems und der Transformation in eine zukunftsfähige Architektur, die den wachsenden Anforderungen an Datenverarbeitung und -analyse gerecht wird.

Herausforderung

Das bisherige Berichtswesen von Carl Zeiss, basierend auf einem On-Premise Monolithen, war den Anforderungen des modernen Produktionsumfelds nicht mehr gewachsen. Folgende Herausforderungen wurden identifiziert.

Datenexplosion: Die rasant wachsende Menge an Fertigungsdaten erforderte eine neue Architektur und technische Lösungen, um die Skalierbarkeit zu gewährleisten.
Veränderte Geschäftsanforderungen: Die Migration musste neue fachliche Anforderungen des Business berücksichtigen und integrieren.
Langsame Datenverarbeitung: Die Bearbeitung der Daten aus Kafka-Events war zeitaufwendig und ineffizient.
Mangelhafte Codequalität: Der bestehende Code war unübersichtlich, schlecht strukturiert und modularisiert, was die Wartung und Weiterentwicklung erschwerte.
Datenqualität: Der Data Mart wies zahlreiche Ungenauigkeiten und Fehler auf, die die Zuverlässigkeit der Berichte beeinträchtigten.
Unübersichtliche Infrastruktur: Die bestehende Infrastruktur und die Azure Cloud-Dienste waren unübersichtlich und komplex, was die Verwaltung und Optimierung erschwerte.

Lösung

Architektur-Dekomposition: Die Gesamtarchitektur des alten Projekts wurde dekomponiert und vereinfacht, um eine höhere Sicherheit, Modularität und Wartungsfreundlichkeit zu erreichen.
Pipeline-Implementierung: Pipelines für den Empfang von Daten in verschiedenen Formaten (REST, Blob-Speicher, MongoDB) wurden implementiert, um eine effiziente und flexible Datenaufnahme zu gewährleisten.
Datenmodell-Entwicklung: Neue Datenmodelle wurden entwickelt, um die Daten gemäß der definierten Geschäftslogik zu transformieren. Hierbei kamen Databricks, PySpark, Delta Tables, Azure Data Factory und SQL-Abfragen zum Einsatz.
Data Warehouse: Ein skalierbares und performantes Data Warehouse auf Basis von Azure SQL und Databricks wurde aufgebaut, um die Daten für Analysen und Berichte bereitzustellen.
Echtzeit-ETL: Der ETL-Prozess wurde optimiert, um eine nahezu Echtzeit-Verarbeitung der Daten zu ermöglichen.
Cloud-Konfiguration: Diverse Services und DWH-Systeme in der Azure Cloud-Umgebung wurden konfiguriert und optimiert.
Teamleitung: Das Projektteam wurde effektiv geführt, Aufgaben wurden geplant und priorisiert, Verantwortung delegiert und tägliche Teambesprechungen durchgeführt.
Datenqualität: Die Datenqualität wurde kontinuierlich verbessert und an die Geschäftsanforderungen angepasst.
Python-Programmierung: Sauberer und effizienter Python-Code wurde entwickelt, um die Funktionalität und Performance des Systems zu gewährleisten.
Monitoringsystem: Ein Monitoringsystem für ETL- und Data-Science-Dienste in Azure wurde basierend auf Log Analytics Workspace aufgebaut.
Architektur-Optimierung: Die gesamte IT- und Datenarchitektur wurde verbessert und vereinfacht, um die Effizienz und Skalierbarkeit zu steigern.

Ergebnisse

Skalierbarkeit: Das neue System ist in der Lage, die wachsenden Datenmengen effizient zu verarbeiten und zu analysieren. (Skalierbarkeit um 400 % gesteigert).
Flexibilität: Die Cloud-native Architektur ermöglicht eine flexible Anpassung an sich ändernde Geschäftsanforderungen. (Vereinfachung der Integration neuer Datenquellen und Geschäftslogik).
Performance: Die Datenverarbeitung erfolgt deutlich schneller und effizienter. (Verkürzung der Datenverarbeitungszeit um 80 %).
Wartbarkeit: Der Code ist sauber, modular und gut dokumentiert, was die Wartung und Weiterentwicklung vereinfacht. (Reduktion der Ausfallzeiten auf unter 5 %).
Datenqualität: Die Qualität der Daten wurde signifikant verbessert, was die Zuverlässigkeit der Berichte erhöht. (Verbesserung der Datenqualität um 15 %).
Transparenz: Die Infrastruktur und die Cloud-Dienste sind übersichtlich und transparent, was die Verwaltung erleichtert.
Echtzeit-Analysen: Die nahezu Echtzeit-Verarbeitung der Daten ermöglicht zeitnahe Analysen und Entscheidungen.
Kostenoptimierung: Die Cloud-Infrastruktur ermöglicht eine flexible Skalierung der Ressourcen und somit eine Optimierung der Kosten. (Reduktion der Betriebskosten um 60 %).

Fazit

Die Migration des Berichtswesens von Carl Zeiss in die Cloud war ein voller Erfolg. Durch die Bewältigung der bestehenden Herausforderungen und die Implementierung einer modernen, skalierbaren Architektur wurde die Grundlage für ein zukunftsfähiges und effizientes Berichtswesen geschaffen. Das Unternehmen profitiert von einer verbesserten Datenqualität, schnellerer Datenverarbeitung, erhöhter Flexibilität und einer optimierten Kostenstruktur.

Referenz Carl Zeiss Vision Empfehlungsschreiben Bogdan Lashkov

Wer sind wir

Innovaforge IT Consulting & Softwareentwicklung GmbH bietet umfassende Dienstleistungen im Bereich Datenarchitektur, Dateningenieurwesen und Datenanalyse. Wir unterstützen Unternehmen dabei, ihre Daten zu nutzen, um ihre Geschäftsprozesse zu optimieren, neue Produkte und Dienstleistungen zu entwickeln und ihre Wettbewerbsfähigkeit zu verbessern.