Data Engineering
Die Herausforderung
Der Kunde, ein Tochterunternehmen eines großen deutschen Automobilherstellers, suchte Unterstützung bei der Weiterentwicklung und Erweiterung des Data Warehouse, insbesondere bei einem eigenständigen Projekt zur Migration von On Premise in die Azure Cloud. Zu den täglichen Aufgaben gehörte die Anbindung einer wachsenden Vielzahl von Schnittstellen, was einen höheren Grad an Standardisierung und Automatisierung für die Umsetzung erforderte. Darauf aufbauend war auch ein höherer Grad an Standardisierung und Automatisierung bei der Beladung des Data Warehouse notwendig.
Eine weitere Aufgabe war der Aufbau und die Weiterentwicklung von Data Marts nach vorhergehender Anforderungsanalyse mit den Fachabteilungen. Dafür mussten regelmäßig Anpassungen am Business Layer sowie an den Schnittstellen zum Reporting-Tool vorgenommen werden.
- Anwendungsfall
Automobilbranche
Bereitstellung einer validen und zentralen Datenbasis
- Zielsetzung
- Migration der bestehenden Infrastruktur in Azure Cloud
- Anbindung einer wachsenden Vielzahl von Schnittstellen
- höherer Grad an Standardisierung und Automatisierung bei der Data Warehouse Beladung
- Technologie
- Power BI
- Microsoft SQL Server
- WhereScape 3D
- Python
- Tableau
- Microsoft Azure
- Azure Virtual Machines
- Azure Data Factory
- Azure DevOps
- Jira
Der Lösungsweg
Wichtig für die Standardisierung und Automatisierung der einzelnen Schnittstellen-Anbindungen und Beladungsprozesse war die Ausarbeitung von Gemeinsamkeiten. Durch die Migration des Data Warehouse in die Cloud nutzte man den Vorteil, die bisherigen Prozesse zu hinterfragen und zu optimieren. Ähnliche Prozess-Schritte wurden in generische parametrisierbare Module ausgelagert und wiederkehrende Prozess-Abfolgen in einfach zu steuernde Abläufe zusammengefasst.
So wird nun bei neuen Schnittstellen nur ein Skript benötigt, das die gelieferten Daten in ein Standard-Dateiformat übersetzt und ablegt. Nach der Modellierung der daraus resultierenden Entitäten und deren Integration in die Data Warehouse-Architektur mit Hilfe eines Data Vault Modellierungs-Tools können dann ohne weitere Entwicklungsaufwände die benötigten Datenbank-Objekte erstellt und die Beladungs-Jobs ausgeführt werden.
Auch für die Modellierung und das Deployment der Data Marts kommt das Data Warehouse Automatisierungs-Tool zum Einsatz. Dadurch erfolgen Definition, Historisierung und Deployment der einzelnen Datenobjekte und Beladungs-Routinen sowie das Monitoring an einer zentralen Stelle.
Das Ergebnis
Die Nutzung der Microsoft Azure Cloud erlaubt eine Reduzierung der Betriebskosten und einen stärkeren Fokus auf die Modularisierung der verwendeten Prozess-Komponenten. Die Nutzung des Data Warehouse Automatisierungs-Tool beschleunigt die Datenmodellierung und Anbindung von neuen Entitäten. Durch die Beschleunigung ist die Anbindung von mehr Schnittstellen in kürzerer Zeit und Erstellung von schnelleren Datenauswertungen möglich. Dies ermöglicht eine bessere Qualitätskontrolle und einen Wettbewerbsvorteil.
Das Ergebnis insgesamt sind ein geringerer Projektaufwand, eine kürzere Projektdauer (Time To Market), eine hohe Datenqualität, eine 360° Sicht und vor allem Nachhaltigkeit.
- Kundenvorteile
- Kostenreduzierung für Betrieb und Personal
- Kosteneffizienz
- Time to Market
- Schnellere Entscheidungsgrundlagen für Fachbereiche
- 360° Sicht
- Hohe Datenqualität