Data Engineering
Die Herausforderung
Der Kunde ist ein international agierender Lebensmittelhersteller und betreibt seit einigen Jahren eine produktive Auswertungs- und Analyseplattform auf Basis der Microsoft Business Intelligence Platform. Im Rahmen des produktiven Betriebs der Plattform müssen regelmäßig neue Anforderungen hinsichtlich weiterer oder angepasster Datenquellen, deren Datenintegration und -Aufbereitung mittels SSIS sowie multidimensionaler Modellierung & Visualisierung mittels SSAS aufgenommen werden.
Die vorhandenen Datenintegrationsprozesse aus verschiedenen SQL Datenbanken und Flat Files (Excel, csv und txt Dateien) haben sich dabei als zu wenig flexible gezeigt bzw. war deren Performance sowie die Prüfung der Datenqualität bisher nicht optimal. Entsprechend fehleranfällig waren teilweise Reports und Visualisierungen.
- Anwendungsfall
Lebensmittelhersteller
- Datenmodellierung
- Spezifikation und Implementierung von Datenintegrationsprozessen mittels SSIS
- Erstellung Use Cases für Auswertung- und Analysen mittels SSAS
- Test- und Releasemanagement
- Zielsetzung
- Spezifikation, Implementierung & Optimierung von Datenintegrationsprozessen und übergreifenden Workflows mittels SSIS
- Spezifikation von Datenquellen und Schnittstellen
- Datenmodellierung relationale Datenbankebene
- Spezifikation multidimensionaler Modelle, Analysen und Visualisierung auf Basis fachlicher Anforderungen mittels SSAS
- Technologie
- Microsoft SQL Server Database
- Microsoft SQL Server Integration Services (SSIS)
- Microsfot SQL Server Analysis Services (SSAS)
- Microsoft Power BI
Der Lösungsweg
Basierend auf den Kundenanforderungen wurden die vorhandenen Datenintegrationsprozesse und Workflows überarbeitet bzw. optimiert (z.B. Erstellen von Delta Loads aus Quelltabellen in Staging Tabelle oder Entfernen von Datenduplikaten). Weiterhin wurden vorhandene Workloads einem Code Review unterzogen und entsprechend dokumentiert. Darüber hinaus implementierten wir Releasemanagement- und Deploymentprozesse, um neue Datenintegrationsprozesse vor einem produktiven Release intensiv testen zu können. Weiterhin wurden gemeinsam mit dem Kunden verschiedene Use Cases für multidimensionale Cubes (Dimensionen, Fakten und KPIs) mittels SSAS entwickelt um differenziertere Reportings, Visualisierungen und Data Exploration zu ermöglichen.
Daneben fanden umfangreiche Beratungsleistungen, wie bspw. hinsichtlich optimaler Spezifikationen von neuen Datenquellen und Schnittstellen sowie der Optimierung bestehender Cubes auf Basis vorhandener relationalen Datenbankstrukturen, statt.
Das Ergebnis
Im Ergebnis haben wir vorhandene Datenintegrationsprozesse hinsichtlich der Performance und Datenqualität optimiert. Damit ist der Kunde schneller in der Lage Echtzeitanalysen mit aktuellen und fehlerfreien Daten auszuführen sowie tiefere Analysen bzw. Visualisierungen mit komplexeren multidimensionalen Cubes durchzuführen. Darüber hinaus haben wir durch die technische und organisatorische Einführung eines Releasemanagements die Möglichkeit geschaffen das Deployment so zu steuern, dass keine Ausfallzeiten beim Release von neuen Datenintegrationsprozesse und Workflows entstehen.
- Kundenvorteile
- Anforderungsmanagement
- Testmanagement und Burgfixing
- Professionalisierung Versions- und Sourcecodeverwaltung sowie Dokumentation