Data Engineering
Die Herausforderung
Unser Kunde, die öffentlich-rechtliche Landesrundfunkanstalt, benötigte Unterstützung bei der Erstellung eines aussagekräftigen Reportings des Telefonservice-Prozesses im Beitragsservice-Bereich. Vom Telefonanbieter erhält unser Kunde Daten zu ein- und ausgehenden Anrufen. Die Daten wurden in der Vergangenheit pauschal als Text und in zwei Verarbeitungsschritten über Access und PowerQuery in eine SQL-Datenbank geschrieben. Dies basierte auf keinem Datenmodell. Auch lief der Prozess bisher autark und war nicht in andere IT-relevante Prozesse eingebunden, wie z.B. zentrale Berechtigungsverwaltung, Backup, Housekeeping. Gleichzeitig erfolgten in der Vergangenheit weder Analysen über Datenstrukturen und ein Abgleich mit den gelieferten Daten noch wurde ein Prozess zur Herstellung einer grundsätzlichen Datenqualität etabliert. Aufgrund der dezentralen Datenhaltung und der damit verbunden Abhängigkeit, konnten keine Auswertungen für den Fachbereich erfolgen, ohne einen bestimmten Personenkreis mit einzubeziehen. Dieser zusätzliche Schritt der manuellen Verarbeitung benötigte zusätzliche Ressourcen und bot zudem ein weiteres Risiko für Fehler. Zusätzlich galt es den neuen Verarbeitungsprozess in bestehende Abläufe und Regularien zu integrieren, ohne jedoch das restliche DWH (bzw. hochpriorisierte Arbeitsschritte) auf Grund von Fehlerkonstellationen in den Telefondaten zum Stillstand zu bringen. Diese hatten eher eine geringere Priorität in der Verfügbarkeit gegenüber anderen Prozessen wie Stammdatenabgleich, Beitragsbefreiung, Mahnwesen oder Rechnungslegung.
- Anwendungsfall
Öffentlich-rechtliche Landesrundfunkanstalt (LRA)
Modellierung eines Datenmodells und Entwicklung von ETL Prozessen unter Beachtung der Abhängigkeiten bestehender Geschäftsprozesse
- Zielsetzung
- Überführung einer manuellen Insellösung in einen automatisierten und integrierten Prozess
- Integration des Controlling-Prozesses in die unternehmensweite IT-Landschaft
- Gewährleistung Datenschutz, Verschlüsslung kritischer Personendaten
- Datenanalyse, Datenmodellierung, Datenqualität
- Fachliche KPIs erstellen
- Technologie
- IBM DB2
- Advanced Query Tool V10
- Informatica PowerCenter V10.2
- IBM Lotus Notes
- MS Vision
- MS Project
- TeamTracker
Der Lösungsweg
In diesem Projekt unterstützte TIQ Solutions durch fachliches und technisches Know How in Bezug auf:
- eine saubere Datenmodellierung nach Analyse
- die Einführung einer Datenqualitätsprüfung für das DWH
- dem Aufbau eines separaten ETL-Prozesses je Datenquelle, welcher auch mit diversen Problemszenarien in der Datenanlieferung umgehen kann
- dem Erkennen von korrekturbedürftigen (Stamm)Daten
- dem Aufbau von Referenztabellen (für aktive Datenpflege)
- die Pseudonymisierung personenbezogener Daten
- Zuführung in ein Sicherheitskonzept und Housekeeping
- Protokollierung bei Fehlern in der Datenlieferung
- Steuerlogik bei Wochenende und Feiertagen
Durch die enge Zusammenarbeit mit den Fachbereichen und dem Controlling konnten zudem neue Datenqualitätsprozesse etabliert, sowie weitere KPIs und Filterkriterien definiert werden. Dies führte dazu nahezu alle Daten für Auswertungen nutzen zu können bzw. dienen die restlichen Daten, um Sonderfälle im Telefonprozess aufzuzeigen.
Das Ergebnis
Der für jede Datenquelle aufgebaute ETL-Prozess kann je nach Bedarf erweitert oder einzeln deaktiviert werden. Jeder Prozess prüft die Daten im Vorfeld der Verarbeitung, filtert definierte Datensätze (z.B. Monitoring) und sortiert Datensätze mit Auffälligkeiten aus. Diese können nach Prüfung und Korrektur (in den Stammdaten) wieder dem Datenimport zugeführt werden. Zudem werden bei jedem Import Referenztabellen geprüft, um neue Datensätze ergänzt und alte Datensätze entsprechend abgegrenzt. Damit beziehen sich die Daten bei allen Auswertungen aufeinander – abhängig vom jeweiligen Betrachtungszeitraum. Weiterhin wurden für den Fachbereich Views entwickelt, um:
- generell die ETL-Verarbeitung zu monitoren
- Berechnungen auf Datenbankebene auszulagern
- Formelfehler in den Fachbereichen im Excel zu vermeiden
- Unternehmensweit die gleichen KPIs zu verwenden
- eine Abkehr der manuellen Verarbeitung bei eigentlich statischen Reports zu erreichen
- eine zentrale Verfügbarkeit zu gewährleisten
- Kundenvorteile
- Datenqualität
- Zeiteinsparung im Controlling, dadurch mehr Zeit für fachliche Analysen
- Datenerhaltung im IT-Bereich (Backup, Housekeeping, Datenschutz)
- Strukturierte und bereinigte Daten zentral verfügbar im DWH
- Performanceverbesserungen durch Migration auf andere Datenbanken