Data Engineering

Die Herausforderung

Unser Kunde, die öffentlich-rechtliche Landesrundfunkanstalt, benötigte Unterstützung bei der Erstellung eines aussagekräftigen Reportings des Telefonservice-Prozesses im Beitragsservice-Bereich. Vom Telefonanbieter erhält unser Kunde Daten zu ein- und ausgehenden Anrufen. Die Daten wurden in der Vergangenheit pauschal als Text und in zwei Verarbeitungsschritten über Access und PowerQuery in eine SQL-Datenbank geschrieben. Dies basierte auf keinem Datenmodell. Auch lief der Prozess bisher autark und war nicht in andere IT-relevante Prozesse eingebunden, wie z.B. zentrale Berechtigungsverwaltung, Backup, Housekeeping. Gleichzeitig erfolgten in der Vergangenheit weder Analysen über Datenstrukturen und ein Abgleich mit den gelieferten Daten noch wurde ein Prozess zur Herstellung einer grundsätzlichen Datenqualität etabliert. Aufgrund der dezentralen Datenhaltung und der damit verbunden Abhängigkeit, konnten keine Auswertungen für den Fachbereich erfolgen, ohne einen bestimmten Personenkreis mit einzubeziehen. Dieser zusätzliche Schritt der manuellen Verarbeitung benötigte zusätzliche Ressourcen und bot zudem ein weiteres Risiko für Fehler. Zusätzlich galt es den neuen Verarbeitungsprozess in bestehende Abläufe und Regularien zu integrieren, ohne jedoch das restliche DWH (bzw. hochpriorisierte Arbeitsschritte) auf Grund von Fehlerkonstellationen in den Telefondaten zum Stillstand zu bringen. Diese hatten eher eine geringere Priorität in der Verfügbarkeit gegenüber anderen Prozessen wie Stammdatenabgleich, Beitragsbefreiung, Mahnwesen oder Rechnungslegung.

Öffentlich-rechtliche Landesrundfunkanstalt (LRA)

Modellierung eines Datenmodells und Entwicklung von ETL Prozessen unter Beachtung der Abhängigkeiten bestehender Geschäftsprozesse

Der Lösungsweg

In diesem Projekt unterstützte TIQ Solutions durch fachliches und technisches Know How in Bezug auf:

  1. eine saubere Datenmodellierung nach Analyse
  2. die Einführung einer Datenqualitätsprüfung für das DWH
  3. dem Aufbau eines separaten ETL-Prozesses je Datenquelle, welcher auch mit diversen Problemszenarien in der Datenanlieferung umgehen kann
  4. dem Erkennen von korrekturbedürftigen (Stamm)Daten
  5. dem Aufbau von Referenztabellen (für aktive Datenpflege)
  6. die Pseudonymisierung personenbezogener Daten
  7. Zuführung in ein Sicherheitskonzept und Housekeeping
  8. Protokollierung bei Fehlern in der Datenlieferung
  9. Steuerlogik bei Wochenende und Feiertagen

Durch die enge Zusammenarbeit mit den Fachbereichen und dem Controlling konnten zudem neue Datenqualitätsprozesse etabliert, sowie weitere KPIs und Filterkriterien definiert werden. Dies führte dazu nahezu alle Daten für Auswertungen nutzen zu können bzw. dienen die restlichen Daten, um Sonderfälle im Telefonprozess aufzuzeigen.

Das Ergebnis

Der für jede Datenquelle aufgebaute ETL-Prozess kann je nach Bedarf erweitert oder einzeln deaktiviert werden. Jeder Prozess prüft die Daten im Vorfeld der Verarbeitung, filtert definierte Datensätze (z.B. Monitoring) und sortiert Datensätze mit Auffälligkeiten aus. Diese können nach Prüfung und Korrektur (in den Stammdaten) wieder dem Datenimport zugeführt werden. Zudem werden bei jedem Import Referenztabellen geprüft, um neue Datensätze ergänzt und alte Datensätze entsprechend abgegrenzt. Damit beziehen sich die Daten bei allen Auswertungen aufeinander – abhängig vom jeweiligen Betrachtungszeitraum. Weiterhin wurden für den Fachbereich Views entwickelt, um:

  • generell die ETL-Verarbeitung zu monitoren
  • Berechnungen auf Datenbankebene auszulagern
  • Formelfehler in den Fachbereichen im Excel zu vermeiden
  • Unternehmensweit die gleichen KPIs zu verwenden
  • eine Abkehr der manuellen Verarbeitung bei eigentlich statischen Reports zu erreichen
  • eine zentrale Verfügbarkeit zu gewährleisten
Wie wir Sie unterstützen können

Unsere Data Services

Data Engineering

Business Intelligence & Data Analytics

Data Strategy