Data Engineering
Die Herausforderung
Zielsetzung des Projektes war die Erweiterung von Data Governance sowie die Übernahme, Weiterentwicklung und Betrieb des Data Pipeline Supports und des Data Management Supports im Rahmen eines Managed Service. Vor Projektstart fehlte eine zentrale Übersicht über die eingesetzten Daten-Pipelines. Dokumentationen waren lückenhaft oder gar nicht vorhanden, und die unternehmensweiten Datenflüsse blieben weitgehend intransparent. Gleichzeitig stand der Ausbau der Data-Governance-Plattform Collibra an.
Im Betrieb zeigte sich zudem, dass viele Pipelines fehleranfällig waren und notwendige Infrastrukturänderungen – etwa bei Firewalls oder Zertifikaten – langwierige Abstimmungen erforderten. Unklare Verantwortlichkeiten und zahlreiche angebundene Systeme führten zu Verzögerungen und Ausfällen. Im Data Management verschärften vernachlässigte Infrastruktur-Updates und die kurzfristige Abkündigung der bestehenden Logging- und Monitoring-Lösung die Situation zusätzlich, da ein zuverlässiges Incident- und Performance-Management nicht mehr gegeben war.
- Anwendungsfall
Industrie
Ausbau von Data Governance sowie Übernahme, Weiterentwicklung und Betrieb des Data Pipeline Supports und des Data Management Supports im Rahmen eines Managed Service.
- Zielsetzung
- Konsolidierte Übersicht aller aktiven Daten-Pipelines und Datenflüsse im Unternehmen
- Ausbau und nachhaltige Verankerung eines Data-Governance-Frameworks
- Sicherstellung der Verfügbarkeit zentraler Reports im Finanzwesen und Controlling für einen reibungslosen Geschäftsbetrieb.
- Technologie
- Collibra Platform
- Talend
- Microsoft SQL Server Management Studio
- Microsoft SSIS
- Docker
- Azure DevOps
- Grafana
- Cassandra
- Axway API Management Platform
- Postman
Der Lösungsweg
In einer ersten Phase wurde eine umfassende Bestandsaufnahme durchgeführt. Sämtliche aktiven Pipelines in den SAP-Landschaften wurden identifiziert, die relevanten Datenflüsse zwischen den wichtigsten Unternehmenssystemen dokumentiert und die zugrunde liegenden Strukturen – trotz unvollständiger Dokumentationen – durch Analyse von Codes und Systemkonfigurationen rekonstruiert. Diese Informationen wurden konsolidiert, standardisiert aufbereitet und in die Data-Governance-Plattform Collibra überführt.
Mit der Übernahme des Data Pipeline Supports konzentrierte sich TIQ auf die Stabilisierung und Weiterentwicklung des Betriebs. Fehleranfällige Data Pipelines wurden überarbeitet, die Abstimmung mit den Fachbereichen durch klar definierte Kommunikations- und Eskalationswege verbessert und das Infrastrukturmanagement durch proaktives Handeln beschleunigt. Ergänzend wurde eine systematische Dokumentation der Systeme, Datenflüsse und Fehlerlösungen etabliert.
In einer weiteren Phase wurde zusätzlich der Infrastructure Support sowie das Data Management übernommen. Hier erfolgte zunächst eine Bestandsaufnahme der vernachlässigten Infrastruktur, gefolgt von der Umsetzung notwendiger Aktualisierungen. Parallel wurde eine moderne Lösung für Logging, Monitoring und Alerting auf Basis von Grafana eingeführt, um die Betriebsstabilität dauerhaft zu sichern.
Das Ergebnis
Durch die Umsetzung der Maßnahmen verfügt das Unternehmen nun über eine vollständige, systematisch gepflegte Übersicht aller aktiven Daten-Pipelines und Datenflüsse im zentralen Data Governance-Tool. Damit werden sowohl Transparenz als auch Nachvollziehbarkeit sicherstellt.
Im Data Management konnten die Betriebsprozesse stabilisiert und die Fehleranfälligkeit deutlich reduziert werden. Fachbereiche profitieren von einer schnelleren Umsetzung notwendiger Änderungen und einer klar strukturierten Kommunikation.
Mit der Einführung einer modernen Logging- und Monitoring-Infrastruktur konnte ein verlässliches Alerting realisiert werden, wodurch Ausfälle frühzeitig erkannt und behoben werden können. Die erfolgreiche Umsetzung aller Projektphasen führte dazu, dass TIQ die langfristige Verantwortung für den Data Management-Bereich übernehmen konnte.
- Kundenvorteile
- Vollständige Transparenz über Datenflüsse, Systeme und Schnittstellen
- Deutlich reduzierte Ausfallzeiten durch stabilisierte Pipelines
- Systematische Dokumentation und verbesserte Nachvollziehbarkeit aller Änderungen
- Effizientere Zusammenarbeit mit Fachbereichen und IT durch strukturierte Kommunikationsprozesse
- Einführung einer modernen Logging- und Monitoring-Lösung für proaktives Incident-Management
- Nachhaltige Sicherstellung des Betriebs durch TIQ als langfristigen Partner