Data ENgineering
Die Herausforderung
Die Digitalisierung ist bei den Kommunikationsdiensten weit fortgeschritten. Bereits heute werden Festnetz-Telefonie, Fernsehen und Internet über die gleiche Netzinfrastruktur aus einer Hand angeboten (Triple Play). Ton, Bild und Daten werden dabei IP-basiert über Datenpakete übertragen. Die Telekom Deutschland verfügt über ein deutschlandweites, komplexes Kommunikationsnetzwerk. Durch den digitalen Fortschritt werden immer wieder neue Technologien und Hardware-Hersteller in das bestehende Netz eingebracht. Um bei dieser Dynamik mithalten zu können, setzt die Telekom ein Software-System zur Analyse der Qualität und Verfügbarkeit ihrer Dienste sowie zur Überwachung der Auslastung der Netzinfrastruktur ein. Zudem plante die Telekom Umfang und Tonqualität ihrer HD-Programme sowie die Funktionalitäten ihrer Dienste weiter auszubauen. Das damit wachsende Datenvolumen wäre für das bestehende Analysesystem nicht mehr beherrschbar gewesen. Die TIQ Solutions, als langjähriger Berater für die bestehende Lösung, empfahl daher den Wechsel auf ein neues Big Data-System.
- Anwendungsfall
Telekom Deutschland GmbH / T-Systems International GmbH
Migration eines Analysesystems zur Überwachung der Bild-und Tonqualität von IPTV und VoIP auf eine Big Data-Plattform
- Zielsetzung
- Verarbeitung größerer Datenmengen
- Aktuellere, flexiblere und verbreiterte Sicht auf die Daten
- Verbesserte Analysemöglichkeiten auf historischen Daten
- Verringerung der Betriebskosten
- Generische Verarbeitungsprozesse
- Performantere Datenanalyse
- Aufgaben
- Konzeption der neuen Systemarchitektur
- Durchführung von PoC
- Migration der fachlichen Logik
- Migration der historischen Datenbestände
- Umsetzung des Sicherheitskonzepts
- Technologie
- Hadoop
- Cloudera
- Hive
- ZooKeeper
- Oozie
- Hue
- HDFS
- YARN
- Parquet
- individuelle Erweiterungen mit Java
- Bash Scripting
- Enterprise Architect
- QlikView®
Der Lösungsweg
Im Rahmen von mehrtägigen Workshops wurde zusammen mit der IT und der Fachabteilung die Architektur des neuen Big Data-Systems und die technologische Umsetzung erarbeitet. Die leistungsfähigen Verarbeitungsmechanismen von Big Data ermöglichten dabei erstmalig das fachliche Datenmodell von den technischen Schranken bei der Beladung zu trennen. Zudem spezifizierte TIQ Solutions die notwendigen Anwendungen sowie deren Rechte und das Routing zwischen den Knoten im Cluster und dem externen QlikView-Server, der die Visualisierung bereitstellt. Die Oracle-Datenbank wurde durch Hive ersetzt. Hier entwickelte TIQ Solutions einen Generator der für die über 30 heterogenen Datenquellen die diversen Hive-Tabellenobjekte inklusive ihrer Attribute und damit die Datenbank teilautomatisiert erzeugt. Die Verarbeitung der Daten wurde mit dem Oozie Workflow Scheduler umgesetzt und löste Informatica ab. Für das Hadoop Cluster wurde dann ein Rechte- und Rollen-Konzept auf Basis Kerberos konzipiert und implementiert. Die historischen Daten wurden initial in das Hadoop Cluster migriert. Für die Fachanwender wurde über das Web-Frontend Hue der gewohnte Zugriff über SQL-Statements auf die Rohdaten hergestellt. Bei der Migration der Business Intelligence-Anwendung QlikView® beriet TIQ Solutions vor allem bei der Optimierung der Beladungslogik.
Das Ergebnis
Das bestehende klassische, rein relationale Datenbanksystem wurde erfolgreich in ein Big Data-System überführt. Durch die neuen Möglichkeiten entfallen Aggregationen und Filter zur Begrenzung der Datenmengen. Damit wurde die Auflösung der Daten (Granulariät), der Umfang der Historie und die Durchgängigkeit der betrachtbaren Zeiträume stark erhöht. Die Telekom erhält damit ein genaueres Bild über den Zustand ihres Netzes und die aktuelle Qualität der angebotenen IPTV- und VoIP-Dienste (Quality of Service). Daraus resultierende Langzeitbetrachtungen sind nun umfassender und helfen, schleichende Zustandsveränderungen zu erkennen. Durch die verteilte Verarbeitung im Cluster ist eine verstärkte untertägige Beladung der Rohdaten möglich geworden und die Fachabteilung erhält einen schnelleren Blick auf die aktuellen Bewegungsdaten. Mit der Nutzung der Cloudera Hadoop-Distribution und den integrierten Anwendungen für Datenintegration und Datenabfrage wurde ein in sich konsistentes System bereitgestellt. Die Betriebskosten der Software-Lösung und der Hardware konnte damit um ein vielfaches gesenkt werden.
- Kundenvorteile
- Verringerung der Kosten für Subscription
- Verringerung der Kosten für Datenhaltung
- Verbesserte Aussagekraft der Analysen
- Minimaler Erweiterungsaufwand
- Effizienz für wachsende Datenmengen
Grafik zur Kundenreferenz
