[vc_row el_class="container"][vc_column][vc_btn title="Referenzen" style="classic" shape="square" color="btn-light-orange-blue" i_icon_fontawesome="fa fa-angle-double-left" add_icon="true" link="url:http%3A%2F%2Fwww.tiq-solutions.de%2Freferenzen%2F|title:Referenzen||"][/vc_column][/vc_row][vc_row el_class="container reference-mobile" el_id="reference-detail-layout"][vc_column el_class="reference-detail-layout-left .reference-mobile-order-2" offset="vc_col-lg-8 vc_col-md-8"][vc_row_inner][vc_column_inner][vc_single_image image="9735" img_size="750x495" el_class="reference-detail-layout-left-image"][/vc_column_inner][/vc_row_inner][vc_tta_accordion shape="square" gap="20" c_position="right" active_section="1" el_class="reference-detail-left-accordion"][vc_tta_section title="Die Herausforderung" tab_id="1508250369004-11fd70c1-c50a"][vc_column_text]Die fortschreitende Digitalisierung hat einen enormen Einfluss auf das Konsumverhalten der Verbraucher. Durch die stetig wachsenden technischen Möglichkeiten werden Produkt- und Preisvergleiche für jeden Anwender immer einfacher. Das hat zur Folge, dass die Konsumenten ihr Kaufverhalten immer mehr auch von der Reputation des Unternehmens bzw. der Marke abhängig machen. Die Bewertung bzw. das Image von Marken und Unternehmen stellt damit einen steigenden Erfolgsfaktor bei der Vermarktung von Produkten dar.
Unser Projektpartner aus dem Bereich der Medienbranche analysiert die Wahrnehmung von Unternehmen und Marken im Web im Vergleich zu ihren Wettbewerbern über Stimmungsbarometer. Dazu nutzt er eine Vielzahl an unterschiedlichen Online-Datenquellen, wie z.B. Social-Media-Kanäle, Newsfeed, Blogs und Nachrichtenportale. Bisher erstellte unser Partner diese Analysen lokal in Excel und stieß aufgrund der hohen und kontinuierlich steigenden Datenmenge immer mehr an seine Grenzen. Zusätzlich sollte es möglich sein, die Informationen in Themen einzuteilen, ohne dabei einen aufwendigen manuellen Anteil zu haben. Das bisher verwendete Modell zur Klassifizierung der Online-Daten in bestimmte Themen (sog. Topic Modeling) war nicht auf große Datenmengen ausgelegt und nicht ausreichend performant. Auch die Benennung der einzelnen Themen aus dem Topic Modeling erfolgte manuell und benötigte klare Standards. Der Aufwand für die Analysen war dadurch sehr hoch und für die Analysten nicht mehr zu bewältigen.
Unser Partner hat sich bei der Suche nach einer Big Data Analytics-Lösung an uns gewandt, mit der er aus den oben beschriebenen Online-Datenquellen die Wahrnehmung von Unternehmen und Marken analysieren und Stimmungsbarometer daraus visualisiert darstellen kann. Die Analysen sollten zukünftig schneller, effizienter und qualitativ hochwertiger durchführbar sein und mehr Freiheiten bei Datenbeschaffung und Datenselektion bieten. Die Datenmodellierung soll zukünftig auf Basis eines universellen Modells mit einem effizienteren automatisierten Algorithmus erfolgen. Zudem sollen die Dashboards der Analysen in Bezug auf Tonalität, Reputation, Sentiment für den internen Gebrauch genutzt werden und interessierten Kunden exklusiv im ansprechenden Design zur Verfügung gestellt werden.[/vc_column_text][/vc_tta_section][vc_tta_section title="Der Lösungsweg" tab_id="1508250369051-4a626d72-344d"][vc_column_text]In diesem Projekt unterstützte TIQ Solutions das Forschungs- und Entwicklungsteam des Projektpartners allumfänglich angefangen bei der Datenintegration bis hin zur Datenvisualisierung und dem Reporting. Für die Big Data-Integration aus einer Vielzahl von Online-Datenquellen hat das Team von TIQ Solutions einen Cloudera Cluster in der Azure Cloud aufgebaut. Für eine integrierte und abgestimmte schnell nutzbare Umgebung mit wenig Administrations- und Konfigurationsaufwand entwickelte das Team ein Ansible-Skript, das in kürzester Zeit vollautomatisiert eine Cloudera-Umgebung in der Azure Cloud aufbaut. Für Datenbeschaffung und -import wurde eine Schnittstelle zu einem Amazon S3 Storage implementiert. Die Persistierung der Daten erfolgt nun in Hive und der Datenzugriff wurde mittels Hue (SQL) und Jupyter (Python, R) umgesetzt.
Ein entscheidender Teil der (Social Media-) Analyse ist die Bestimmung relevanter Themen (Topics), die im Zusammenhang mit der betrachteten Entität stehen. Dazu wurde unter R zunächst ein Topic Model entwickelt, dass über Clusterverfahren relevante Themen identifiziert. Darüber hinaus kann über eine in Python entwickelte NLP-Pipeline das jeweilige Thema der geladenen Textfragmente bestimmt werden. In der Aggregation ergibt sich hieraus die Möglichkeit der quantitativen Auswertung der Themen, mit denen Unternehmen und ihre Benchmarks in Verbindung gebracht werden. Das Topic Modeling profitiert dabei von der skalierbaren Cloud-Architektur, die es ermöglicht, auch große Textcorpora zu analysieren. Zusätzlich wurde die Klassifizierung neuer Textfragmente in den Import der Daten integriert, wodurch direkt auf die Themenanalyse zugegriffen werden kann.
Die Beladung, Aggregation der Daten und die Visualisierung der Ergebnisse erfolgt auf einem Qlik Sense Server, welcher als Basis für verschiedene Apps und Dashboards für ein Reporting dient. Doch die Datenvisualisierung in der Qlik Sense Oberfläche erfüllte die Kundenanforderungen nicht ausreichend. Daher haben die BI-Entwickler von TIQ Solutions eine Web-Application auf Basis des Python-Webframeworks Django entwickelt, auf welcher ein eigenständiges Dashboard präsentiert wird. Die Daten werden dabei nicht neu aggregiert, sondern über die Qlik Sense Engine API bezogen und anschließend mit Hilfe des Frameworks Chart.js visualisiert.[/vc_column_text][/vc_tta_section][vc_tta_section title="Das Ergebnis" tab_id="1508252697978-ef0a40d1-ea09"][vc_column_text]Für die Erstellung von Stimmungsbarometern aus einer Vielzahl an Onlinedaten kann unser Partner jetzt seine Analysen in einem Big Data Cluster transparent, optimiert, schnell und qualitätsgesichert durchführen. Die Analysten können sich die benötigten Daten eigenständig beschaffen und sind nicht auf explizite Datenlieferungen eines Dienstleisters angewiesen. Durch das Topic Modelling kann jetzt die Wahrnehmung der Unternehmen / Marken zu unterschiedlichen Themen explizit dargestellt und auswertet werden. Mit der Nutzung von Qlik Sense kann unser Partner eigenständig neue Analysen ohne Entwicklerkenntnisse erstellen. Zudem bietet Qlik Sense über die API Möglichkeiten zur flexibleren Entwicklung von Visualisierungen und zur Implementierung von erweiterten Funktionen. Mit den zusätzlich entwickelten Dashboards erhält unser Partner ein aussagekräftiges Reporting, welches jetzt Darstellungen weiterer Datenzusammenhänge ermöglicht. Mit der Bereitstellung von Templates kann unser Partner nun seinen Kunden auch für ihr Reporting individualisierte Dashboards anbieten.[/vc_column_text][/vc_tta_section][/vc_tta_accordion][vc_row_inner el_class="reference-detail-left-heading"][vc_column_inner][vc_custom_heading text="Grafik zur Kundenreferenz" font_container="tag:h3|text_align:left" use_theme_fonts="yes"][/vc_column_inner][/vc_row_inner][vc_row_inner el_class="reference-detail-left-heading"][vc_column_inner width="1/2"][vc_single_image image="9694" img_size="330x140" onclick="link_image"][vc_column_text]Architekturskizze des Big Data-Analytics- und Dashboardsystems[/vc_column_text][/vc_column_inner][vc_column_inner width="1/2"][vc_single_image image="9703" img_size="330x140" onclick="link_image"][vc_column_text]Ablauf Topic Modeling zur Datenexploration großer Textsammlungen[/vc_column_text][/vc_column_inner][/vc_row_inner][vc_row_inner el_class="reference-detail-left-heading"][vc_column_inner width="1/2"][vc_single_image image="9733" img_size="330x140" onclick="link_image"][vc_column_text]Darstellung der Stimmungsbarometer mit Qlik Sense[/vc_column_text][/vc_column_inner][vc_column_inner width="1/2"][vc_single_image image="9732" img_size="330x140" onclick="link_image"][vc_column_text]Darstellung der Stimmungsbarometer mit einer funktionserweiternden Visualisierungsapp[/vc_column_text][/vc_column_inner][/vc_row_inner][/vc_column][vc_column offset="vc_col-lg-4 vc_col-md-4" el_class=".reference-mobile-order-1"][vc_row_inner el_class="background-color-grey reference-detail-right-sidebar-one"][vc_column_inner][vc_column_text]
PROJEKT INFORMATIONEN
Kunde
PR/ Medienbranche
Anwendungsfall
Entwicklung einer Big Data Analytics-Lösung und Dashboard-Darstellung der KPIs in Form eines Stimmungsbarometers für Unternehmen und Marken
Zielsetzung
Verarbeitung sehr großer Datenmengen
Skalierungsmöglichkeiten
Thematische Klassifizierung großer Textsammlungen mittels Machine-Learning
Visualisierung der Ergebnisse in moderner Dashboard-Optik
Technologie
Microsoft Azure, Cloudera, Ansible, Qlik Sense Server, Hadoop, Hive, Oozie, Spark, Zookeeper, Hue, Impala, ADLS Client, Sqoop, MySQL, Juypter Server, Python, R, Qlik Sense, Django, Chart.js
Kundenvorteile
Schnellere, transparentere Analysen großer Datenmengen durch Big Data-Architektur in Azure Cloud
Konzentration auf die fachlichen Analysen statt auf die Datenbereitstellung
Verbesserte Aussagekraft der Analysen und Erkennen von weiteren Zusammenhängen in den Daten
Live-Analysen direkt im Dashboard
Optionen zur Individualisierung für die Dashboards auch im Corporate-Design der Kunden
Optimale Darstellung der Ergebnisse vor allem für Kundenpräsentationen
[/vc_column_text][/vc_column_inner][/vc_row_inner][/vc_column][vc_column offset="vc_col-lg-4 vc_col-md-4" el_class="reference-mobile-order-3" css=".vc_custom_1536932145604{margin-bottom: -100px !important;}"][vc_row_inner el_class="reference-detail-right-sidebar-one-heading"][vc_column_inner][vc_custom_heading text="DIESE REFERENZEN KÖNNTEN SIE AUCH INTRESSIEREN:" font_container="tag:h6|text_align:left|color:%23193d66" use_theme_fonts="yes"][/vc_column_inner][/vc_row_inner][vc_row_inner el_class="background-color-grey reference-detail-right-sidebar-two"][vc_column_inner][tiq_reference_link_box tiq_reference_link="url:https%3A%2F%2Fwww.tiq-solutions.de%2Freferenzen%2Fbig-data-telekommunikationsbranche%2F|title:Big%20Data%20f%C3%BCr%20das%20digitale%20Fernsehen%20und%20Telefonieren%20bei%20der%20deutschen%20Telekom||"][tiq_reference_link_box tiq_reference_link="url:https%3A%2F%2Fwww.tiq-solutions.de%2Freferenzen%2Fintelligente-social-media-analyse%2F|title:Intelligente%20Social%20Media%20Analyse%20bei%20der%20Leipziger%20Tourismus%20und%20Marketing%20GmbH||"][/vc_column_inner][/vc_row_inner][/vc_column][/vc_row][vc_row el_class="container"][vc_column][tiq_start_service_boxes start_service_box_1_image="10226" start_service_box_2_image="10225" start_service_box_3_image="10224" start_service_box_4_image="10223" start_service_box_5_image="10222" start_service_convert_as_slider="true" start_service_title="Unsere Leistungen" start_service_box_1_url="url:https%3A%2F%2Fwww.tiq-solutions.de%2Fleistungen%2Fbig-data%2F|title:Big%20Data||" start_service_box_1_title="Big Data" start_service_box_2_url="url:https%3A%2F%2Fwww.tiq-solutions.de%2Fleistungen%2Fbusiness-intelligence%2F|title:Business%20Intelligence||" start_service_box_2_title="Business Intelligence" start_service_box_3_url="url:http%3A%2F%2Fwww.tiq-solutions.de%2Fleistungen%2Fadvanced-analytics%2F|title:Advanced%20Analytics||" start_service_box_3_title="Advanced Analytics" start_service_box_4_url="url:https%3A%2F%2Fwww.tiq-solutions.de%2Fleistungen%2Fdatenqualitaet%2F|title:Graphdaten" start_service_box_4_title="Datenqualitätsmanagement" start_service_box_5_url="url:https%3A%2F%2Fwww.tiq-solutions.de%2Fleistungen%2Fberatung%2F|title:Beratung||" start_service_box_5_title="Beratung" start_service_box_6_url="|||"][/vc_column][/vc_row] ...
