Data Engineering
Die Herausforderung
Unser Kunde, ein Unternehmen aus der Tourismusbranche, stand vor der Herausforderung, internationale Reiseangebote mit Deutschlandbezug systematisch zu beobachten und vergleichbar zu machen. Bislang wurden die Daten manuell in Excel-Listen gepflegt, was einen hohen Aufwand verursachte und aufgrund fehlender Standardisierung weder eine konsistente Struktur noch belastbare Marktvergleiche zuließ. Die manuelle Pflege schränkte zudem die Menge der erfassbaren Angebote ein, erschwerte Auswertungen und machte regelmäßige Analysen kaum möglich. Vor diesem Hintergrund entstand der Bedarf nach einer automatisierten, skalierbaren Lösung, die internationale Angebotsdaten zuverlässig, strukturiert und regelmäßig erfassen kann.
- Anwendungsfall
Tourismusunternehmen
Entwicklung einer Lösung zur automatisierten und AI-gestützten Erfassung, Strukturierung und Bereitstellung unstrukturierter Webdaten aus heterogenen Quellen zur weiteren Analyse und Integration in nachgelagerte Systeme.
- Zielsetzung
- KI-gestützte Extraktion unstrukturierter Webinhalte aus heterogenen Quellsystemen
- Automatisierte Normalisierung und Strukturierung der gewonnenen Daten
- Persistierung in ein standardisiertes, skalierbares Datenmodell
- Bereitstellung der Daten für nachgelagerte Analyse-, Verarbeitungs- und Integrationsprozesse
- Technologien
- LLM-basierte Webscraping-Agenten
- Semiautomatisierte Extraktionsagenten
- Azure SQL / Cloud-basierte relationale Datenbank
- ETL-/ELT-Pipelines
- Analytics-Tools
- Monitoring- & Logging-Komponenten
Der Lösungsweg
Um diese Anforderungen zu erfüllen, wurde eine umfassende, automatisierte Lösung zur strukturierten Erhebung und Verarbeitung von Angebotsdaten entwickelt. Zentrales Element ist ein LLM-gestützter AI-Browser-Agent, der auch unstrukturierte Webseiten flexibel interpretieren und regelbasiert auslesen kann. Ergänzend kommen semiautomatisierte Erfassungsagenten zum Einsatz, die wiederkehrende Datenmuster besonders stabil und effizient erkennen. Die extrahierten Daten werden in einer Cloud-basierten, relationalen Azure-SQL-Datenbank gespeichert, deren mehrsprachig nutzbares Schema zentrale Angebotsmerkmale wie Anbieter, Reiseziel, Angebotsart, Preis, Eventname, Dauer oder Veröffentlichungsdatum strukturiert abbildet. Eine integrierte Versionierung ermöglicht es zudem, Angebotsverläufe über die Zeit hinweg nachzuvollziehen. Parallel dazu wurde die bisherige Excel-Logik vollständig durch ein automatisiertes System abgelöst und eine klare Datenstruktur geschaffen, die künftige Anbindungen an CRM- oder Analytics-Systeme problemlos ermöglicht. Die strategische Ausrichtung des Systems wurde gemeinsam mit der DZT anhand einer Zielmarkt-Matrix definiert, die die wichtigsten internationalen Märkte sowie relevante Angebotskategorien berücksichtigt.
Das Ergebnis
Durch diese Lösung entstand eine zentrale, versionierte Datenbasis, die eine vollständig automatisierte und standardisierte Erfassung internationaler Reiseangebote erlaubt. Die Angebote liegen nun in einer strukturierten und konsistenten Form vor und bilden eine belastbare Grundlage für Marktvergleiche, Trendanalysen und regelmäßige Auswertungen etwa über Tableau. Dank der klaren Datenstruktur sind Exporte und CRM-Integrationen unkompliziert realisierbar. Gleichzeitig entlastet die Automatisierung die Fachabteilungen erheblich, steigert die Datenqualität und ermöglicht erstmals eine weitreichende Skalierung: Das System kann perspektivisch mehrere hundert Webseiten und Märkte automatisiert verarbeiten, ohne zusätzlichen manuellen Aufwand.
- Kundenvorteile
- Standardisierung und Konsistenz der Angebotsdaten
- Schnelligkeit und Effizienz durch Automatisierung
- Skalierbarkeit und Erweiterbarkeit auf viele Anbieter und Märkte
- Flexible Datenbasis für Analysen, Reporting und strategische Entscheidungen
- Transparenz und Nachvollziehbarkeit durch Versionierung und strukturierte Daten