SAP SECURITY 2017
22.11.17 - 22.11.17
In Walldorf, Leonardo Hotel

Cloud Expo Europe
28.11.17 - 29.11.17
In Frankfurt

Data Centre World
28.11.17 - 29.11.17
In Frankfurt

IT-Tage 2017
11.12.17 - 14.12.17
In Frankfurt, Messe Kap Europa

Net.Law.S 2018
20.02.18 - 21.02.18
In Nürnberg, Messezentrum

LäuferDie Consol Consulting & Solutions Software GmbH führt beim internationalen Mobile-Health- und Fitness-Unternehmen Runtastic eine neue Big-Data-Plattform auf Basis von Apache Hadoop ein.

Geplant ist der Ausbau der Plattform als „Data Lake“, auf dessen Basis die Data Scientists von Runtastic zukünftig arbeiten werden. Durch die skalierbare Cluster-Lösung wird vor allem das vorhandene Data Warehouse, das mit dem rasanten Datenwachstum nicht mehr Schritt halten kann, entlastet. Ebenso erlaubt die neue Plattform wesentlich schnellere und komplexere Datenanalysen – auch im Parallelbetrieb – als dies im vorhandenen Data Warehouse möglich wäre.

Bei dem Big-Data-Projekt hat Consol sowohl bei der Software-Architektur als auch dem Design beraten und unterstützt bei der Implementierung, dem Deployment sowie dem Betrieb. Dabei kann bei Bedarf sogar per Remote-Lösung von der Düsseldorfer Consol-Niederlassung aus unterstützt werden. Die Entscheidung für Consol fiel aufgrund der Erfahrung und des Know-how im Bereich Apache Hadoop und bei umfangreichen Big-Data-Projekten. Projektstart war im November 2015, der Go-Live soll sukzessive im ersten Halbjahr 2016 erfolgen.

Investitionsschutz durch flexible Skalierbarkeit

Runtastic bietet Produkte und Dienstleistungen rund um die Erfassung und Verwaltung von Sportdaten an. Die Daten werden auf Runtastic.com geladen, wo sich die Nutzer ihr Trainingstagebuch ansehen können, Zugang zu detaillierten Analysen haben und sich mit der Community beispielsweise via Facebook-Synchronisierung austauschen können. Bei weltweit rund 80 Millionen registrierten Nutzern entstehen dabei täglich rund 10 GB an Rohdaten.

Die von Runtastic generierten Daten wurden bislang in einem MS SQL Server basierten Data Warehouse (DWH) abgelegt und analysiert. Mit steigender Nutzerzahl und dem rasanten Wachstum der Datenmenge stieß diese Lösung jedoch an ihre Grenzen. Anstatt die vorhandene DWH-Lösung auszubauen, hat sich Runtastic entschieden, Teile der Funktionalität des DWH in einem Hadoop-Cluster zu realisieren. Dieser speichert die Rohdaten und bereitet sie so auf, dass sie weiterverarbeitet werden können. Auf diese Weise kann das bestehende DWH-System weiter genutzt werden – eine teure Erweiterung oder Neu-Installation wird vermieden.

Rohdaten, welche vor allem aus Sportdaten der Nutzer sowie Event-Daten bestehen, werden instantan im Cluster gespeichert. Ebenso lädt Runtastic bereits bestehende Daten aus dem DWH sowie aus Azure in das Cluster. Liegen dort alle Daten im Rohformat vor, ist es einfach, Analysen zu fahren und zukünftig neue Funktionalitäten auf dem Hadoop-Cluster zu implementieren, wie komplexe Algorithmen, etwa um Sportprofile einzelner Nutzergruppen erstellen zu können.

„Drei Dinge bei diesem Projekt waren uns wichtig“, erläutert Christoph Reininger, Head of Business Intelligence bei Runtastic. „Erstens, dass wir die steigenden Datenmengen unserer Nutzer besser und auch kostengünstig speichern können. Zweitens, dass wir dazu unser bestehendes Data Warehouse weiterhin benutzen und somit unsere Investition schützen können. Und Drittens, dass wir zukünftig sehr schnell auch komplexe Analysen parallel fahren können. Alle drei Kriterien erfüllt das Konzept von Consol. Wir sind bei der Dienstleisterauswahl einer Empfehlung von Cloudera gefolgt und überzeugt, mit Consol den richtigen Partner gefunden zu haben.“

Technische Details

Die Plattform basiert auf Apache Hadoop in einem Cluster aus acht Nodes mit insgesamt bis zu 200 Terabyte nutzbarem Storage. Zum Einsatz kommt Cloudera Enterprise 5.5.

www.consol.de

GRID LIST
Tb W190 H80 Crop Int 74532d0eacb31d5d7ec7a54979240d99

Neue In-Memory-Datenbankplattform Terracotta DB

Die Software AG gab die Verfügbarkeit der In-Memory-Datenbank (IMDB) Terracotta DB…
Analytics Summit 2017

Google Analytics Konferenz in Deutschland

Bereits zum sechsten Mal veranstaltet der zertifizierte Google Analytics Partner Trakken…
Tb W190 H80 Crop Int 8934e8c1736b537d6fa8ae0594f8bc01

Digitale Signatur trotzt Quantencomputern

Die Kryptografie und die Rechenkraft von Computern sind in einem ständigen Wettlauf:…
Stefan Müller

Hitachi Vantara ein neuer Player entsteht auf dem Markt | Kommentar

Die Data Intelligence-Szene wurde aufgemischt: Hitachi gab die Fusion seiner Sparten…
Digitalisierung Auto

Datenmanagement: Die Autobranche sucht das Geschäft der Zukunft

Uber hat einen höheren Börsenwert als General Motors; Tesla verkauft seine…
Programmcode

Programmcode von Yago ist nun für jedermann nutzbar

Im Internet hat fast jedes Wort mehr als eine Bedeutung, was die Suche oft mühsam macht.…
Frische IT-News gefällig?
IT Newsletter Hier bestellen:

Newsletter IT-Management
Strategien verfeinert mit profunden Beiträgen und frischen Analysen

Newsletter IT-Security
Pikante Fachartikel gewürzt mit Shortnews in Whitepaper-Bouquet