Anzeige

IoTWelche Vorteile entstehen durch das IoT in der Big-Data-Welt? Besserer Service und reduzierte Betrugsraten sind einige Vorteile, die sich Unternehmen versprechen. 

Viele starten ihre Big-Data-Reise mit der Optimierung ihres Data Warehouses, um Kosten zu reduzieren und Hadoop einzuführen. Doch dies ist nur ein Schritt: Ziel sollte es sein, einen Data Lake zu schaffen, der verschiedenste Arten von Daten speichern, verarbeiten und managen kann. Dazu gehören auch Daten aus Social Media und IoT-Maschinen, primär für die Datenexploration.

Die Implementierung eines Master Data Management (MDM) und Real-Time-Streamings innerhalb von Big-Data-Initiativen liefert Erkenntnisse aus dem operativen Tagesgeschäft in Echtzeit. So können Unternehmen wiederum zugeschnittene Angebote liefern, die Ermittlung von Betrugsfällen optimieren, Sicherheit und die Customer Experience verbessern. Die Anwendungsmöglichkeiten erfordern anspruchsvollere Datenplattformen, als dies für traditionelle Streaming Analytics der Fall ist. Beispielsweise nutzt ein Unternehmen Big Data Streaming Analytics unter anderem, um die Risiken durch Betrugsfälle bei Geldtransfervorgängen und Anti-Geldwäsche (AML) zu reduzieren. Um Missbrauch und AML zu identifizieren, benötigt man eine Big-Data-Management-Plattform, die Prognosemodelle erstellt und Betrugs- sowie AML-Muster erkennt. Diese Vorhersagemodelle verbessern sich mit der Zeit, mithilfe von iterativen und agilen Ansätzen für Big Data Streaming Analytics:

  • Der erste Schritt ist es, Missbrauchsmuster und Cyber-Security-Gefahren zu erkennen.
  • Als nächstes werden Analytics-Modelle erstellt, getestet und mithilfe einer Reihe von Datentypen überprüft, darunter Daten aus Maschinen, dem IoT-Bereich oder beziehungsorientierten Transaktionen.
  • Sobald ein Modell mit genügend Vorhersagekraft identifiziert wurde, wird es als Data Pipeline implementiert, um Missbrauch und Cyber-Security-Gefahren in Echtzeit zu erkennen.

   Vom Labor zur Fabrik: Das Big-Data-Management-Workbook

Vom Labor zur FabrikDeutschsprachiges, kostenloses eBook
35 Seiten

>> zum Download


Die Nutzung von Big-Data-Management-Plattformen unterstützt einen sich wiederholenden und ganzheitlichen Ansatz, wie das Big Data Streaming Analytics:

  • Einbeziehung aller Daten mit unterschiedlichsten Latenzzeiten: Alle Datentypen können mit hoher Verfügbarkeit und Zuverlässigkeit miteinbezogen werden. Maschinendaten werden in Echtzeit generiert und gesammelt und an langlebige und skalierbare Data-Storage- und Processing-Plattformen wie Hadoop gestreamt. Beziehungsdaten werden üblicherweise in Echtzeit aufgenommen (Micro-Batch) oder innerhalb derselben Datenplattform gesammelt. Alle Daten werden genutzt, um Data Lakes oder Data Hubs aufzubauen.
  • Erkenntnisse aus Big Data: Profile erstellen, integrieren, reinigen, zuordnen und bereitstellen von Big Data auf skalierbarer Basis für explorative Datenanalysen und Prüfung statistischer sowie maschineller Lernmodelle. Dieser entscheidende Schritt kombiniert eine Vielzahl an verschiedenen Datentypen, -formaten und -größen in Datenpakete, die genutzt werden, um Modelle für Predictive Analytics zu erstellen. Dies ist in der Regel ein skalierbarer Batch-Prozess, der in MapReduce, Spark oder eigenen Engines über YARN (Yet Another Resource Negotiator) durchgeführt wird. Er benötigt kollaborative Tools, damit Datenwissenschaftler, Data Stewards etc. vertrauenswürdige und sichere Daten-Pipelines aufbauen können, die analytische Modelle mit Daten speisen.
  • Erkenntnisse in umsetzbare Resultate umwandeln: Die Implementierung von Erkenntnissen wie Daten-Pipelines mit multiplen Latenzzeiten, basiert auf Geschäftsanforderungen, die von Komplexität, Geschwindigkeit, Datendurchsatz und Kosten abhängen. Sobald Erkenntnisse identifiziert oder ein Vorhersagenmodell geprüft wurde, müssen sie als Daten-Pipelines implementiert werden. Diese sollten die Anforderungen an Latenzzeiten erfüllen, die üblicherweise durch die Datenerhebung in Echtzeit, durch Streamen und CEP-Maschinen (Complex Event Processing) entstehen. Der effizienteste und zuverlässigste Ansatz liegt in der Nutzung der Daten-Pipeline, die während der Identifizierungsphase erstellt und aufgebaut werden.

Um das Potenzial von Big Data Streaming Analytics voll auszuschöpfen, sollten Unternehmen nach einer Lösung mit einem Zugangspunkt suchen, die die Anforderungen vollständig abdeckt. Dies verringert nicht nur die Komplexität, sondern reduziert auch die Kosten.

Dirk Häussermann
Dirk Häußermann, Geschäftsführer EMEA Central bei Informatica

 


Weitere Artikel

Business Intelligence

Business Intelligence mit automatisierter Datenintegration optimieren

Business Intelligence (BI) ist maßgeblich am Unternehmenserfolg beteiligt. Laut einer Studie von Dimensional Research nutzen 98 Prozent der Firmen bereits eine Form von BI.
Data Scientist

Data Scientists und Data Engineers bleiben Mangelware

Der Einsatz von Data Analytics-Lösungen in deutschen Unternehmen wird unter anderem durch den Mangel verfügbarer Data Scientists und Data Engineers gebremst. Deshalb investieren die am Markt agierenden Serviceanbieter derzeit verstärkt in die entsprechende…
Netzwerk

Real vs. ideal: Der Brownfield-Ansatz

Die digitale Transformation und die Vernetzung der Produktion ist Ziel im neuen Industrie 4.0 Zeitalter.
Datenstrategie

Chancen und Risiken der Datenstrategie der Bundesregierung

Dazu ein Kommentar von Wim Stoop, Cloudera: Warum eine Datenstrategie eine gute Idee ist. Daten nehmen in unserem Leben eine entscheidende Rolle ein. Von der Nutzung einer App bis hin zum Einkauf im Internet ist die Speicherung und Analyse von Daten…
Business Mann mit Boxhandschuhen

Anbieter im Vergleich: Integrierte Planung und Business Intelligence

Der BARC Score Integrated Planning & Analytics (IP&A) bewertet zum sechsten Mal marktführende Softwareanbieter für integrierte Planung und Business Intelligence (BI). Der BARC Score Financial Performance Management (FPM) erscheint zum vierten Mal, dieses Jahr…
Datenanalyse

Warum ist Datenintegration für die datengesteuerte Weiterentwicklung wichtig?

Heutzutage entsteht in jedem Unternehmen eine riesige Menge an Daten im Vertrieb, in der Produktion, im Kundenfeedback, Marketing usw. Doch ohne gründliche Analyse und Verteilung können diese zu einem unübersichtlichen Wust werden, der nicht zu entwirren ist.…

Anzeige

Jetzt die smarten News aus der IT-Welt abonnieren! 💌

Mit Klick auf den Button "Zum Newsletter anmelden" stimme ich der Datenschutzerklärung zu.