Echtzeit-Datenverarbeitung: Wenn es mal schneller gehen soll

Wartezeiten kommen immer mehr aus der Mode. Stehen Daten nicht sofort zur Verfügung, werden die Anwender schnell ungeduldig. Wie verhält es sich mit Echtzeit-Anwendungen? Worauf sollte man achten, wenn Daten und IOs schnell verarbeitet werden müssen und kurzfristig viele Daten anfallen. Wir denken hier auch das Metaverse.

Antwort Doc Storage:

Big-Data breitet sich seit längerem überall aus, auch wenn die meisten nur sehr schwammige Definitionen dieses Begriffes parat haben. Unternehmen und Organisationen benötigen Rechen- und Speichersysteme zur Verarbeitung dieser riesigen Datenmengen im Moment der Erfassung, oder eben sehr zeitnah. Die Online-Berechnung von Routen über entsprechende Anwendungen wird immer präziser, je mehr Störungen oder schnellere Alternativen in die Kalkulation einbezogen werden können.

Und wir als Anwender erwarten schon heut praktisch als Selbstverständlichkeit, dass all diese Berücksichtigungen in »Echtzeit« geschehen und das tatsächliche Geschehen auf den Straßen metergenau nachzeichnen. Um die für eine echtzeit-Datenverarbeitung notwendige sehr hohe Datenrate für Annahme, Verarbeitung und Ausgabe von Informationen zu erzielen, ist der Einsatz von Echtzeit-Verarbeitungssystemen unumgänglich. Entsprechende Systeme sind in solchen Fällen nicht nur nützlich, sondern daneben auch zu praktisch zwingender Voraussetzung für Marketing-, Vertriebs-, Finanz- oder Kundendienstsysteme geworden. Nur so können Unternehmen zeitgemäße Dienstleistungen anbieten und ihre verwöhnten Kunden zufrieden stellen.

Datenverarbeitung ein sechsstufiger Prozess

Bei der Verarbeitung von Daten werden diese klassisch in eine nutzbare Form umgewandelt, um sie dann analysieren und aus ihnen Schlussfolgerungen ziehen zu können. Für das Sammeln dieser Daten ist in sich für modern haltenden Unternehmen die Berufsgruppe der »Data Scientists« geschaffen worden. Digitale oder elektronische Datenverarbeitungsmethoden, im schönen Deutschen als EDV bezeichnet, verwenden Maschinen, Computer, Arbeitsstationen, Server, und schließlich Software zur Aufbereitung jeglicher Informationen. Einschlägige Werkzeuge generieren Grafiken, Diagramme, Bilder, Tabellen, Audio- oder Videodateien neben vielen anderen Formaten, um diese verständlich zu machen. Generell betrachtet ist die Datenverarbeitung ein sechsstufiger Prozess, welcher das Aufnehmen, Vorbereiten, Sortieren, Verarbeiten, Analysieren, Ausgeben und Speichern von Daten umfasst.

Echtzeit: Von Cybersicherheit, Routenberechnungen bis hin zu Banktransaktionen

Eine in Echtzeit arbeitende Maschine nimmt Eingaben entgegen, verarbeitet diese und liefert in möglichst kürzester Zeit, heute im Bereich weniger Millisekunden, eine Ausgabe zurück. Mit Echtzeitverarbeitung ist also eine kontinuierliche Eingabe zu konstanter Verarbeitung von Daten aus verschiedenen Quellen mit sehr kurzer Latenz gemeint.

Da Unternehmen fast schon gezwungen sind immer mehr Daten sammeln, ist es zwingend notwendig, diese Informationen ebenfalls immer schneller zu analysieren, um sich damit einen Wettbewerbsvorteil zu verschaffen. In vielfältigen Bereichen der Überwachung von Netzwerken und Rechner, der »Cybersicherheit«, in Banken bis hin zum elektronischen Handel wird Echtzeit-Datenverarbeitung benötigt, um beispielsweise Betrugsversuche zu erkennen, Transaktionen zu überwachen und darüber hinaus Möglichkeiten zur Verbesserung des Geschäftsbetriebes zu erkennen.

Ein bereits erwähntes Beispiel der Echtzeitverarbeitung ist die Verwendung von Online-Routensystemen. Diese Software aktualisiert automatisch Staumeldungen auf Basis von Informationen, welche durch andere mobile Geräte und stationären Straßensensoren erfasst und weitergeleitet werden. Auf dieser Grundlage kann die Software mit minimalen Updatezeiten die kürzesten, schnellsten oder verbrauchsgünstigsten Alternativen zum Ziel vorschlagen.

Auch Banken verarbeiten täglich unzählige Transaktionen von Kunden und mit anderen Instituten. Durch die Integration von Echtzeit-Datenverarbeitungsmethoden in die Transaktionsprotokollierung lässt sich sicherstellen, dass ausschließlich legitime Transaktionen genehmigt und betrügerische Transaktionen ausgeschlossen werden.

Echtzeitverarbeitung: Schnelle Antworten, minimale Wartezeiten

Die Vorteile dieser Echtzeit-Datenverarbeitungssysteme liegen klar auf der Hand. Benutzeranfragen können sofort beantwortet und Datenbanken ohne Wartezeiten aktualisiert werden. Da es keine Verzögerungen mehr gibt, sorgen die Systeme für zeitnahes Handeln. In Szenarien mit einem hohen Anteil an Änderungen in den Nutzerdaten stellt die Echtzeitverarbeitung sicher, dass neue Datensätze in kurzer Zeit synchronisiert werden und zur Verfügung stehen. Auch die Datenlade- und Speicherzeiten verbessern sich spürbar, so dass auch aus diesem Bereich die schnellere Gewinnung neuer Erkenntnisse unterstützt wird.

Darüber hinaus sind Daten so gut wie nie veraltet. Alle Sätze sind aktuell und korrekt. Dies ermöglicht schnellere und hoffentlich auch intelligentere Reaktionen auf ein sich ändernde Umfelder. Auf Basis immer aktueller Daten können Unternehmen kurzfristig auf Neuerungen im Markt oder sich ändernde Kundenpräferenzen reagieren. Volle Lager mit nicht mehr passenden Produkten oder nicht zielführende Werbung gehören der Vergangenheit an. Echtzeitberichte halten über alle aktuellen Abläufe auf dem Laufenden, Engpässe und damit verbundene Probleme lassen sich schnell erkennen oder gar im Vorlauf vermeiden.

Echtzeitarchitekturen aus vier Komponenten

Echtzeitarchitekturen bestehen grundsätzlich aus vier Komponenten. Nachrichtenaufnahmesysteme nehmen eingehende Datenströme oder Nachrichten aus einer Vielzahl von Quellen entgegen. Die Daten werden dann durch einen Stream Processing Consumer verarbeitet. Dieser kann als einfacher Datenspeicher aufgebaut sein, der neue Informationen in bestimmten Ordnern speichert. Meistens wird jedoch auch ein Message Broker als Puffer für die Informationen eingesetzt, wodurch eine Scale-out-Verarbeitung und eine zuverlässige Übermittlung gewährleistet wird. Weiter geht es dann zu den Stream-Prozessoren. Diese verarbeiten die aufgenommenen Informationen, indem sie typische Vorgänge wie Filtern, Zusammenfassen oder Vorbereitung für die folgende Datenanalyse durchführen.

Der Analytical Data Store ist auf die Aufbereitung und Verwaltung großer Datenmengen spezialisiert. Hier werden Daten für die Analyse vorbereitet um sie dann strukturiert bereitzustellen, so dass sie sich dann durch eine Analyse-Software abfragen lassen. Dieser Analytical-Data-Storage ist für schnellste Antwortzeiten, sowohl für Abfragen als auch für erweiterte Analysen optimiert. Der letzte Schritt bei der Echtzeit-Datenverarbeitung besteht schließlich darin, Diagramme, Berichte oder Grafiken zu erstellen und praktisch umsetzbare Erkenntnisse bereitzustellen, die leicht verfügbar und für alle verständlich sind (oder zumindest sein sollten).

Stapelverarbeitung ist, wie der Name schon sagt, eine serialisierte Verarbeitung von Daten in großen Mengen. Anstatt in Echtzeit zu arbeiten, sammelt die Stapelverarbeitung Transaktionen über einen bestimmten Zeitraum und plant ihre Weiterverarbeitung zu einem späteren Zeitpunkt. Als Ergebnis der Nachbearbeitung lassen sich die Ausgaben von Anwendungen anzeigen. Diese Ausgaben können dann durch geeignetes Personal analysiert werden, um fundierte Entscheidungen zu treffen. Im Gegensatz zur Echtzeitverarbeitung zeichnet sich die Stapelverarbeitung durch eine größere architekturelle Flexibilität, allerdings auch durch eine deutlich langsamere Reaktion auf sich ändernde externe Bedingungen aus.

Kommende Woche beschäftigen wir uns dann im Speziellen mit für Echtzeitverarbeitung geeignete Speichersysteme.

Gruß
Doc Storage

Weiterführende Links

• Doc Storage: Datensicherheit: Schutz von Endgeräten
• Doc Storage: Datensicherheit durch Data-Loss-Prevention
• Doc Storage: Datensicherheit durch Datenverschlüsselung
• Doc Storage: Datensicherheit durch Zugriffskontrolle
• Doc Storage: Unterschied zwischen Daten- und Speichersicherheit