Wagen 23 bitte an Kasse 7!

Der Informatiker Andrey Brito hat eine neue Methode vorgestellt, wie in Datenströmen eine kleine Anzahl bestimmter Einzelereignisse identifiziert und damit die sogenannte Ereignisstromverarbeitung („Event stream processing“) wesentlich beschleunigt werden kann.

Brito, der momentan am Institut für Systemarchitektur der TU Dresden an seiner Dissertation arbeitet, hat dafür den „OpenSPARC Community Innovation Award“ gewonnen, wie das Unternehmen Sun Microsystems mitteilte.

„Im Internetzeitalter wird mehr und mehr Information erzeugt. Sensoren sammeln sie in allen Bereichen, sei das der städtische Verkehrsfluss, die Großwetterlage oder – ganz aktuell – bei einer Börsenkrise“, erläutert Andrey Brito. „Diese riesige Datenmenge stellt traditionelle Datenverarbeitungsmechanismen, die die Daten erst speichern und dann entscheiden, wie sie verarbeitet werden, vor Probleme; sie halten mit der Datenflut einfach nicht mehr Schritt.“ Die Herausforderung für die Ereignisstromverarbeitung ist also, vorbeiströmende Datenmengen geschickt zu filtern und nur Teile davon überhaupt zu speichern.

In der Systems Engineering Group im Fachbereich Informatik arbeit Brito – wie viele andere Kollegen weltweit – daran, einzelne Ereignisse mit Hilfe von Parallelprozessoren gleichzeitig weiterzuverarbeiten. Im Gegensatz zu ihnen fügt er jedoch einen wichtigen Zwischenschritt in die Datenverarbeitung ein. Er lässt Einzelereignisse, bevor sie an autonom agierende Rechnerarchitekturen übergeben werden, von einer Art unabhängigem Software-Gedächtnis („Software Transactional Memory“, kurz STM) nummerieren und hinsichtlich ihrer Priorität bewerten.

Die Ereignisse werden von dem STM sortiert und – je nachdem, wie viele spätere Prozesse von ihrer Fertigstellung abhängen – an Rechner mit freien Kapazitäten vergeben. Auf diese Weise entfällt ein Großteil der Verzögerungen, die entstehen, wenn Ergebnisse eines Zwischenschritts für die Weiterverarbeitung anderer Daten nötig sind. Etwas vereinfacht könnte man sich das wie in einem Supermarkt vorstellen: das STM verteilt die zum Kassenbereich strömenden Kunden mit ihren mal mehr, mal weniger gefüllten Einkaufswagen so geschickt auf die offenen Kassen, dass die Wartezeit für alle geringer wird. Je nach Komplexität des Datenstroms gelingt dem STM so eine drei- bis sechsfache Steigerung der Effektivität bei der Datenverarbeitung. Auf diese Weise könnte es beispielsweise künftig möglich werden, kleine Wetterradarstationen auf Mobilfunkmasten zu installieren, um die Wege von Hurrikans oder anderen starken Stürmen noch präziser vorauszusagen.

Auf einer Fachkonferenz in Rom hat Brito das Software-Gedächtnis im Juli vorgestellt. Der Clou dabei: die Routine ist „open source“, also für alle Anwender kostenlos. Der „OpenSPARC Community Innovation Award“ hat den 29-jährigen DAAD-Stipendiaten aus Brasilien nun für seine clevere Idee belohnt – er ist mit 20.000 Dollar dotiert.

Weitere Informationen:
Andrey Brito
Technische Universität Dresden
Fakultät Informatik
Institut für Systemarchitektur
Tel.: 0351 463-42041, -42012
E-Mail: andrey@se.inf.tu-dresden.de