Wie bewältigen wir die Datenflut?

Wir sammeln und produzieren jedes Jahr eine exponentiell wachsende Zahl von Daten: Twitter User generieren täglich über 300 Millionen Tweets und eine vergleichbar große Zahl von Bildern wird täglich von Google-Nutzern hochgeladen.

Die Masse der Daten aus DNA-Sequenzierungen wächst inzwischen schneller als die Entwicklung der Hardware und Software, mit der diese Daten verarbeitet werden können. „Wir leben in einer Big Data World, in der das wirkliche Problem in der Bewältigung ihrer ungeheuren Masse liegt“, fasst der Informatiker Prof. Ulrich Meyer die Situation zusammen.

Er ist Professor für Algorithm Engineering an der Goethe-Universität und wissenschaftlicher Koordinator eines neuen Schwerpunktprogramms der Deutschen Forschungsgemeinschaft, das sich zum Ziel gesetzt hat, Algorithmen für die Verarbeitung großer Datenmengen zu entwickeln.

In dieser Woche treffen sich einige Projektleiter und Mitarbeiter des Big Data Schwerpunktprogramms, an dem insgesamt acht deutsche Universitäten beteiligt sind, zum Projektstart auf dem Campus Riedberg. Die Deutsche Forschungsgemeinschaft fördert das Vorhaben in den nächsten sechs Jahren mit insgesamt 4,9 Millionen Euro, wobei 878.000 Euro nach Frankfurt gehen. 596.000 Euro erhält Ulrich Meyer für die Koordinierung des Schwerpunktprogramms und projektübergreifende Aktionen, 282.000 Euro für das eigene Forschungsprojekt „Big-Data-DynAmO“.

In diesem Projekt geht es unter anderem darum, Algorithmen für riesige Graphen zu entwickeln, die sich dynamisch ändern. Bei der Routenplanung wäre dies beispielsweise die Berücksichtigung von Staus, die eine schnelle Routenänderung erforderlich machen. Hier soll der Ansatz verfolgt werden, auf bereits berechneten Lösungen aufzubauen, anstatt die Berechnung komplett von vorn zu beginnen.

„In manchen Big Data Szenarien müssen wir uns von einer exakten Lösung verabschieden und stattdessen zwischen dem Rechenaufwand und der Qualität einer genäherten Lösung abwägen“, erläutert Meyer das allgemeine Vorgehen.

Ein wichtiges Anliegen ist den Forschern die multidisziplinäre Herangehensweise an Probleme aus verschiedensten Praxisbereichen von der Genomforschung über Suchmaschinen und Routenplanern bis hin zu Kommunikationsnetzwerken wie Facebook. „Diese Communities haben oft ähnliche Probleme bei der Bewältigung großer Datenmengen, kooperieren aber bisher nur wenig miteinander“, so Meyer.

In dem DFG-Schwerpunktprogramm soll wissenschaftliche Grundlagenforschung eng mit den Problemen der Anwender verzahnt werden. Wichtig ist den Projektleitern dabei auch die Ausbildung der nächsten Generation von Informatikern und explizit auch Informatikerinnen, die der Datenflut künftig Herr werden müssen.

Informationen: Prof. Ulrich Meyer, Institut für Informatik, Campus Bockenheim, Tel.: (069) 798-28433, umeyer@cs.uni-frankfurt.de.