Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Saarbrücker Informatiker durchsuchen Milliarden Datensätze mit „guten Trojanern“

13.09.2010
Soziale Netzwerke im Internet, Suchmaschinen-Anbieter, digitale Archive und viele weltweit tätige Unternehmen verfügen über gigantische Datenbanken.

Um diese Daten schnell zu durchsuchen, verwenden Firmen wie Facebook, Ebay, Yahoo und Twitter das frei verfügbare Programm Hadoop -- eine Variante des von Google erfundenen MapReduce.

Viele Datenbank-Experten kritisieren jedoch, dass damit eine effiziente Datensuche mit komplexen Anforderungen nicht möglich ist. Saarbrücker Informatiker haben jetzt ein neues Verfahren, genannt Hadoop++, entwickelt. Damit können auch Hadoop-Nutzer riesige Datenmengen wesentlich schneller durchsuchen.

Das neue System ist bis zu zwanzigmal effizienter als die herkömmliche Verarbeitung mit Hadoop.

Internetfirmen verarbeiten täglich Datenmengen in Höhe von mehreren Millionen Gigabyte (Petabyte). Um diese effektiv zu durchsuchen, hat Google das Programmiermodell MapReduce entwickelt. Dabei werden Daten in kleine Teile zerlegt und dann zur gleichzeitigen Verarbeitung auf unterschiedliche Rechner verteilt. Das als Open-Source-Produkt angebotene Hadoop-Programm basiert auf der Idee von MapReduce. Als Google sich vor einigen Monaten MapReduce patentrechtlich schützen ließ, erhielt Hadoop davon eine freie Lizenz und kann somit auch weiterhin in Unternehmen kostenlos eingesetzt werden.

„Datenbank-Spezialisten, die es gewohnt sind mit der Programmiersprache SQL zu arbeiten, betrachten MapReduce aber als großen Rückschritt in die Datenbank-Steinzeit“, erläutert Jens Dittrich, Professor für Informationssysteme der Universität des Saarlandes. „Viele Erkenntnisse aus der Datenbankforschung der vergangenen Jahrzehnte sind bei MapReduce einfach über Bord geworfen worden. Zwar kann man mit Hilfe von MapReduce riesige Datenmengen unkompliziert durchsuchen, aber man tut dies nicht besonders effizient.“

Dass das Google-Programmiermodell dennoch eine so weite Verbreitung gefunden hat, liegt nach Meinung von Jens Dittrich an einem entscheidenden Vorteil: „Der Nutzer muss weder eine komplizierte Datenbanksprache noch ein Datenmodell lernen. Außerdem ist die Administration von Hadoop sehr einfach. Auch mit geringen Computerkenntnissen kann man damit auf einfache Weise viele Milliarden Datensätze parallel auf mehreren Servern durchsuchen.“ Wer jedoch komplizierte Suchanfragen in Hadoop nutzen will, stößt schnell an Leistungsgrenzen. „Hadoop ist im Vergleich zu modernen Datenbanksystemen einfach zu langsam.“ Der Saarbrücker Forscher hat daher mit seinem Team das neue System Hadoop ++ entwickelt, das die Schwächen des bisherigen Programms beseitigt.

Hadoop++ funktioniert dabei ähnlich wie ein trojanisches Pferd. Die Forscher schleusen an geeigneten Stellen von Hadoop heimlich zusätzlichen Code ein, der für eine effizientere Ausführung sorgt. Das zugrundeliegende System Hadoop bleibt dabei unverändert, es sind also keine aufwändigen Änderungen am Code von Hadoop notwendig. Alle Änderungen erfolgen durch sogenannte Nutzerfunktionen (user-defined functions). Das neue Programm folgt damit einem ähnlichen Ansatz wie „Trojaner“. Dies sind Computerviren, die sich heimlich in Programmen verstecken, um ein Computersystem massiv zu schädigen. Im Gegensatz dazu wird in Hadoop++ allerdings der eingeschleuste Code dazu genutzt, das zugrundeliegende System - in diesem Fall Hadoop - zu verbessern. „Es handelt sich sozusagen um einen guten Trojaner“, betont Informatik-Professor Jens Dittrich.

Die Forschungsergebnisse wird Jens Dittrich auf einer der weltweit wichtigsten Konferenzen für Datenbanken vorstellen, der „International Conference on Very Large Data Bases“ (VLDB 2010), die vom 13. bis 17. September in Singapur stattfindet.

Hintergrund

Die Diskussion um Stärken und Schwächen von MapReduce und Hadoop, die vor allem unter amerikanischen Informatik-Professoren geführt wurde, kann in folgendem Artikel und Blog-Eintrag nachgelesen werden. Das darin erwähnte System von Daniel Abadi von der Yale University weist nach genauer Analyse von Professor Jens Dittrich aber viele Schwächen auf und konnte nicht die gewünschte „Versöhnung“ der Datenbanksysteme einläuten.

Fragen beantwortet:
Jens Dittrich
Professor für Informationssysteme der Universität des Saarlandes
Tel. 0681 302 70141
Hinweis für Hörfunk-Journalisten: Sie können Telefoninterviews in Studioqualität mit Wissenschaftlern der Universität des Saarlandes führen, über Rundfunk-ISDN-Codec. Interviewwünsche bitte an die Pressestelle (0681/302-3610) richten.
Weitere Informationen:
http://infosys.cs.uni-saarland.de/hadoop++.php
http://hadoop.apache.org/
http://www.mapreduce.org/
http://www.vldb2010.org
http://www.uni-saarland.de/pressefotos

Friederike Meyer zu Tittingdorf | idw
Weitere Informationen:
http://www.uni-saarland.de

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht TU Ilmenau entwickelt Chiptechnologie von morgen
20.04.2017 | Technische Universität Ilmenau

nachricht Datenschutzwächter sichert Smart Homes
20.04.2017 | FZI Forschungszentrum Informatik am Karlsruher Institut für Technologie

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Immunzellen helfen bei elektrischer Reizleitung im Herzen

Erstmals elektrische Kopplung von Muskelzellen und Makrophagen im Herzen nachgewiesen / Erkenntnisse könnten neue Therapieansätze bei Herzinfarkt und Herzrhythmus-Störungen ermöglichen / Publikation am 20. April 2017 in Cell

Makrophagen, auch Fresszellen genannt, sind Teil des Immunsystems und spielen eine wesentliche Rolle in der Abwehr von Krankheitserregern und bei der...

Im Focus: Tief im Inneren von M87

Die Galaxie M87 enthält ein supermassereiches Schwarzes Loch von sechs Milliarden Sonnenmassen im Zentrum. Ihr leuchtkräftiger Jet dominiert das beobachtete Spektrum über einen Frequenzbereich von 10 Größenordnungen. Aufgrund ihrer Nähe, des ausgeprägten Jets und des sehr massereichen Schwarzen Lochs stellt M87 ein ideales Laboratorium dar, um die Entstehung, Beschleunigung und Bündelung der Materie in relativistischen Jets zu erforschen. Ein Forscherteam unter der Leitung von Silke Britzen vom MPIfR Bonn liefert Hinweise für die Verbindung von Akkretionsscheibe und Jet von M87 durch turbulente Prozesse und damit neue Erkenntnisse für das Problem des Ursprungs von astrophysikalischen Jets.

Supermassereiche Schwarze Löcher in den Zentren von Galaxien sind eines der rätselhaftesten Phänomene in der modernen Astrophysik. Ihr gewaltiger...

Im Focus: Deep inside Galaxy M87

The nearby, giant radio galaxy M87 hosts a supermassive black hole (BH) and is well-known for its bright jet dominating the spectrum over ten orders of magnitude in frequency. Due to its proximity, jet prominence, and the large black hole mass, M87 is the best laboratory for investigating the formation, acceleration, and collimation of relativistic jets. A research team led by Silke Britzen from the Max Planck Institute for Radio Astronomy in Bonn, Germany, has found strong indication for turbulent processes connecting the accretion disk and the jet of that galaxy providing insights into the longstanding problem of the origin of astrophysical jets.

Supermassive black holes form some of the most enigmatic phenomena in astrophysics. Their enormous energy output is supposed to be generated by the...

Im Focus: Neu entdeckter Exoplanet könnte bester Kandidat für die Suche nach Leben sein

Supererde in bewohnbarer Zone um aktivitätsschwachen roten Zwergstern gefunden

Ein Exoplanet, der 40 Lichtjahre von der Erde entfernt einen roten Zwergstern umkreist, könnte in naher Zukunft der beste Ort sein, um außerhalb des...

Im Focus: Resistiver Schaltmechanismus aufgeklärt

Sie erlauben energiesparendes Schalten innerhalb von Nanosekunden, und die gespeicherten Informationen bleiben auf Dauer erhalten: ReRAM-Speicher gelten als Hoffnungsträger für die Datenspeicher der Zukunft.

Wie ReRAM-Zellen genau funktionieren, ist jedoch bisher nicht vollständig verstanden. Insbesondere die Details der ablaufenden chemischen Reaktionen geben den...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Smart-Data-Forschung auf dem Weg in die wirtschaftliche Praxis

21.04.2017 | Veranstaltungen

Baukultur: Mehr Qualität durch Gestaltungsbeiräte

21.04.2017 | Veranstaltungen

Licht - ein Werkzeug für die Laborbranche

20.04.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Intelligenter Werkstattwagen unterstützt Mensch in der Produktion

21.04.2017 | HANNOVER MESSE

Forschungszentrum Jülich auf der Hannover Messe 2017

21.04.2017 | HANNOVER MESSE

Smart-Data-Forschung auf dem Weg in die wirtschaftliche Praxis

21.04.2017 | Veranstaltungsnachrichten