Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Saarbrücker Informatiker durchsuchen Milliarden Datensätze mit „guten Trojanern“

13.09.2010
Soziale Netzwerke im Internet, Suchmaschinen-Anbieter, digitale Archive und viele weltweit tätige Unternehmen verfügen über gigantische Datenbanken.

Um diese Daten schnell zu durchsuchen, verwenden Firmen wie Facebook, Ebay, Yahoo und Twitter das frei verfügbare Programm Hadoop -- eine Variante des von Google erfundenen MapReduce.

Viele Datenbank-Experten kritisieren jedoch, dass damit eine effiziente Datensuche mit komplexen Anforderungen nicht möglich ist. Saarbrücker Informatiker haben jetzt ein neues Verfahren, genannt Hadoop++, entwickelt. Damit können auch Hadoop-Nutzer riesige Datenmengen wesentlich schneller durchsuchen.

Das neue System ist bis zu zwanzigmal effizienter als die herkömmliche Verarbeitung mit Hadoop.

Internetfirmen verarbeiten täglich Datenmengen in Höhe von mehreren Millionen Gigabyte (Petabyte). Um diese effektiv zu durchsuchen, hat Google das Programmiermodell MapReduce entwickelt. Dabei werden Daten in kleine Teile zerlegt und dann zur gleichzeitigen Verarbeitung auf unterschiedliche Rechner verteilt. Das als Open-Source-Produkt angebotene Hadoop-Programm basiert auf der Idee von MapReduce. Als Google sich vor einigen Monaten MapReduce patentrechtlich schützen ließ, erhielt Hadoop davon eine freie Lizenz und kann somit auch weiterhin in Unternehmen kostenlos eingesetzt werden.

„Datenbank-Spezialisten, die es gewohnt sind mit der Programmiersprache SQL zu arbeiten, betrachten MapReduce aber als großen Rückschritt in die Datenbank-Steinzeit“, erläutert Jens Dittrich, Professor für Informationssysteme der Universität des Saarlandes. „Viele Erkenntnisse aus der Datenbankforschung der vergangenen Jahrzehnte sind bei MapReduce einfach über Bord geworfen worden. Zwar kann man mit Hilfe von MapReduce riesige Datenmengen unkompliziert durchsuchen, aber man tut dies nicht besonders effizient.“

Dass das Google-Programmiermodell dennoch eine so weite Verbreitung gefunden hat, liegt nach Meinung von Jens Dittrich an einem entscheidenden Vorteil: „Der Nutzer muss weder eine komplizierte Datenbanksprache noch ein Datenmodell lernen. Außerdem ist die Administration von Hadoop sehr einfach. Auch mit geringen Computerkenntnissen kann man damit auf einfache Weise viele Milliarden Datensätze parallel auf mehreren Servern durchsuchen.“ Wer jedoch komplizierte Suchanfragen in Hadoop nutzen will, stößt schnell an Leistungsgrenzen. „Hadoop ist im Vergleich zu modernen Datenbanksystemen einfach zu langsam.“ Der Saarbrücker Forscher hat daher mit seinem Team das neue System Hadoop ++ entwickelt, das die Schwächen des bisherigen Programms beseitigt.

Hadoop++ funktioniert dabei ähnlich wie ein trojanisches Pferd. Die Forscher schleusen an geeigneten Stellen von Hadoop heimlich zusätzlichen Code ein, der für eine effizientere Ausführung sorgt. Das zugrundeliegende System Hadoop bleibt dabei unverändert, es sind also keine aufwändigen Änderungen am Code von Hadoop notwendig. Alle Änderungen erfolgen durch sogenannte Nutzerfunktionen (user-defined functions). Das neue Programm folgt damit einem ähnlichen Ansatz wie „Trojaner“. Dies sind Computerviren, die sich heimlich in Programmen verstecken, um ein Computersystem massiv zu schädigen. Im Gegensatz dazu wird in Hadoop++ allerdings der eingeschleuste Code dazu genutzt, das zugrundeliegende System - in diesem Fall Hadoop - zu verbessern. „Es handelt sich sozusagen um einen guten Trojaner“, betont Informatik-Professor Jens Dittrich.

Die Forschungsergebnisse wird Jens Dittrich auf einer der weltweit wichtigsten Konferenzen für Datenbanken vorstellen, der „International Conference on Very Large Data Bases“ (VLDB 2010), die vom 13. bis 17. September in Singapur stattfindet.

Hintergrund

Die Diskussion um Stärken und Schwächen von MapReduce und Hadoop, die vor allem unter amerikanischen Informatik-Professoren geführt wurde, kann in folgendem Artikel und Blog-Eintrag nachgelesen werden. Das darin erwähnte System von Daniel Abadi von der Yale University weist nach genauer Analyse von Professor Jens Dittrich aber viele Schwächen auf und konnte nicht die gewünschte „Versöhnung“ der Datenbanksysteme einläuten.

Fragen beantwortet:
Jens Dittrich
Professor für Informationssysteme der Universität des Saarlandes
Tel. 0681 302 70141
Hinweis für Hörfunk-Journalisten: Sie können Telefoninterviews in Studioqualität mit Wissenschaftlern der Universität des Saarlandes führen, über Rundfunk-ISDN-Codec. Interviewwünsche bitte an die Pressestelle (0681/302-3610) richten.
Weitere Informationen:
http://infosys.cs.uni-saarland.de/hadoop++.php
http://hadoop.apache.org/
http://www.mapreduce.org/
http://www.vldb2010.org
http://www.uni-saarland.de/pressefotos

Friederike Meyer zu Tittingdorf | idw
Weitere Informationen:
http://www.uni-saarland.de

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Maschinelles Lernen: Neue Methode ermöglicht genaue Extrapolation
13.07.2018 | Institute of Science and Technology Austria

nachricht Gegen das Verblassen historischer Dokumente
11.07.2018 | Hochschule für Technik, Wirtschaft und Kultur Leipzig

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Superscharfe Bilder von der neuen Adaptiven Optik des VLT

Das Very Large Telescope (VLT) der ESO hat das erste Licht mit einem neuen Modus Adaptiver Optik erreicht, die als Lasertomografie bezeichnet wird – und hat in diesem Rahmen bemerkenswert scharfe Testbilder vom Planeten Neptun, von Sternhaufen und anderen Objekten aufgenommen. Das bahnbrechende MUSE-Instrument kann ab sofort im sogenannten Narrow-Field-Modus mit dem adaptiven Optikmodul GALACSI diese neue Technik nutzen, um Turbulenzen in verschiedenen Höhen in der Erdatmosphäre zu korrigieren. Damit ist jetzt möglich, Bilder vom Erdboden im sichtbaren Licht aufzunehmen, die schärfer sind als die des NASA/ESA Hubble-Weltraumteleskops. Die Kombination aus exquisiter Bildschärfe und den spektroskopischen Fähigkeiten von MUSE wird es den Astronomen ermöglichen, die Eigenschaften astronomischer Objekte viel detaillierter als bisher zu untersuchen.

Das MUSE-Instrument (kurz für Multi Unit Spectroscopic Explorer) am Very Large Telescope (VLT) der ESO arbeitet mit einer adaptiven Optikeinheit namens GALACSI. Dabei kommt auch die Laser Guide Stars Facility, kurz ...

Im Focus: Diamant – ein unverzichtbarer Werkstoff der Fusionstechnologie

Forscher am KIT entwickeln Fenstereinheiten mit Diamantscheiben für Fusionsreaktoren – Neue Scheibe mit Rekorddurchmesser von 180 Millimetern

Klimafreundliche und fast unbegrenzte Energie aus dem Fusionskraftwerk – für dieses Ziel kooperieren Wissenschaftlerinnen und Wissenschaftler weltweit. Bislang...

Im Focus: Wiener Forscher finden vollkommen neues Konzept zur Messung von Quantenverschränkung

Quantenphysiker/innen der ÖAW entwickelten eine neuartige Methode für den Nachweis von hochdimensional verschränkten Quantensystemen. Diese ermöglicht mehr Effizienz, Sicherheit und eine weitaus geringere Fehleranfälligkeit gegenüber bisher gängigen Mess-Methoden, wie die Forscher/innen nun im Fachmagazin „Nature Physics“ berichten.

Die Vision einer vollständig abhörsicheren Übertragung von Information rückt dank der Verschränkung von Quantenteilchen immer mehr in Reichweite. Wird eine...

Im Focus: Was passiert, wenn wir das Atomgitter eines Magneten plötzlich aufheizen?

„Wir haben jetzt ein klares Bild davon, wie das heiße Atomgitter und die kalten magnetischen Spins eines ferrimagnetischen Nichtleiters miteinander ins Gleichgewicht gelangen“, sagt Ilie Radu, Wissenschaftler am Max-Born-Institut in Berlin. Das internationale Forscherteam fand heraus, dass eine Energieübertragung sehr schnell stattfindet und zu einem neuartigen Zustand der Materie führt, in dem die Spins zwar heiß sind, aber noch nicht ihr gesamtes magnetisches Moment verringert haben. Dieser „Spinüberdruck“ wird durch wesentlich langsamere Prozesse abgebaut, die eine Abgabe von Drehimpuls an das Gitter ermöglichen. Die Forschungsergebnisse sind jetzt in "Science Advances" erschienen.

Magnete faszinieren die Menschheit bereits seit mehreren tausend Jahren und sind im Zeitalter der digitalen Datenspeicherung von großer praktischer Bedeutung....

Im Focus: Erste Beweise für Quelle extragalaktischer Teilchen

Zum ersten Mal ist es gelungen, die kosmische Herkunft höchstenergetischer Neutrinos zu bestimmen. Eine Forschungsgruppe um IceCube-Wissenschaftlerin Elisa Resconi, Sprecherin des Sonderforschungsbereichs SFB1258 an der Technischen Universität München (TUM), liefert ein wichtiges Indiz in der Beweiskette, dass die vom Neutrino-Teleskop IceCube am Südpol detektierten Teilchen mit hoher Wahrscheinlichkeit von einer Galaxie in vier Milliarden Lichtjahren Entfernung stammen.

Um andere Ursprünge mit Gewissheit auszuschließen, untersuchte das Team um die Neutrino-Physikerin Elisa Resconi von der TU München und den Astronom und...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

Stadtklima verbessern, Energiemix optimieren, sauberes Trinkwasser bereitstellen

19.07.2018 | Veranstaltungen

Innovation – the name of the game

18.07.2018 | Veranstaltungen

Wie geht es unserer Ostsee? Ein aktueller Zustandsbericht

17.07.2018 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Europaweit erste Patientin mit neuem Hybridgerät zur Strahlentherapie behandelt

19.07.2018 | Medizintechnik

Waldrand oder mittendrin: Das Erbgut von Mausmakis unterscheidet sich je nach Lebensraum

19.07.2018 | Biowissenschaften Chemie

Automatisiertes Befüllen von Regalen im Einzelhandel

19.07.2018 | Verkehr Logistik

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics