Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Saarbrücker Informatiker durchsuchen Milliarden Datensätze mit „guten Trojanern“

13.09.2010
Soziale Netzwerke im Internet, Suchmaschinen-Anbieter, digitale Archive und viele weltweit tätige Unternehmen verfügen über gigantische Datenbanken.

Um diese Daten schnell zu durchsuchen, verwenden Firmen wie Facebook, Ebay, Yahoo und Twitter das frei verfügbare Programm Hadoop -- eine Variante des von Google erfundenen MapReduce.

Viele Datenbank-Experten kritisieren jedoch, dass damit eine effiziente Datensuche mit komplexen Anforderungen nicht möglich ist. Saarbrücker Informatiker haben jetzt ein neues Verfahren, genannt Hadoop++, entwickelt. Damit können auch Hadoop-Nutzer riesige Datenmengen wesentlich schneller durchsuchen.

Das neue System ist bis zu zwanzigmal effizienter als die herkömmliche Verarbeitung mit Hadoop.

Internetfirmen verarbeiten täglich Datenmengen in Höhe von mehreren Millionen Gigabyte (Petabyte). Um diese effektiv zu durchsuchen, hat Google das Programmiermodell MapReduce entwickelt. Dabei werden Daten in kleine Teile zerlegt und dann zur gleichzeitigen Verarbeitung auf unterschiedliche Rechner verteilt. Das als Open-Source-Produkt angebotene Hadoop-Programm basiert auf der Idee von MapReduce. Als Google sich vor einigen Monaten MapReduce patentrechtlich schützen ließ, erhielt Hadoop davon eine freie Lizenz und kann somit auch weiterhin in Unternehmen kostenlos eingesetzt werden.

„Datenbank-Spezialisten, die es gewohnt sind mit der Programmiersprache SQL zu arbeiten, betrachten MapReduce aber als großen Rückschritt in die Datenbank-Steinzeit“, erläutert Jens Dittrich, Professor für Informationssysteme der Universität des Saarlandes. „Viele Erkenntnisse aus der Datenbankforschung der vergangenen Jahrzehnte sind bei MapReduce einfach über Bord geworfen worden. Zwar kann man mit Hilfe von MapReduce riesige Datenmengen unkompliziert durchsuchen, aber man tut dies nicht besonders effizient.“

Dass das Google-Programmiermodell dennoch eine so weite Verbreitung gefunden hat, liegt nach Meinung von Jens Dittrich an einem entscheidenden Vorteil: „Der Nutzer muss weder eine komplizierte Datenbanksprache noch ein Datenmodell lernen. Außerdem ist die Administration von Hadoop sehr einfach. Auch mit geringen Computerkenntnissen kann man damit auf einfache Weise viele Milliarden Datensätze parallel auf mehreren Servern durchsuchen.“ Wer jedoch komplizierte Suchanfragen in Hadoop nutzen will, stößt schnell an Leistungsgrenzen. „Hadoop ist im Vergleich zu modernen Datenbanksystemen einfach zu langsam.“ Der Saarbrücker Forscher hat daher mit seinem Team das neue System Hadoop ++ entwickelt, das die Schwächen des bisherigen Programms beseitigt.

Hadoop++ funktioniert dabei ähnlich wie ein trojanisches Pferd. Die Forscher schleusen an geeigneten Stellen von Hadoop heimlich zusätzlichen Code ein, der für eine effizientere Ausführung sorgt. Das zugrundeliegende System Hadoop bleibt dabei unverändert, es sind also keine aufwändigen Änderungen am Code von Hadoop notwendig. Alle Änderungen erfolgen durch sogenannte Nutzerfunktionen (user-defined functions). Das neue Programm folgt damit einem ähnlichen Ansatz wie „Trojaner“. Dies sind Computerviren, die sich heimlich in Programmen verstecken, um ein Computersystem massiv zu schädigen. Im Gegensatz dazu wird in Hadoop++ allerdings der eingeschleuste Code dazu genutzt, das zugrundeliegende System - in diesem Fall Hadoop - zu verbessern. „Es handelt sich sozusagen um einen guten Trojaner“, betont Informatik-Professor Jens Dittrich.

Die Forschungsergebnisse wird Jens Dittrich auf einer der weltweit wichtigsten Konferenzen für Datenbanken vorstellen, der „International Conference on Very Large Data Bases“ (VLDB 2010), die vom 13. bis 17. September in Singapur stattfindet.

Hintergrund

Die Diskussion um Stärken und Schwächen von MapReduce und Hadoop, die vor allem unter amerikanischen Informatik-Professoren geführt wurde, kann in folgendem Artikel und Blog-Eintrag nachgelesen werden. Das darin erwähnte System von Daniel Abadi von der Yale University weist nach genauer Analyse von Professor Jens Dittrich aber viele Schwächen auf und konnte nicht die gewünschte „Versöhnung“ der Datenbanksysteme einläuten.

Fragen beantwortet:
Jens Dittrich
Professor für Informationssysteme der Universität des Saarlandes
Tel. 0681 302 70141
Hinweis für Hörfunk-Journalisten: Sie können Telefoninterviews in Studioqualität mit Wissenschaftlern der Universität des Saarlandes führen, über Rundfunk-ISDN-Codec. Interviewwünsche bitte an die Pressestelle (0681/302-3610) richten.
Weitere Informationen:
http://infosys.cs.uni-saarland.de/hadoop++.php
http://hadoop.apache.org/
http://www.mapreduce.org/
http://www.vldb2010.org
http://www.uni-saarland.de/pressefotos

Friederike Meyer zu Tittingdorf | idw
Weitere Informationen:
http://www.uni-saarland.de

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Warnsystem KATWARN startet international vernetzten Betrieb
27.06.2017 | FOKUS - Fraunhofer-Institut für Offene Kommunikationssysteme

nachricht Überschwemmungen genau in den Blick nehmen
27.06.2017 | Technische Universität Chemnitz

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Vorbild Delfinhaut: Elastisches Material vermindert Reibungswiderstand bei Schiffen

Für eine elegante und ökonomische Fortbewegung im Wasser geben Delfine den Wissenschaftlern ein exzellentes Vorbild. Die flinken Säuger erzielen erstaunliche Schwimmleistungen, deren Ursachen einerseits in der Körperform und andererseits in den elastischen Eigenschaften ihrer Haut zu finden sind. Letzteres Phänomen ist bereits seit Mitte des vorigen Jahrhunderts bekannt, konnte aber bislang nicht erfolgreich auf technische Anwendungen übertragen werden. Experten des Fraunhofer IFAM und der HSVA GmbH haben nun gemeinsam mit zwei weiteren Forschungspartnern eine Oberflächenbeschichtung entwickelt, die ähnlich wie die Delfinhaut den Strömungswiderstand im Wasser messbar verringert.

Delfine haben eine glatte Haut mit einer darunter liegenden dicken, nachgiebigen Speckschicht. Diese speziellen Hauteigenschaften führen zu einer signifikanten...

Im Focus: Kaltes Wasser: Und es bewegt sich doch!

Bei minus 150 Grad Celsius flüssiges Wasser beobachten, das beherrschen Chemiker der Universität Innsbruck. Nun haben sie gemeinsam mit Forschern in Schweden und Deutschland experimentell nachgewiesen, dass zwei unterschiedliche Formen von Wasser existieren, die sich in Struktur und Dichte stark unterscheiden.

Die Wissenschaft sucht seit langem nach dem Grund, warum ausgerechnet Wasser das Molekül des Lebens ist. Mit ausgefeilten Techniken gelingt es Forschern am...

Im Focus: Hyperspektrale Bildgebung zur 100%-Inspektion von Oberflächen und Schichten

„Mehr sehen, als das Auge erlaubt“, das ist ein Anspruch, dem die Hyperspektrale Bildgebung (HSI) gerecht wird. Die neue Kameratechnologie ermöglicht, Licht nicht nur ortsaufgelöst, sondern simultan auch spektral aufgelöst aufzuzeichnen. Das bedeutet, dass zur Informationsgewinnung nicht nur herkömmlich drei spektrale Bänder (RGB), sondern bis zu eintausend genutzt werden.

Das Fraunhofer IWS Dresden entwickelt eine integrierte HSI-Lösung, die das Potenzial der HSI-Technologie in zuverlässige Hard- und Software überführt und für...

Im Focus: Can we see monkeys from space? Emerging technologies to map biodiversity

An international team of scientists has proposed a new multi-disciplinary approach in which an array of new technologies will allow us to map biodiversity and the risks that wildlife is facing at the scale of whole landscapes. The findings are published in Nature Ecology and Evolution. This international research is led by the Kunming Institute of Zoology from China, University of East Anglia, University of Leicester and the Leibniz Institute for Zoo and Wildlife Research.

Using a combination of satellite and ground data, the team proposes that it is now possible to map biodiversity with an accuracy that has not been previously...

Im Focus: Klima-Satellit: Mit robuster Lasertechnik Methan auf der Spur

Hitzewellen in der Arktis, längere Vegetationsperioden in Europa, schwere Überschwemmungen in Westafrika – mit Hilfe des deutsch-französischen Satelliten MERLIN wollen Wissenschaftler ab 2021 die Emissionen des Treibhausgases Methan auf der Erde erforschen. Möglich macht das ein neues robustes Lasersystem des Fraunhofer-Instituts für Lasertechnologie ILT in Aachen, das eine bisher unerreichte Messgenauigkeit erzielt.

Methan entsteht unter anderem bei Fäulnisprozessen. Es ist 25-mal wirksamer als das klimaschädliche Kohlendioxid, kommt in der Erdatmosphäre aber lange nicht...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Internationale Fachkonferenz IEEE ICDCM - Lokale Gleichstromnetze bereichern die Energieversorgung

27.06.2017 | Veranstaltungen

Internationale Konferenz zu aktuellen Fragen der Stammzellforschung

27.06.2017 | Veranstaltungen

Fraunhofer FKIE ist Gastgeber für internationale Experten Digitaler Mensch-Modelle

27.06.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Mainzer Physiker gewinnen neue Erkenntnisse über Nanosysteme mit kugelförmigen Einschränkungen

27.06.2017 | Biowissenschaften Chemie

Wave Trophy 2017: Doppelsieg für die beiden Teams von Phoenix Contact

27.06.2017 | Unternehmensmeldung

Warnsystem KATWARN startet international vernetzten Betrieb

27.06.2017 | Informationstechnologie