Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Saarbrücker Informatiker durchsuchen Milliarden Datensätze mit „guten Trojanern“

13.09.2010
Soziale Netzwerke im Internet, Suchmaschinen-Anbieter, digitale Archive und viele weltweit tätige Unternehmen verfügen über gigantische Datenbanken.

Um diese Daten schnell zu durchsuchen, verwenden Firmen wie Facebook, Ebay, Yahoo und Twitter das frei verfügbare Programm Hadoop -- eine Variante des von Google erfundenen MapReduce.

Viele Datenbank-Experten kritisieren jedoch, dass damit eine effiziente Datensuche mit komplexen Anforderungen nicht möglich ist. Saarbrücker Informatiker haben jetzt ein neues Verfahren, genannt Hadoop++, entwickelt. Damit können auch Hadoop-Nutzer riesige Datenmengen wesentlich schneller durchsuchen.

Das neue System ist bis zu zwanzigmal effizienter als die herkömmliche Verarbeitung mit Hadoop.

Internetfirmen verarbeiten täglich Datenmengen in Höhe von mehreren Millionen Gigabyte (Petabyte). Um diese effektiv zu durchsuchen, hat Google das Programmiermodell MapReduce entwickelt. Dabei werden Daten in kleine Teile zerlegt und dann zur gleichzeitigen Verarbeitung auf unterschiedliche Rechner verteilt. Das als Open-Source-Produkt angebotene Hadoop-Programm basiert auf der Idee von MapReduce. Als Google sich vor einigen Monaten MapReduce patentrechtlich schützen ließ, erhielt Hadoop davon eine freie Lizenz und kann somit auch weiterhin in Unternehmen kostenlos eingesetzt werden.

„Datenbank-Spezialisten, die es gewohnt sind mit der Programmiersprache SQL zu arbeiten, betrachten MapReduce aber als großen Rückschritt in die Datenbank-Steinzeit“, erläutert Jens Dittrich, Professor für Informationssysteme der Universität des Saarlandes. „Viele Erkenntnisse aus der Datenbankforschung der vergangenen Jahrzehnte sind bei MapReduce einfach über Bord geworfen worden. Zwar kann man mit Hilfe von MapReduce riesige Datenmengen unkompliziert durchsuchen, aber man tut dies nicht besonders effizient.“

Dass das Google-Programmiermodell dennoch eine so weite Verbreitung gefunden hat, liegt nach Meinung von Jens Dittrich an einem entscheidenden Vorteil: „Der Nutzer muss weder eine komplizierte Datenbanksprache noch ein Datenmodell lernen. Außerdem ist die Administration von Hadoop sehr einfach. Auch mit geringen Computerkenntnissen kann man damit auf einfache Weise viele Milliarden Datensätze parallel auf mehreren Servern durchsuchen.“ Wer jedoch komplizierte Suchanfragen in Hadoop nutzen will, stößt schnell an Leistungsgrenzen. „Hadoop ist im Vergleich zu modernen Datenbanksystemen einfach zu langsam.“ Der Saarbrücker Forscher hat daher mit seinem Team das neue System Hadoop ++ entwickelt, das die Schwächen des bisherigen Programms beseitigt.

Hadoop++ funktioniert dabei ähnlich wie ein trojanisches Pferd. Die Forscher schleusen an geeigneten Stellen von Hadoop heimlich zusätzlichen Code ein, der für eine effizientere Ausführung sorgt. Das zugrundeliegende System Hadoop bleibt dabei unverändert, es sind also keine aufwändigen Änderungen am Code von Hadoop notwendig. Alle Änderungen erfolgen durch sogenannte Nutzerfunktionen (user-defined functions). Das neue Programm folgt damit einem ähnlichen Ansatz wie „Trojaner“. Dies sind Computerviren, die sich heimlich in Programmen verstecken, um ein Computersystem massiv zu schädigen. Im Gegensatz dazu wird in Hadoop++ allerdings der eingeschleuste Code dazu genutzt, das zugrundeliegende System - in diesem Fall Hadoop - zu verbessern. „Es handelt sich sozusagen um einen guten Trojaner“, betont Informatik-Professor Jens Dittrich.

Die Forschungsergebnisse wird Jens Dittrich auf einer der weltweit wichtigsten Konferenzen für Datenbanken vorstellen, der „International Conference on Very Large Data Bases“ (VLDB 2010), die vom 13. bis 17. September in Singapur stattfindet.

Hintergrund

Die Diskussion um Stärken und Schwächen von MapReduce und Hadoop, die vor allem unter amerikanischen Informatik-Professoren geführt wurde, kann in folgendem Artikel und Blog-Eintrag nachgelesen werden. Das darin erwähnte System von Daniel Abadi von der Yale University weist nach genauer Analyse von Professor Jens Dittrich aber viele Schwächen auf und konnte nicht die gewünschte „Versöhnung“ der Datenbanksysteme einläuten.

Fragen beantwortet:
Jens Dittrich
Professor für Informationssysteme der Universität des Saarlandes
Tel. 0681 302 70141
Hinweis für Hörfunk-Journalisten: Sie können Telefoninterviews in Studioqualität mit Wissenschaftlern der Universität des Saarlandes führen, über Rundfunk-ISDN-Codec. Interviewwünsche bitte an die Pressestelle (0681/302-3610) richten.
Weitere Informationen:
http://infosys.cs.uni-saarland.de/hadoop++.php
http://hadoop.apache.org/
http://www.mapreduce.org/
http://www.vldb2010.org
http://www.uni-saarland.de/pressefotos

Friederike Meyer zu Tittingdorf | idw
Weitere Informationen:
http://www.uni-saarland.de

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Original bleibt Original - Neues Produktschutzverfahren für KFZ-Kennzeichenschilder
19.01.2018 | Fraunhofer-Institut für Werkstoff- und Strahltechnik IWS

nachricht Fliegen wird smarter – Kommunikationssystem LYRA im Lufthansa FlyingLab
18.01.2018 | Deutsches Forschungszentrum für Künstliche Intelligenz GmbH, DFKI

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Maschinelles Lernen im Quantenlabor

Auf dem Weg zum intelligenten Labor präsentieren Physiker der Universitäten Innsbruck und Wien ein lernfähiges Programm, das eigenständig Quantenexperimente entwirft. In ersten Versuchen hat das System selbständig experimentelle Techniken (wieder)entdeckt, die heute in modernen quantenoptischen Labors Standard sind. Dies zeigt, dass Maschinen in Zukunft auch eine kreativ unterstützende Rolle in der Forschung einnehmen könnten.

In unseren Taschen stecken Smartphones, auf den Straßen fahren intelligente Autos, Experimente im Forschungslabor aber werden immer noch ausschließlich von...

Im Focus: Artificial agent designs quantum experiments

On the way to an intelligent laboratory, physicists from Innsbruck and Vienna present an artificial agent that autonomously designs quantum experiments. In initial experiments, the system has independently (re)discovered experimental techniques that are nowadays standard in modern quantum optical laboratories. This shows how machines could play a more creative role in research in the future.

We carry smartphones in our pockets, the streets are dotted with semi-autonomous cars, but in the research laboratory experiments are still being designed by...

Im Focus: Fliegen wird smarter – Kommunikationssystem LYRA im Lufthansa FlyingLab

• Prototypen-Test im Lufthansa FlyingLab
• LYRA Connect ist eine von drei ausgewählten Innovationen
• Bessere Kommunikation zwischen Kabinencrew und Passagieren

Die Zukunft des Fliegens beginnt jetzt: Mehrere Monate haben die Finalisten des Mode- und Technologiewettbewerbs „Telekom Fashion Fusion & Lufthansa FlyingLab“...

Im Focus: Ein Atom dünn: Physiker messen erstmals mechanische Eigenschaften zweidimensionaler Materialien

Die dünnsten heute herstellbaren Materialien haben eine Dicke von einem Atom. Sie zeigen völlig neue Eigenschaften und sind zweidimensional – bisher bekannte Materialien sind dreidimensional aufgebaut. Um sie herstellen und handhaben zu können, liegen sie bislang als Film auf dreidimensionalen Materialien auf. Erstmals ist es Physikern der Universität des Saarlandes um Uwe Hartmann jetzt mit Forschern vom Leibniz-Institut für Neue Materialien gelungen, die mechanischen Eigenschaften von freitragenden Membranen atomar dünner Materialien zu charakterisieren. Die Messungen erfolgten mit dem Rastertunnelmikroskop an Graphen. Ihre Ergebnisse veröffentlichen die Forscher im Fachmagazin Nanoscale.

Zweidimensionale Materialien sind erst seit wenigen Jahren bekannt. Die Wissenschaftler André Geim und Konstantin Novoselov erhielten im Jahr 2010 den...

Im Focus: Forscher entschlüsseln zentrales Reaktionsprinzip von Metalloenzymen

Sogenannte vorverspannte Zustände beschleunigen auch photochemische Reaktionen

Was ermöglicht den schnellen Transfer von Elektronen, beispielsweise in der Photosynthese? Ein interdisziplinäres Forscherteam hat die Funktionsweise wichtiger...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Kongress Meditation und Wissenschaft

19.01.2018 | Veranstaltungen

LED Produktentwicklung – Leuchten mit aktuellem Wissen

18.01.2018 | Veranstaltungen

6. Technologie- und Anwendungsdialog am 18. Januar 2018 an der TH Wildau: „Intelligente Logistik“

18.01.2018 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Rittal vereinbart mit dem Betriebsrat von RWG Sozialplan - Zukunftsorientierter Dialog führt zur Einigkeit

19.01.2018 | Unternehmensmeldung

Open Science auf offener See

19.01.2018 | Geowissenschaften

Original bleibt Original - Neues Produktschutzverfahren für KFZ-Kennzeichenschilder

19.01.2018 | Informationstechnologie