Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Google-Technologie für alle

23.08.2011
Der Lehrstuhl für Programmierung an der Universität Passau engagiert sich dafür, MapReduce für eine breite Palette von Institutionen und Unternehmen leichter handhabbar zu machen. MapReduce ist das Rechenschema hinter der Technologie von Suchmaschinen wie Google.

„Jedes Mal, wenn ich eine Suchmaschine nutze, bin ich hingerissen von ihrer Fähigkeit, innerhalb von Millisekunden aus einer riesigen Datenmenge Tausende relevante Treffer zu einem bestimmten Schlüsselwort zu finden.“

Was die meisten Menschen ohne viele Gedanken nutzen, identifiziert Prof. Christian Lengauer als bisher mächtigste Umsetzung des Rechenschemas MapReduce, an dem seine Gruppe bereits mitgeforscht hat, bevor Suchmaschinen alltägliches Werkzeug wurden. Die Deutsche Forschungsgemeinschaft (DFG) hat der Universität Passau nun ein Forschungsvorhaben bewilligt, das an der Fakultät für Informatik und Mathematik von Prof. Lengauer und Dr. Sven Apel koordiniert wird.

Das Projekt mit dem Titel MapReduceFoundation will die Nutzung des Rechenschemas zukünftigen Anwendern erleichtern. Ein wichtiger Schritt auf diesem Weg ist es, bei der Programmierung mit MapReduce die Typsicherheit zu garantieren. In der Programmierung können sich schnell Fehler in den verwendeten Datenformaten einschleichen. Typsicherheit bedeutet, dass solche Fehler schon während des Programmierens und nicht erst im Betrieb erkannt werden. So können unerwartete Programmabbrüche vermieden werden.

„Obwohl die derzeitig dominierende Programmiersprache Java als typsicher gilt, kann es bei der Programmierung von MapReduce-Berechnungen in Java zu Formatkonflikten kommen, die unerkannt bleiben. Wir entwickeln unter anderem eine Technik, die es ermöglicht, Formatkonflikte vor dem Betrieb zu erkennen, und zwar, ohne den Programmierer zusätzlich zu belasten.“, erklärt Lengauer.

Die Idee von MapReduce ist im Grunde recht einfach. Anwendungen, die sich dafür eignen, sind weit älter als das Internet. „Ein Beispiel ist die Konkordanz der Bibel, die angibt, wie oft Worte oder Phrasen in einer bestimmten Übersetzung vorkommen.“, so Lengauer. Mit dem Schema MapReduce lässt sich dies folgendermaßen formulieren: Zunächst wird jedes Wort im Bibeltext mit einer 1 versehen, die ein einmaliges Vorkommen anzeigt: der Map-Schritt. Danach werden die Vorkommen gleicher Worte aufsummiert: der Reduce-Schritt. Beide Schritte können jeweils auf vielen Prozessoren oder Rechnern hochparallel durchgeführt werden. Durch diese starke Arbeitsteilung steht das Ergebnis viel früher zur Verfügung. „Die Herausforderung besteht darin, dieses simple Prinzip für riesige Datenmengen und eine Palette von Operationen bereitzustellen, den Prozess auf eine Vielzahl von Prozessoren zu verteilen sowie den nötigen Rechen- und Zeitaufwand zu verringern“, erklärt Lengauer. Bisher setzen vor allem Betreiber großer Datenzentren wie Google, Yahoo! und Amazon MapReduce ein. Anwendungspotential besteht aber auch in vielen weiteren Firmen mit einem großen Kundenstamm wie Fluggesellschaften, Banken oder Telefonanbietern, um ihre Daten (Kunden-, Kauf-, Konto- oder Verbindungsinformationen) unter engen Zeitvorgaben (zum Beispiel über Nacht) auswerten zu können. Um die Nutzung von MapReduce einem breiteren Publikum zu erleichtern, müssen jedoch die Programmierhürden gesenkt werden. Hier setzt das Projekt MapReduceFoundation an.

Hinweis an die Redaktionen: Rückfragen zu dieser Pressemitteilung richten Sie bitte an die Pressestelle der Universität Passau, Tel. 0851 509-1430, oder an Prof. Christian Lengauer, Tel. 0851 509-3070.

Steffen Becker | idw
Weitere Informationen:
http://www.uni-passau.de

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Fraunhofer IPM präsentiert »Deep Learning Framework« zur automatisierten Interpretation von 3D-Daten
22.08.2017 | Fraunhofer IPM

nachricht Kieler Wissenschaft entwickelt exzellentes Forschungsdatenmanagement
21.08.2017 | ZBW – Leibniz-Informationszentrum Wirtschaft

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Platz 2 für Helikopter-Designstudie aus Stade - Carbontechnologie-Studenten der PFH erfolgreich

Bereits lange vor dem Studienabschluss haben vier Studenten des PFH Hansecampus Stade ihr ingenieurwissenschaftliches Können eindrucksvoll unter Beweis gestellt: Malte Blask, Hagen Hagens, Nick Neubert und Rouven Weg haben bei einem internationalen Wettbewerb der American Helicopter Society (AHS International) den zweiten Platz belegt. Ihre Aufgabe war es, eine Designstudie für ein helikopterähnliches Fluggerät zu entwickeln, das 24 Stunden an einem Punkt in der Luft fliegen kann.

Die vier Kommilitonen sind im Studiengang Verbundwerkstoffe/Composites am Hansecampus Stade der PFH Private Hochschule Göttingen eingeschrieben. Seit elf...

Im Focus: Wissenschaftler entdecken seltene Ordnung von Elektronen in einem supraleitenden Kristall

In einem Artikel der aktuellen Ausgabe des Forschungsmagazins „Nature“ berichten Wissenschaftler vom Max-Planck-Institut für Chemische Physik fester Stoffe in Dresden von der Entdeckung eines seltenen Materiezustandes, bei dem sich die Elektronen in einem Kristall gemeinsam in einer Richtung bewegen. Diese Entdeckung berührt eine der offenen Fragestellungen im Bereich der Festkörperphysik: Was passiert, wenn sich Elektronen gemeinsam im Kollektiv verhalten, in sogenannten „stark korrelierten Elektronensystemen“, und wie „einigen sich“ die Elektronen auf ein gemeinsames Verhalten?

In den meisten Metallen beeinflussen sich Elektronen gegenseitig nur wenig und leiten Wärme und elektrischen Strom weitgehend unabhängig voneinander durch das...

Im Focus: Wie ein Bakterium von Methanol leben kann

Bei einem Bakterium, das Methanol als Nährstoff nutzen kann, identifizierten ETH-Forscher alle dafür benötigten Gene. Die Erkenntnis hilft, diesen Rohstoff für die Biotechnologie besser nutzbar zu machen.

Viele Chemiker erforschen derzeit, wie man aus den kleinen Kohlenstoffverbindungen Methan und Methanol grössere Moleküle herstellt. Denn Methan kommt auf der...

Im Focus: Topologische Quantenzustände einfach aufspüren

Durch gezieltes Aufheizen von Quantenmaterie können exotische Materiezustände aufgespürt werden. Zu diesem überraschenden Ergebnis kommen Theoretische Physiker um Nathan Goldman (Brüssel) und Peter Zoller (Innsbruck) in einer aktuellen Arbeit im Fachmagazin Science Advances. Sie liefern damit ein universell einsetzbares Werkzeug für die Suche nach topologischen Quantenzuständen.

In der Physik existieren gewisse Größen nur als ganzzahlige Vielfache elementarer und unteilbarer Bestandteile. Wie das antike Konzept des Atoms bezeugt, ist...

Im Focus: Unterwasserroboter soll nach einem Jahr in der arktischen Tiefsee auftauchen

Am Dienstag, den 22. August wird das Forschungsschiff Polarstern im norwegischen Tromsø zu einer besonderen Expedition in die Arktis starten: Der autonome Unterwasserroboter TRAMPER soll nach einem Jahr Einsatzzeit am arktischen Tiefseeboden auftauchen. Dieses Gerät und weitere robotische Systeme, die Tiefsee- und Weltraumforscher im Rahmen der Helmholtz-Allianz ROBEX gemeinsam entwickelt haben, werden nun knapp drei Wochen lang unter Realbedingungen getestet. ROBEX hat das Ziel, neue Technologien für die Erkundung schwer erreichbarer Gebiete mit extremen Umweltbedingungen zu entwickeln.

„Auftauchen wird der TRAMPER“, sagt Dr. Frank Wenzhöfer vom Alfred-Wegener-Institut, Helmholtz-Zentrum für Polar- und Meeresforschung (AWI) selbstbewusst. Der...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Die Zukunft des Leichtbaus: Mehr als nur Material einsparen

23.08.2017 | Veranstaltungen

Logistikmanagement-Konferenz 2017

23.08.2017 | Veranstaltungen

DFG unterstützt Kongresse und Tagungen - Oktober 2017

23.08.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Spot auf die Maschinerie des Lebens

23.08.2017 | Biowissenschaften Chemie

Die Sonne: Motor des Erdklimas

23.08.2017 | Physik Astronomie

Entfesselte Magnetkraft

23.08.2017 | Physik Astronomie