Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Neuer Weltrekord im Sortieren riesiger Datenmengen

28.05.2009
Wissenschaftler am Karlsruher Institut für Technologie (KIT) haben ein neues, robusteres Sortierverfahren für sehr große Datenmengen entwickelt. Damit übertreffen sie den Rekord des Massachusetts Institute of Technology (MIT) sogar bei geringerem Hardwareaufwand.

Über das Internet vernetzte Rechner erzeugen immer größere Datenmengen. Um diese auswerten zu können, muss man sie zunächst nach einem bestimmten Kriterium ordnen. Das effiziente Sortieren von Daten ist von zentraler Bedeutung für Suchmaschinen oder Datenbanken - und damit ein wichtiges Forschungsthema in der theoretischen wie auch in der praktischen Informatik.

Der seit Jahren etablierte SortBenchmark, eine im Internet veröffentlichte Tabelle, über die Fachleute etwa von den Unternehmen Microsoft und Hewlett-Packard entscheiden, verzeichnet die jeweils aktuellen Rekorde im Sortieren. In der Königsdisziplin müssen mindestens 1012 Datensätze, also insgesamt 100 Terabyte sortiert werden.

Ein Forscherteam um Professor Peter Sanders am Institut für Theoretische Informatik hat sich nun in zwei Kategorien des SortBenchmark gegen die Konkurrenz durchgesetzt. So sortierten die Wissenschaftler, neben Sanders Dr. Mirko Rahn, Johannes Singler und Tim Kieritz, 100 Billionen Byte Daten in etwas weniger als drei Stunden, was einem Durchsatz von 564 GB pro Minute entspricht. Dafür nutzten sie einen Computerverbund mit 200 Rechenknoten, den Mitarbeiter des Steinbuch Centre for Computing (SCC) am KIT konfiguriert hatten. Ein Team des Internet-Giganten Yahoo schaffte zwar einen minimal besseren Wert, nutzte dafür aber mehr als 17mal so viele Rechenknoten.

Die KIT-Forscher erhöhten außerdem die Rekordzahl an Datensätzen, die in unter einer Minute sortiert werden können, auf 9,5 Milliarden (950 GB). Das ist mehr als das Dreifache des bisher vom MIT gehaltenen Rekords, der zudem auf einer größeren Maschine erzielt worden war. Auch der von Yahoo in dieser Kategorie neu eingereichte Wert lag um den Faktor zwei niedriger. Zudem verbesserten die Karlsruher Wissenschaftler einen von Google im November 2008 aufgestellten Rekord beim schnellen Sortieren von einer Billion Byte Daten Wert von 68 Sekunden auf 64 Sekunden, wiederum mit viel geringerem Hardware-Aufwand.

Der Vorsprung des Karlsruher Teams, so erläutert Peter Sanders, "ergibt sich vor allem aus einem neuen Verfahren, das sowohl die Anzahl der Festplattenzugriffe als auch die erforderliche Netzwerkkommunikation in die Nähe der minimal denkbaren Werte rückt." Der Sortieralgorithmus sei zudem robuster als die meisten Konkurrenzverfahren, weil er gute Leistung für beliebige Eingabedatensätze garantiere. Hinzu komme, so Sanders, "eine besonders effiziente Implementierung, welche die jeweils vier Festplatten und acht Prozessor-Kerne jedes Rechenknotens sehr gut auslasten kann." Ermöglicht hätten dies am Institut entwickelte Software-Bibliotheken.

Im Karlsruher Institut für Technologie (KIT) schließen sich das Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft und die Universität Karlsruhe zusammen. Damit wird eine Einrichtung international herausragender Forschung und Lehre in den Natur- und Ingenieurwissenschaften aufgebaut. Im KIT arbeiten insgesamt 8000 Beschäftigte mit einem jährlichen Budget von 700 Millionen Euro. Das KIT baut auf das Wissensdreieck Forschung - Lehre - Innovation.

Die Karlsruher Einrichtung ist ein führendes europäisches Energieforschungszentrum und spielt in den Nanowissenschaften eine weltweit sichtbare Rolle. KIT setzt neue Maßstäbe in der Lehre und Nachwuchsförderung und zieht Spitzenwissenschaftler aus aller Welt an. Zudem ist das KIT ein führender Innovationspartner für die Wirtschaft.

Dr. Elisabeth Zuber-Knost | idw
Weitere Informationen:
http://www.kit.edu

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht CrowdWater: eine App für die Hochwasser-Forschung
18.05.2018 | Universität Zürich

nachricht Hochautomatisiertes Sehen auf dem Prüfstand
17.05.2018 | FOKUS - Fraunhofer-Institut für Offene Kommunikationssysteme

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Bose-Einstein-Kondensat im Riesenatom - Universität Stuttgart untersucht exotisches Quantenobjekt

Passt eine ultrakalte Wolke aus zehntausenden Rubidium-Atomen in ein einzelnes Riesenatom? Forscherinnen und Forschern am 5. Physikalischen Institut der Universität Stuttgart ist dies erstmals gelungen. Sie zeigten einen ganz neuen Ansatz, die Wechselwirkung von geladenen Kernen mit neutralen Atomen bei weitaus niedrigeren Temperaturen zu untersuchen, als es bisher möglich war. Dies könnte einen wichtigen Schritt darstellen, um in Zukunft quantenmechanische Effekte in der Atom-Ion Wechselwirkung zu studieren. Das renommierte Fachjournal Physical Review Letters und das populärwissenschaftliche Begleitjournal Physics berichteten darüber.*)

In dem Experiment regten die Forscherinnen und Forscher ein Elektron eines einzelnen Atoms in einem Bose-Einstein-Kondensat mit Laserstrahlen in einen riesigen...

Im Focus: Algorithmen für die Leberchirurgie – weltweit sicherer operieren

Die Leber durchlaufen vier komplex verwobene Gefäßsysteme. Die chirurgische Entfernung von Tumoren ist daher oft eine schwierige Aufgabe. Das Fraunhofer-Institut für Bildgestützte Medizin MEVIS hat Algorithmen entwickelt, die die Bilddaten von Patienten analysieren und chirurgische Risiken berechnen. Leberkrebsoperationen werden damit besser planbar und sicherer.

Jährlich erkranken weltweit 750.000 Menschen neu an Leberkrebs, viele weitere entwickeln Lebermetastasen aufgrund anderer Krebserkrankungen. Ein chirurgischer...

Im Focus: Positronen leuchten besser

Leuchtstoffe werden schon lange benutzt, im Alltag zum Beispiel im Bildschirm von Fernsehgeräten oder in PC-Monitoren, in der Wissenschaft zum Untersuchen von Plasmen, Teilchen- oder Antiteilchenstrahlen. Gleich ob Teilchen oder Antiteilchen – treffen sie auf einen Leuchtstoff auf, regen sie ihn zum Lumineszieren an. Unbekannt war jedoch bisher, dass die Lichtausbeute mit Elektronen wesentlich niedriger ist als mit Positronen, ihren Antiteilchen. Dies hat Dr. Eve Stenson im Max-Planck-Institut für Plasmaphysik (IPP) in Garching und Greifswald jetzt beim Vorbereiten von Experimenten mit Materie-Antimaterie-Plasmen entdeckt.

„Wäre Antimaterie nicht so schwierig herzustellen, könnte man auf eine Ära hochleuchtender Niederspannungs-Displays hoffen, in der die Leuchtschirme nicht von...

Im Focus: Erklärung für rätselhafte Quantenoszillationen gefunden

Sogenannte Quanten-Vielteilchen-„Scars“ lassen Quantensysteme länger außerhalb des Gleichgewichtszustandes verweilen. Studie wurde in Nature Physics veröffentlicht

Forschern der Harvard Universität und des MIT war es vor kurzem gelungen, eine Rekordzahl von 53 Atomen einzufangen und ihren Quantenzustand einzeln zu...

Im Focus: Explanation for puzzling quantum oscillations has been found

So-called quantum many-body scars allow quantum systems to stay out of equilibrium much longer, explaining experiment | Study published in Nature Physics

Recently, researchers from Harvard and MIT succeeded in trapping a record 53 atoms and individually controlling their quantum state, realizing what is called a...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

„Data Science“ – Theorie und Anwendung: Internationale Tagung unter Leitung der Uni Paderborn

18.05.2018 | Veranstaltungen

Visual-Computing an Bord der MS Wissenschaft

17.05.2018 | Veranstaltungen

Tagung »Anlagenbau und -betrieb der Zukunft«

17.05.2018 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Bose-Einstein-Kondensat im Riesenatom - Universität Stuttgart untersucht exotisches Quantenobjekt

18.05.2018 | Physik Astronomie

Countdown für Kilogramm, Kelvin und Co.

18.05.2018 | Physik Astronomie

Wie Immunzellen Bakterien mit Säure töten

18.05.2018 | Biowissenschaften Chemie

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics