Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Neuer Weltrekord im Sortieren riesiger Datenmengen

28.05.2009
Wissenschaftler am Karlsruher Institut für Technologie (KIT) haben ein neues, robusteres Sortierverfahren für sehr große Datenmengen entwickelt. Damit übertreffen sie den Rekord des Massachusetts Institute of Technology (MIT) sogar bei geringerem Hardwareaufwand.

Über das Internet vernetzte Rechner erzeugen immer größere Datenmengen. Um diese auswerten zu können, muss man sie zunächst nach einem bestimmten Kriterium ordnen. Das effiziente Sortieren von Daten ist von zentraler Bedeutung für Suchmaschinen oder Datenbanken - und damit ein wichtiges Forschungsthema in der theoretischen wie auch in der praktischen Informatik.

Der seit Jahren etablierte SortBenchmark, eine im Internet veröffentlichte Tabelle, über die Fachleute etwa von den Unternehmen Microsoft und Hewlett-Packard entscheiden, verzeichnet die jeweils aktuellen Rekorde im Sortieren. In der Königsdisziplin müssen mindestens 1012 Datensätze, also insgesamt 100 Terabyte sortiert werden.

Ein Forscherteam um Professor Peter Sanders am Institut für Theoretische Informatik hat sich nun in zwei Kategorien des SortBenchmark gegen die Konkurrenz durchgesetzt. So sortierten die Wissenschaftler, neben Sanders Dr. Mirko Rahn, Johannes Singler und Tim Kieritz, 100 Billionen Byte Daten in etwas weniger als drei Stunden, was einem Durchsatz von 564 GB pro Minute entspricht. Dafür nutzten sie einen Computerverbund mit 200 Rechenknoten, den Mitarbeiter des Steinbuch Centre for Computing (SCC) am KIT konfiguriert hatten. Ein Team des Internet-Giganten Yahoo schaffte zwar einen minimal besseren Wert, nutzte dafür aber mehr als 17mal so viele Rechenknoten.

Die KIT-Forscher erhöhten außerdem die Rekordzahl an Datensätzen, die in unter einer Minute sortiert werden können, auf 9,5 Milliarden (950 GB). Das ist mehr als das Dreifache des bisher vom MIT gehaltenen Rekords, der zudem auf einer größeren Maschine erzielt worden war. Auch der von Yahoo in dieser Kategorie neu eingereichte Wert lag um den Faktor zwei niedriger. Zudem verbesserten die Karlsruher Wissenschaftler einen von Google im November 2008 aufgestellten Rekord beim schnellen Sortieren von einer Billion Byte Daten Wert von 68 Sekunden auf 64 Sekunden, wiederum mit viel geringerem Hardware-Aufwand.

Der Vorsprung des Karlsruher Teams, so erläutert Peter Sanders, "ergibt sich vor allem aus einem neuen Verfahren, das sowohl die Anzahl der Festplattenzugriffe als auch die erforderliche Netzwerkkommunikation in die Nähe der minimal denkbaren Werte rückt." Der Sortieralgorithmus sei zudem robuster als die meisten Konkurrenzverfahren, weil er gute Leistung für beliebige Eingabedatensätze garantiere. Hinzu komme, so Sanders, "eine besonders effiziente Implementierung, welche die jeweils vier Festplatten und acht Prozessor-Kerne jedes Rechenknotens sehr gut auslasten kann." Ermöglicht hätten dies am Institut entwickelte Software-Bibliotheken.

Im Karlsruher Institut für Technologie (KIT) schließen sich das Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft und die Universität Karlsruhe zusammen. Damit wird eine Einrichtung international herausragender Forschung und Lehre in den Natur- und Ingenieurwissenschaften aufgebaut. Im KIT arbeiten insgesamt 8000 Beschäftigte mit einem jährlichen Budget von 700 Millionen Euro. Das KIT baut auf das Wissensdreieck Forschung - Lehre - Innovation.

Die Karlsruher Einrichtung ist ein führendes europäisches Energieforschungszentrum und spielt in den Nanowissenschaften eine weltweit sichtbare Rolle. KIT setzt neue Maßstäbe in der Lehre und Nachwuchsförderung und zieht Spitzenwissenschaftler aus aller Welt an. Zudem ist das KIT ein führender Innovationspartner für die Wirtschaft.

Dr. Elisabeth Zuber-Knost | idw
Weitere Informationen:
http://www.kit.edu

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Smart Living: VDE-Institut entwickelt Cloud-basierte interoperable Testplattform
15.02.2017 | VDE Verband der Elektrotechnik Elektronik Informationstechnik e.V.

nachricht Saarbrücker Informatiker machen „Augmented Reality“ fotorealistisch
15.02.2017 | Universität des Saarlandes

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Wie Proteine Zellmembranen verformen

Zellen schnüren regelmäßig kleine Bläschen von ihrer Außenhaut ab und nehmen sie in ihr Inneres auf. Daran sind die EHD-Proteine beteiligt, die Professor Oliver Daumke vom MDC erforscht. Er und sein Team haben nun aufgeklärt, wie sich diese Proteine auf der Oberfläche von Zellen zusammenlagern und dadurch deren Außenhaut verformen.

Zellen schnüren regelmäßig kleine Bläschen von ihrer Außenhaut ab und nehmen sie in ihr Inneres auf. Daran sind die EHD-Proteine beteiligt, die Professor...

Im Focus: Safe glide at total engine failure with ELA-inside

On January 15, 2009, Chesley B. Sullenberger was celebrated world-wide: after the two engines had failed due to bird strike, he and his flight crew succeeded after a glide flight with an Airbus A320 in ditching on the Hudson River. All 155 people on board were saved.

On January 15, 2009, Chesley B. Sullenberger was celebrated world-wide: after the two engines had failed due to bird strike, he and his flight crew succeeded...

Im Focus: „Vernetzte Autonome Systeme“ von acatech und DFKI auf der CeBIT

Auf der IT-Messe CeBIT vom 20. bis 24. März präsentieren acatech – Deutsche Akademie der Technikwissenschaften und das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) in Kooperation mit der Deutschen Messe AG vernetzte Autonome Systeme. In Halle 12 am Stand B 63 erwarten die Besucherinnen und Besucher unter anderem Roboter, die Hand in Hand mit Menschen zusammenarbeiten oder die selbstständig gefährliche Umgebungen erkunden.

Auf der IT-Messe CeBIT vom 20. bis 24. März präsentieren acatech – Deutsche Akademie der Technikwissenschaften und das Deutsche Forschungszentrum für...

Im Focus: Kühler Zwerg und die sieben Planeten

Erdgroße Planeten mit gemäßigtem Klima in System mit ungewöhnlich vielen Planeten entdeckt

In einer Entfernung von nur 40 Lichtjahren haben Astronomen ein System aus sieben erdgroßen Planeten entdeckt. Alle Planeten wurden unter Verwendung von boden-...

Im Focus: Mehr Sicherheit für Flugzeuge

Zwei Entwicklungen am Lehrgebiet Rechnerarchitektur der FernUniversität in Hagen können das Fliegen sicherer machen: ein Flugassistenzsystem, das bei einem totalen Triebwerksausfall zum Einsatz kommt, um den Piloten ein sicheres Gleiten zu einem Notlandeplatz zu ermöglichen, und ein Assistenzsystem für Segelflieger, das ihnen das Erreichen größerer Höhen erleichtert. Präsentiert werden sie von Prof. Dr.-Ing. Wolfram Schiffmann auf der Internationalen Fachmesse für Allgemeine Luftfahrt AERO vom 5. bis 8. April in Friedrichshafen.

Zwei Entwicklungen am Lehrgebiet Rechnerarchitektur der FernUniversität in Hagen können das Fliegen sicherer machen: ein Flugassistenzsystem, das bei einem...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Poseidon goes Politics – Wer oder was regiert die Ozeane?

27.02.2017 | Veranstaltungen

Fachtagung Rapid Prototyping 2017 – Innovationen in Entwicklung und Produktion

27.02.2017 | Veranstaltungen

Aufbruch: Forschungsmethoden in einer personalisierten Medizin

24.02.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Herz-Untersuchung: Kontrastmittel sparen mit dem Mini-Teilchenbeschleuniger

27.02.2017 | Medizintechnik

Neue Maßstäbe für eine bessere Wasserqualität in Europa

27.02.2017 | Biowissenschaften Chemie

Wenn der Schmerz keine Worte findet - Künstliche Intelligenz zur automatisierten Schmerzerkennung

27.02.2017 | Medizintechnik