Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Neuer Weltrekord im Sortieren riesiger Datenmengen

28.05.2009
Wissenschaftler am Karlsruher Institut für Technologie (KIT) haben ein neues, robusteres Sortierverfahren für sehr große Datenmengen entwickelt. Damit übertreffen sie den Rekord des Massachusetts Institute of Technology (MIT) sogar bei geringerem Hardwareaufwand.

Über das Internet vernetzte Rechner erzeugen immer größere Datenmengen. Um diese auswerten zu können, muss man sie zunächst nach einem bestimmten Kriterium ordnen. Das effiziente Sortieren von Daten ist von zentraler Bedeutung für Suchmaschinen oder Datenbanken - und damit ein wichtiges Forschungsthema in der theoretischen wie auch in der praktischen Informatik.

Der seit Jahren etablierte SortBenchmark, eine im Internet veröffentlichte Tabelle, über die Fachleute etwa von den Unternehmen Microsoft und Hewlett-Packard entscheiden, verzeichnet die jeweils aktuellen Rekorde im Sortieren. In der Königsdisziplin müssen mindestens 1012 Datensätze, also insgesamt 100 Terabyte sortiert werden.

Ein Forscherteam um Professor Peter Sanders am Institut für Theoretische Informatik hat sich nun in zwei Kategorien des SortBenchmark gegen die Konkurrenz durchgesetzt. So sortierten die Wissenschaftler, neben Sanders Dr. Mirko Rahn, Johannes Singler und Tim Kieritz, 100 Billionen Byte Daten in etwas weniger als drei Stunden, was einem Durchsatz von 564 GB pro Minute entspricht. Dafür nutzten sie einen Computerverbund mit 200 Rechenknoten, den Mitarbeiter des Steinbuch Centre for Computing (SCC) am KIT konfiguriert hatten. Ein Team des Internet-Giganten Yahoo schaffte zwar einen minimal besseren Wert, nutzte dafür aber mehr als 17mal so viele Rechenknoten.

Die KIT-Forscher erhöhten außerdem die Rekordzahl an Datensätzen, die in unter einer Minute sortiert werden können, auf 9,5 Milliarden (950 GB). Das ist mehr als das Dreifache des bisher vom MIT gehaltenen Rekords, der zudem auf einer größeren Maschine erzielt worden war. Auch der von Yahoo in dieser Kategorie neu eingereichte Wert lag um den Faktor zwei niedriger. Zudem verbesserten die Karlsruher Wissenschaftler einen von Google im November 2008 aufgestellten Rekord beim schnellen Sortieren von einer Billion Byte Daten Wert von 68 Sekunden auf 64 Sekunden, wiederum mit viel geringerem Hardware-Aufwand.

Der Vorsprung des Karlsruher Teams, so erläutert Peter Sanders, "ergibt sich vor allem aus einem neuen Verfahren, das sowohl die Anzahl der Festplattenzugriffe als auch die erforderliche Netzwerkkommunikation in die Nähe der minimal denkbaren Werte rückt." Der Sortieralgorithmus sei zudem robuster als die meisten Konkurrenzverfahren, weil er gute Leistung für beliebige Eingabedatensätze garantiere. Hinzu komme, so Sanders, "eine besonders effiziente Implementierung, welche die jeweils vier Festplatten und acht Prozessor-Kerne jedes Rechenknotens sehr gut auslasten kann." Ermöglicht hätten dies am Institut entwickelte Software-Bibliotheken.

Im Karlsruher Institut für Technologie (KIT) schließen sich das Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft und die Universität Karlsruhe zusammen. Damit wird eine Einrichtung international herausragender Forschung und Lehre in den Natur- und Ingenieurwissenschaften aufgebaut. Im KIT arbeiten insgesamt 8000 Beschäftigte mit einem jährlichen Budget von 700 Millionen Euro. Das KIT baut auf das Wissensdreieck Forschung - Lehre - Innovation.

Die Karlsruher Einrichtung ist ein führendes europäisches Energieforschungszentrum und spielt in den Nanowissenschaften eine weltweit sichtbare Rolle. KIT setzt neue Maßstäbe in der Lehre und Nachwuchsförderung und zieht Spitzenwissenschaftler aus aller Welt an. Zudem ist das KIT ein führender Innovationspartner für die Wirtschaft.

Dr. Elisabeth Zuber-Knost | idw
Weitere Informationen:
http://www.kit.edu

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Smart Wireless Solutions: EU-Großprojekt „DEWI“ liefert Innovationen für eine drahtlose Zukunft
27.04.2017 | Kompetenzzentrum - Das virtuelle Fahrzeug Forschungsgesellschaft mbH

nachricht Ergonomie am Arbeitsplatz: Kamera erkennt ungesunde Bewegungen
24.04.2017 | IPH - Institut für Integrierte Produktion Hannover gGmbH

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: TU Chemnitz präsentiert weltweit einzigartige Pilotanlage für nachhaltigen Leichtbau

Wickelprinzip umgekehrt: Orbitalwickeltechnologie soll neue Maßstäbe in der großserientauglichen Fertigung komplexer Strukturbauteile setzen

Mitarbeiterinnen und Mitarbeiter des Bundesexzellenzclusters „Technologiefusion für multifunktionale Leichtbaustrukturen" (MERGE) und des Instituts für...

Im Focus: Smart Wireless Solutions: EU-Großprojekt „DEWI“ liefert Innovationen für eine drahtlose Zukunft

58 europäische Industrie- und Forschungspartner aus 11 Ländern forschten unter der Leitung des VIRTUAL VEHICLE drei Jahre lang, um Europas führende Position im Bereich Embedded Systems und dem Internet of Things zu stärken. Die Ergebnisse von DEWI (Dependable Embedded Wireless Infrastructure) wurden heute in Graz präsentiert. Zu sehen war eine Fülle verschiedenster Anwendungen drahtloser Sensornetzwerke und drahtloser Kommunikation – von einer Forschungsrakete über Demonstratoren zur Gebäude-, Fahrzeug- oder Eisenbahntechnik bis hin zu einem voll vernetzten LKW.

Was vor wenigen Jahren noch nach Science-Fiction geklungen hätte, ist in seinem Ansatz bereits Wirklichkeit und wird in Zukunft selbstverständlicher Teil...

Im Focus: Weltweit einzigartiger Windkanal im Leipziger Wolkenlabor hat Betrieb aufgenommen

Am Leibniz-Institut für Troposphärenforschung (TROPOS) ist am Dienstag eine weltweit einzigartige Anlage in Betrieb genommen worden, mit der die Einflüsse von Turbulenzen auf Wolkenprozesse unter präzise einstellbaren Versuchsbedingungen untersucht werden können. Der neue Windkanal ist Teil des Leipziger Wolkenlabors, in dem seit 2006 verschiedenste Wolkenprozesse simuliert werden. Unter Laborbedingungen wurden z.B. das Entstehen und Gefrieren von Wolken nachgestellt. Wie stark Luftverwirbelungen diese Prozesse beeinflussen, konnte bisher noch nicht untersucht werden. Deshalb entstand in den letzten Jahren eine ergänzende Anlage für rund eine Million Euro.

Die von dieser Anlage zu erwarteten neuen Erkenntnisse sind wichtig für das Verständnis von Wetter und Klima, wie etwa die Bildung von Niederschlag und die...

Im Focus: Nanoskopie auf dem Chip: Mikroskopie in HD-Qualität

Neue Erfindung der Universitäten Bielefeld und Tromsø (Norwegen)

Physiker der Universität Bielefeld und der norwegischen Universität Tromsø haben einen Chip entwickelt, der super-auflösende Lichtmikroskopie, auch...

Im Focus: Löschbare Tinte für den 3-D-Druck

Im 3-D-Druckverfahren durch Direktes Laserschreiben können Mikrometer-große Strukturen mit genau definierten Eigenschaften geschrieben werden. Forscher des Karlsruher Institus für Technologie (KIT) haben ein Verfahren entwickelt, durch das sich die 3-D-Tinte für die Drucker wieder ‚wegwischen‘ lässt. Die bis zu hundert Nanometer kleinen Strukturen lassen sich dadurch wiederholt auflösen und neu schreiben - ein Nanometer entspricht einem millionstel Millimeter. Die Entwicklung eröffnet der 3-D-Fertigungstechnik vielfältige neue Anwendungen, zum Beispiel in der Biologie oder Materialentwicklung.

Beim Direkten Laserschreiben erzeugt ein computergesteuerter, fokussierter Laserstrahl in einem Fotolack wie ein Stift die Struktur. „Eine Tinte zu entwickeln,...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Internationaler Tag der Immunologie - 29. April 2017

28.04.2017 | Veranstaltungen

Kampf gegen multiresistente Tuberkulose – InfectoGnostics trifft MYCO-NET²-Partner in Peru

28.04.2017 | Veranstaltungen

123. Internistenkongress: Traumata, Sprachbarrieren, Infektionen und Bürokratie – Herausforderungen

27.04.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Über zwei Millionen für bessere Bordnetze

28.04.2017 | Förderungen Preise

Symbiose-Bakterien: Vom blinden Passagier zum Leibwächter des Wollkäfers

28.04.2017 | Biowissenschaften Chemie

Wie Pflanzen ihre Zucker leitenden Gewebe bilden

28.04.2017 | Biowissenschaften Chemie