Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Neuer Weltrekord im Sortieren riesiger Datenmengen

28.05.2009
Wissenschaftler am Karlsruher Institut für Technologie (KIT) haben ein neues, robusteres Sortierverfahren für sehr große Datenmengen entwickelt. Damit übertreffen sie den Rekord des Massachusetts Institute of Technology (MIT) sogar bei geringerem Hardwareaufwand.

Über das Internet vernetzte Rechner erzeugen immer größere Datenmengen. Um diese auswerten zu können, muss man sie zunächst nach einem bestimmten Kriterium ordnen. Das effiziente Sortieren von Daten ist von zentraler Bedeutung für Suchmaschinen oder Datenbanken - und damit ein wichtiges Forschungsthema in der theoretischen wie auch in der praktischen Informatik.

Der seit Jahren etablierte SortBenchmark, eine im Internet veröffentlichte Tabelle, über die Fachleute etwa von den Unternehmen Microsoft und Hewlett-Packard entscheiden, verzeichnet die jeweils aktuellen Rekorde im Sortieren. In der Königsdisziplin müssen mindestens 1012 Datensätze, also insgesamt 100 Terabyte sortiert werden.

Ein Forscherteam um Professor Peter Sanders am Institut für Theoretische Informatik hat sich nun in zwei Kategorien des SortBenchmark gegen die Konkurrenz durchgesetzt. So sortierten die Wissenschaftler, neben Sanders Dr. Mirko Rahn, Johannes Singler und Tim Kieritz, 100 Billionen Byte Daten in etwas weniger als drei Stunden, was einem Durchsatz von 564 GB pro Minute entspricht. Dafür nutzten sie einen Computerverbund mit 200 Rechenknoten, den Mitarbeiter des Steinbuch Centre for Computing (SCC) am KIT konfiguriert hatten. Ein Team des Internet-Giganten Yahoo schaffte zwar einen minimal besseren Wert, nutzte dafür aber mehr als 17mal so viele Rechenknoten.

Die KIT-Forscher erhöhten außerdem die Rekordzahl an Datensätzen, die in unter einer Minute sortiert werden können, auf 9,5 Milliarden (950 GB). Das ist mehr als das Dreifache des bisher vom MIT gehaltenen Rekords, der zudem auf einer größeren Maschine erzielt worden war. Auch der von Yahoo in dieser Kategorie neu eingereichte Wert lag um den Faktor zwei niedriger. Zudem verbesserten die Karlsruher Wissenschaftler einen von Google im November 2008 aufgestellten Rekord beim schnellen Sortieren von einer Billion Byte Daten Wert von 68 Sekunden auf 64 Sekunden, wiederum mit viel geringerem Hardware-Aufwand.

Der Vorsprung des Karlsruher Teams, so erläutert Peter Sanders, "ergibt sich vor allem aus einem neuen Verfahren, das sowohl die Anzahl der Festplattenzugriffe als auch die erforderliche Netzwerkkommunikation in die Nähe der minimal denkbaren Werte rückt." Der Sortieralgorithmus sei zudem robuster als die meisten Konkurrenzverfahren, weil er gute Leistung für beliebige Eingabedatensätze garantiere. Hinzu komme, so Sanders, "eine besonders effiziente Implementierung, welche die jeweils vier Festplatten und acht Prozessor-Kerne jedes Rechenknotens sehr gut auslasten kann." Ermöglicht hätten dies am Institut entwickelte Software-Bibliotheken.

Im Karlsruher Institut für Technologie (KIT) schließen sich das Forschungszentrum Karlsruhe in der Helmholtz-Gemeinschaft und die Universität Karlsruhe zusammen. Damit wird eine Einrichtung international herausragender Forschung und Lehre in den Natur- und Ingenieurwissenschaften aufgebaut. Im KIT arbeiten insgesamt 8000 Beschäftigte mit einem jährlichen Budget von 700 Millionen Euro. Das KIT baut auf das Wissensdreieck Forschung - Lehre - Innovation.

Die Karlsruher Einrichtung ist ein führendes europäisches Energieforschungszentrum und spielt in den Nanowissenschaften eine weltweit sichtbare Rolle. KIT setzt neue Maßstäbe in der Lehre und Nachwuchsförderung und zieht Spitzenwissenschaftler aus aller Welt an. Zudem ist das KIT ein führender Innovationspartner für die Wirtschaft.

Dr. Elisabeth Zuber-Knost | idw
Weitere Informationen:
http://www.kit.edu

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Komfortable Software für die Genomanalyse
16.08.2017 | Technische Hochschule Mittelhessen

nachricht Maschinensteuerung an Anwender: Intelligentes System für mobile Endgeräte in der Fertigung
16.08.2017 | Fraunhofer-Institut für Produktionstechnologie IPT

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Forscher entwickeln maisförmigen Arzneimittel-Transporter zum Inhalieren

Er sieht aus wie ein Maiskolben, ist winzig wie ein Bakterium und kann einen Wirkstoff direkt in die Lungenzellen liefern: Das zylinderförmige Vehikel für Arzneistoffe, das Pharmazeuten der Universität des Saarlandes entwickelt haben, kann inhaliert werden. Professor Marc Schneider und sein Team machen sich dabei die körpereigene Abwehr zunutze: Makrophagen, die Fresszellen des Immunsystems, fressen den gesundheitlich unbedenklichen „Nano-Mais“ und setzen dabei den in ihm enthaltenen Wirkstoff frei. Bei ihrer Forschung arbeiteten die Pharmazeuten mit Forschern der Medizinischen Fakultät der Saar-Uni, des Leibniz-Instituts für Neue Materialien und der Universität Marburg zusammen Ihre Forschungsergebnisse veröffentlichten die Wissenschaftler in der Fachzeitschrift Advanced Healthcare Materials. DOI: 10.1002/adhm.201700478

Ein Medikament wirkt nur, wenn es dort ankommt, wo es wirken soll. Wird ein Mittel inhaliert, muss der Wirkstoff in der Lunge zuerst die Hindernisse...

Im Focus: Exotische Quantenzustände: Physiker erzeugen erstmals optische „Töpfe" für ein Super-Photon

Physikern der Universität Bonn ist es gelungen, optische Mulden und komplexere Muster zu erzeugen, in die das Licht eines Bose-Einstein-Kondensates fließt. Die Herstellung solch sehr verlustarmer Strukturen für Licht ist eine Voraussetzung für komplexe Schaltkreise für Licht, beispielsweise für die Quanteninformationsverarbeitung einer neuen Computergeneration. Die Wissenschaftler stellen nun ihre Ergebnisse im Fachjournal „Nature Photonics“ vor.

Lichtteilchen (Photonen) kommen als winzige, unteilbare Portionen vor. Viele Tausend dieser Licht-Portionen lassen sich zu einem einzigen Super-Photon...

Im Focus: Exotic quantum states made from light: Physicists create optical “wells” for a super-photon

Physicists at the University of Bonn have managed to create optical hollows and more complex patterns into which the light of a Bose-Einstein condensate flows. The creation of such highly low-loss structures for light is a prerequisite for complex light circuits, such as for quantum information processing for a new generation of computers. The researchers are now presenting their results in the journal Nature Photonics.

Light particles (photons) occur as tiny, indivisible portions. Many thousands of these light portions can be merged to form a single super-photon if they are...

Im Focus: Wissenschaftler beleuchten den „anderen Hochtemperatur-Supraleiter“

Eine von Wissenschaftlern des Max-Planck-Instituts für Struktur und Dynamik der Materie (MPSD) geleitete Studie zeigt, dass Supraleitung und Ladungsdichtewellen in Verbindungen der wenig untersuchten Familie der Bismutate koexistieren können.

Diese Beobachtung eröffnet neue Perspektiven für ein vertieftes Verständnis des Phänomens der Hochtemperatur-Supraleitung, ein Thema, welches die Forschung der...

Im Focus: Tests der Quantenmechanik mit massiven Teilchen

Quantenmechanische Teilchen können sich wie Wellen verhalten und mehrere Wege gleichzeitig nehmen, um an ihr Ziel zu gelangen. Dieses Prinzip basiert auf Borns Regel, einem Grundpfeiler der Quantenmechanik; eine mögliche Abweichung hätte weitreichende Folgen und könnte ein Indikator für neue Phänomene in der Physik sein. WissenschafterInnen der Universität Wien und Tel Aviv haben nun diese Regel explizit mit Materiewellen überprüft, indem sie massive Teilchen an einer Kombination aus Einzel-, Doppel- und Dreifachspalten interferierten. Die Analyse bestätigt den Formalismus der etablierten Quantenmechanik und wurde im Journal "Science Advances" publiziert.

Die Quantenmechanik beschreibt sehr erfolgreich das Verhalten von Partikeln auf den kleinsten Masse- und Längenskalen. Die offensichtliche Unvereinbarkeit...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Eröffnung der INC.worX-Erlebniswelt während der Technologie- und Innovationsmanagement-Tagung 2017

16.08.2017 | Veranstaltungen

Sensibilisierungskampagne zu Pilzinfektionen

15.08.2017 | Veranstaltungen

Anbausysteme im Wandel: Europäische Ackerbaubetriebe müssen sich anpassen

15.08.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Neue Einblicke in die Welt der Trypanosomen

16.08.2017 | Biowissenschaften Chemie

Maschinensteuerung an Anwender: Intelligentes System für mobile Endgeräte in der Fertigung

16.08.2017 | Informationstechnologie

Komfortable Software für die Genomanalyse

16.08.2017 | Informationstechnologie