Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Das weltweit größte Archiv für Klimadaten für bis zu 500 Petabyte steht in Hamburg

08.05.2015

Das DKRZ nahm, unterstützt von IBM, ein neues hierarchisches Speichersystem (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb.

Spezialisten von IBM/Global Technology Services installierten dafür die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte.


Server (links) und 5 Petabyte Festplattten (rechts) für das High Performance Storage System am DKRZ

Böttinger, DKRZ


Einschub einer Festplatteneinheit für das High Performance Storage System am DKRZ

Böttinger, DKRZ

Das neue System ermöglicht den Transfer von Klimadaten zwischen Hochleistungsrechner und Archivsystem mit momentan bis zu 12 bzw. zukünftig 18 Gigabyte pro Sekunde.

Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Das DKRZ nahm im Dezember 2014, unterstützt durch IBM, die erste Ausbaustufe des neuen hierarchischen Speichermanagementsystems (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb. Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Schon im Herbst 2014 installierten Spezialisten von IBM/Global Technology Services die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte. Alleine der Cache, ein temporärer Zwischenspeicher, entspricht der Speicherkapazität von 5.000 gut ausgestatteten Notebook-Computern!

Die IBM-Spezialisten migrierten die Daten des bisher am DKRZ eingesetzten kleineren HPSS-Systems auf das neue System während einer Betriebsunterbrechung von nicht einmal zwei Tagen. Das neue System ermöglicht einen deutlich höheren aggregierten Durchsatz (Lesen/Schreiben), so dass die Klimadaten nun mit bis zu 12 Gigabyte pro Sekunde zwischen Hochleistungsrechner und Archivsystem fließen können. Bis Herbst dieses Jahres erfolgt ein weiterer Ausbau, der dann einen Gesamtdurchsatz von bis zu 18 Gigabyte pro Sekunde ermöglichen wird.

Momentan enthalten die Bandbibliotheken am DKRZ ein Datenvolumen von etwa 40 Petabyte, verteilt über 20 Millionen Dateien. HPSS ist in der Lage, innerhalb der nächsten fünf Jahre das erwartete massive Datenwachstum in der Klimaforschung mit einer geschätzten jährlichen Datenproduktion von etwa 75 Petabyte und einem Gesamtvolumen von fast 500 Petabyte zu bewältigen – passend zur erwarteten Steigerung der Datenproduktion durch das neue Hochleistungsrechnersystem für Erdsystemforschung 3 (HLRE-3), das momentan am DKRZ installiert wird.

Der HSM-Ausbau ist Teil des Gesamtprojektes HLRE-3, welches mit insgesamt 41 Millionen - zu zwei Dritteln vom Bundesministerium für Bildung und Forschung und zu einem Drittel von der Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF) - finanziert wird. Die Finanzmittel werden dem DKRZ dabei über das Helmholtz-Zentrum Geesthacht – Zentrum für Material- und Küstenforschung (HZG) zur Verfügung gestellt.

HPSS ist das Ergebnis einer 20-jährigen Zusammenarbeit von IBM und den fünf nationalen US-Laboratorien des Department of Energy (DOE): Lawrence Livermore, Los Alamos, Sandia, Lawrence Berkeley und Oak Ridge (weitere Informationen: www.hpss-collaboration.org ).

HPSS wird für sehr große wissenschaftliche Datenarchive an Forschungseinrichtungen und Universitäten, für digitale Bildbibliotheken, für Wettervorhersagesysteme sowie in den Bereichen Verteidigung und nationale Sicherheit eingesetzt. Weltweit nutzen Organisationen mit rechen- und datenintensiver Datenverarbeitung HPSS. In Europa und Deutschland sind das u.a. das European Centre for Medium Range Weather Forecasts (ECMWF), das Karlsruher Institut für Technologie (KIT), der Deutsche Wetterdienst (DWD) und das Rechenzentrum Garching der Max-Planck-Gesellschaft (RZG).

Weitere Informationen:

https://www.dkrz.de/Klimarechner/datenarchiv Informationen zum Datenarchiv des DKRZ

Jana Meyer | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Warnsystem KATWARN startet international vernetzten Betrieb
27.06.2017 | FOKUS - Fraunhofer-Institut für Offene Kommunikationssysteme

nachricht Überschwemmungen genau in den Blick nehmen
27.06.2017 | Technische Universität Chemnitz

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Das Auto lernt vorauszudenken

Ein neues Christian Doppler Labor an der TU Wien beschäftigt sich mit der Regelung und Überwachung von Antriebssystemen – mit Unterstützung des Wissenschaftsministeriums und von AVL List.

Wer ein Auto fährt, trifft ständig Entscheidungen: Man gibt Gas, bremst und dreht am Lenkrad. Doch zusätzlich muss auch das Fahrzeug selbst ununterbrochen...

Im Focus: Vorbild Delfinhaut: Elastisches Material vermindert Reibungswiderstand bei Schiffen

Für eine elegante und ökonomische Fortbewegung im Wasser geben Delfine den Wissenschaftlern ein exzellentes Vorbild. Die flinken Säuger erzielen erstaunliche Schwimmleistungen, deren Ursachen einerseits in der Körperform und andererseits in den elastischen Eigenschaften ihrer Haut zu finden sind. Letzteres Phänomen ist bereits seit Mitte des vorigen Jahrhunderts bekannt, konnte aber bislang nicht erfolgreich auf technische Anwendungen übertragen werden. Experten des Fraunhofer IFAM und der HSVA GmbH haben nun gemeinsam mit zwei weiteren Forschungspartnern eine Oberflächenbeschichtung entwickelt, die ähnlich wie die Delfinhaut den Strömungswiderstand im Wasser messbar verringert.

Delfine haben eine glatte Haut mit einer darunter liegenden dicken, nachgiebigen Speckschicht. Diese speziellen Hauteigenschaften führen zu einer signifikanten...

Im Focus: Kaltes Wasser: Und es bewegt sich doch!

Bei minus 150 Grad Celsius flüssiges Wasser beobachten, das beherrschen Chemiker der Universität Innsbruck. Nun haben sie gemeinsam mit Forschern in Schweden und Deutschland experimentell nachgewiesen, dass zwei unterschiedliche Formen von Wasser existieren, die sich in Struktur und Dichte stark unterscheiden.

Die Wissenschaft sucht seit langem nach dem Grund, warum ausgerechnet Wasser das Molekül des Lebens ist. Mit ausgefeilten Techniken gelingt es Forschern am...

Im Focus: Hyperspektrale Bildgebung zur 100%-Inspektion von Oberflächen und Schichten

„Mehr sehen, als das Auge erlaubt“, das ist ein Anspruch, dem die Hyperspektrale Bildgebung (HSI) gerecht wird. Die neue Kameratechnologie ermöglicht, Licht nicht nur ortsaufgelöst, sondern simultan auch spektral aufgelöst aufzuzeichnen. Das bedeutet, dass zur Informationsgewinnung nicht nur herkömmlich drei spektrale Bänder (RGB), sondern bis zu eintausend genutzt werden.

Das Fraunhofer IWS Dresden entwickelt eine integrierte HSI-Lösung, die das Potenzial der HSI-Technologie in zuverlässige Hard- und Software überführt und für...

Im Focus: Can we see monkeys from space? Emerging technologies to map biodiversity

An international team of scientists has proposed a new multi-disciplinary approach in which an array of new technologies will allow us to map biodiversity and the risks that wildlife is facing at the scale of whole landscapes. The findings are published in Nature Ecology and Evolution. This international research is led by the Kunming Institute of Zoology from China, University of East Anglia, University of Leicester and the Leibniz Institute for Zoo and Wildlife Research.

Using a combination of satellite and ground data, the team proposes that it is now possible to map biodiversity with an accuracy that has not been previously...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Internationale Fachkonferenz IEEE ICDCM - Lokale Gleichstromnetze bereichern die Energieversorgung

27.06.2017 | Veranstaltungen

Internationale Konferenz zu aktuellen Fragen der Stammzellforschung

27.06.2017 | Veranstaltungen

Fraunhofer FKIE ist Gastgeber für internationale Experten Digitaler Mensch-Modelle

27.06.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Umfangreiche Fördermaßnahmen für Forschung an Chromatin, Nebenniere und Krebstherapie

28.06.2017 | Förderungen Preise

Immunabwehr: Wie Proteine Membranbläschen zusammenbringen

28.06.2017 | Biowissenschaften Chemie

Das Auto lernt vorauszudenken

28.06.2017 | Maschinenbau