Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Das weltweit größte Archiv für Klimadaten für bis zu 500 Petabyte steht in Hamburg

08.05.2015

Das DKRZ nahm, unterstützt von IBM, ein neues hierarchisches Speichersystem (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb.

Spezialisten von IBM/Global Technology Services installierten dafür die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte.


Server (links) und 5 Petabyte Festplattten (rechts) für das High Performance Storage System am DKRZ

Böttinger, DKRZ


Einschub einer Festplatteneinheit für das High Performance Storage System am DKRZ

Böttinger, DKRZ

Das neue System ermöglicht den Transfer von Klimadaten zwischen Hochleistungsrechner und Archivsystem mit momentan bis zu 12 bzw. zukünftig 18 Gigabyte pro Sekunde.

Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Das DKRZ nahm im Dezember 2014, unterstützt durch IBM, die erste Ausbaustufe des neuen hierarchischen Speichermanagementsystems (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb. Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Schon im Herbst 2014 installierten Spezialisten von IBM/Global Technology Services die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte. Alleine der Cache, ein temporärer Zwischenspeicher, entspricht der Speicherkapazität von 5.000 gut ausgestatteten Notebook-Computern!

Die IBM-Spezialisten migrierten die Daten des bisher am DKRZ eingesetzten kleineren HPSS-Systems auf das neue System während einer Betriebsunterbrechung von nicht einmal zwei Tagen. Das neue System ermöglicht einen deutlich höheren aggregierten Durchsatz (Lesen/Schreiben), so dass die Klimadaten nun mit bis zu 12 Gigabyte pro Sekunde zwischen Hochleistungsrechner und Archivsystem fließen können. Bis Herbst dieses Jahres erfolgt ein weiterer Ausbau, der dann einen Gesamtdurchsatz von bis zu 18 Gigabyte pro Sekunde ermöglichen wird.

Momentan enthalten die Bandbibliotheken am DKRZ ein Datenvolumen von etwa 40 Petabyte, verteilt über 20 Millionen Dateien. HPSS ist in der Lage, innerhalb der nächsten fünf Jahre das erwartete massive Datenwachstum in der Klimaforschung mit einer geschätzten jährlichen Datenproduktion von etwa 75 Petabyte und einem Gesamtvolumen von fast 500 Petabyte zu bewältigen – passend zur erwarteten Steigerung der Datenproduktion durch das neue Hochleistungsrechnersystem für Erdsystemforschung 3 (HLRE-3), das momentan am DKRZ installiert wird.

Der HSM-Ausbau ist Teil des Gesamtprojektes HLRE-3, welches mit insgesamt 41 Millionen - zu zwei Dritteln vom Bundesministerium für Bildung und Forschung und zu einem Drittel von der Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF) - finanziert wird. Die Finanzmittel werden dem DKRZ dabei über das Helmholtz-Zentrum Geesthacht – Zentrum für Material- und Küstenforschung (HZG) zur Verfügung gestellt.

HPSS ist das Ergebnis einer 20-jährigen Zusammenarbeit von IBM und den fünf nationalen US-Laboratorien des Department of Energy (DOE): Lawrence Livermore, Los Alamos, Sandia, Lawrence Berkeley und Oak Ridge (weitere Informationen: www.hpss-collaboration.org ).

HPSS wird für sehr große wissenschaftliche Datenarchive an Forschungseinrichtungen und Universitäten, für digitale Bildbibliotheken, für Wettervorhersagesysteme sowie in den Bereichen Verteidigung und nationale Sicherheit eingesetzt. Weltweit nutzen Organisationen mit rechen- und datenintensiver Datenverarbeitung HPSS. In Europa und Deutschland sind das u.a. das European Centre for Medium Range Weather Forecasts (ECMWF), das Karlsruher Institut für Technologie (KIT), der Deutsche Wetterdienst (DWD) und das Rechenzentrum Garching der Max-Planck-Gesellschaft (RZG).

Weitere Informationen:

https://www.dkrz.de/Klimarechner/datenarchiv Informationen zum Datenarchiv des DKRZ

Jana Meyer | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Schnelle Time-to-Market durch standardisierte Datacenter-Container
28.03.2017 | Rittal GmbH & Co. KG

nachricht Modellfabrik Industrie 4.0: Forschungs- und Trainingsplattform für Wissenschaft und Wirtschaft
28.03.2017 | Hochschule Konstanz

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Quantenkommunikation: Wie man das Rauschen überlistet

Wie kann man Quanteninformation zuverlässig übertragen, wenn man in der Verbindungsleitung mit störendem Rauschen zu kämpfen hat? Uni Innsbruck und TU Wien präsentieren neue Lösungen.

Wir kommunizieren heute mit Hilfe von Funksignalen, wir schicken elektrische Impulse durch lange Leitungen – doch das könnte sich bald ändern. Derzeit wird...

Im Focus: Entwicklung miniaturisierter Lichtmikroskope - „ChipScope“ will ins Innere lebender Zellen blicken

Das Institut für Halbleitertechnik und das Institut für Physikalische und Theoretische Chemie, beide Mitglieder des Laboratory for Emerging Nanometrology (LENA), der Technischen Universität Braunschweig, sind Partner des kürzlich gestarteten EU-Forschungsprojektes ChipScope. Ziel ist es, ein neues, extrem kleines Lichtmikroskop zu entwickeln. Damit soll das Innere lebender Zellen in Echtzeit beobachtet werden können. Sieben Institute in fünf europäischen Ländern beteiligen sich über die nächsten vier Jahre an diesem technologisch anspruchsvollen Projekt.

Die zukünftigen Einsatzmöglichkeiten des neu zu entwickelnden und nur wenige Millimeter großen Mikroskops sind äußerst vielfältig. Die Projektpartner haben...

Im Focus: A Challenging European Research Project to Develop New Tiny Microscopes

The Institute of Semiconductor Technology and the Institute of Physical and Theoretical Chemistry, both members of the Laboratory for Emerging Nanometrology (LENA), at Technische Universität Braunschweig are partners in a new European research project entitled ChipScope, which aims to develop a completely new and extremely small optical microscope capable of observing the interior of living cells in real time. A consortium of 7 partners from 5 countries will tackle this issue with very ambitious objectives during a four-year research program.

To demonstrate the usefulness of this new scientific tool, at the end of the project the developed chip-sized microscope will be used to observe in real-time...

Im Focus: Das anwachsende Ende der Ordnung

Physiker aus Konstanz weisen sogenannte Mermin-Wagner-Fluktuationen experimentell nach

Ein Kristall besteht aus perfekt angeordneten Teilchen, aus einer lückenlos symmetrischen Atomstruktur – dies besagt die klassische Definition aus der Physik....

Im Focus: Wegweisende Erkenntnisse für die Biomedizin: NAD⁺ hilft bei Reparatur geschädigter Erbinformationen

Eine internationale Forschergruppe mit dem Bayreuther Biochemiker Prof. Dr. Clemens Steegborn präsentiert in 'Science' neue, für die Biomedizin wegweisende Forschungsergebnisse zur Rolle des Moleküls NAD⁺ bei der Korrektur von Schäden am Erbgut.

Die Zellen von Menschen und Tieren können Schäden an der DNA, dem Träger der Erbinformation, bis zu einem gewissen Umfang selbst reparieren. Diese Fähigkeit...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Industriearbeitskreis »Prozesskontrolle in der Lasermaterialbearbeitung ICPC« lädt nach Aachen ein

28.03.2017 | Veranstaltungen

Neue Methoden für zuverlässige Mikroelektronik: Internationale Experten treffen sich in Halle

28.03.2017 | Veranstaltungen

Wie Menschen wachsen

27.03.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Organisch-anorganische Heterostrukturen mit programmierbaren elektronischen Eigenschaften

29.03.2017 | Energie und Elektrotechnik

Klein bestimmt über groß?

29.03.2017 | Physik Astronomie

OLED-Produktionsanlage aus einer Hand

29.03.2017 | Messenachrichten