Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Das weltweit größte Archiv für Klimadaten für bis zu 500 Petabyte steht in Hamburg

08.05.2015

Das DKRZ nahm, unterstützt von IBM, ein neues hierarchisches Speichersystem (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb.

Spezialisten von IBM/Global Technology Services installierten dafür die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte.


Server (links) und 5 Petabyte Festplattten (rechts) für das High Performance Storage System am DKRZ

Böttinger, DKRZ


Einschub einer Festplatteneinheit für das High Performance Storage System am DKRZ

Böttinger, DKRZ

Das neue System ermöglicht den Transfer von Klimadaten zwischen Hochleistungsrechner und Archivsystem mit momentan bis zu 12 bzw. zukünftig 18 Gigabyte pro Sekunde.

Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Das DKRZ nahm im Dezember 2014, unterstützt durch IBM, die erste Ausbaustufe des neuen hierarchischen Speichermanagementsystems (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb. Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Schon im Herbst 2014 installierten Spezialisten von IBM/Global Technology Services die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte. Alleine der Cache, ein temporärer Zwischenspeicher, entspricht der Speicherkapazität von 5.000 gut ausgestatteten Notebook-Computern!

Die IBM-Spezialisten migrierten die Daten des bisher am DKRZ eingesetzten kleineren HPSS-Systems auf das neue System während einer Betriebsunterbrechung von nicht einmal zwei Tagen. Das neue System ermöglicht einen deutlich höheren aggregierten Durchsatz (Lesen/Schreiben), so dass die Klimadaten nun mit bis zu 12 Gigabyte pro Sekunde zwischen Hochleistungsrechner und Archivsystem fließen können. Bis Herbst dieses Jahres erfolgt ein weiterer Ausbau, der dann einen Gesamtdurchsatz von bis zu 18 Gigabyte pro Sekunde ermöglichen wird.

Momentan enthalten die Bandbibliotheken am DKRZ ein Datenvolumen von etwa 40 Petabyte, verteilt über 20 Millionen Dateien. HPSS ist in der Lage, innerhalb der nächsten fünf Jahre das erwartete massive Datenwachstum in der Klimaforschung mit einer geschätzten jährlichen Datenproduktion von etwa 75 Petabyte und einem Gesamtvolumen von fast 500 Petabyte zu bewältigen – passend zur erwarteten Steigerung der Datenproduktion durch das neue Hochleistungsrechnersystem für Erdsystemforschung 3 (HLRE-3), das momentan am DKRZ installiert wird.

Der HSM-Ausbau ist Teil des Gesamtprojektes HLRE-3, welches mit insgesamt 41 Millionen - zu zwei Dritteln vom Bundesministerium für Bildung und Forschung und zu einem Drittel von der Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF) - finanziert wird. Die Finanzmittel werden dem DKRZ dabei über das Helmholtz-Zentrum Geesthacht – Zentrum für Material- und Küstenforschung (HZG) zur Verfügung gestellt.

HPSS ist das Ergebnis einer 20-jährigen Zusammenarbeit von IBM und den fünf nationalen US-Laboratorien des Department of Energy (DOE): Lawrence Livermore, Los Alamos, Sandia, Lawrence Berkeley und Oak Ridge (weitere Informationen: www.hpss-collaboration.org ).

HPSS wird für sehr große wissenschaftliche Datenarchive an Forschungseinrichtungen und Universitäten, für digitale Bildbibliotheken, für Wettervorhersagesysteme sowie in den Bereichen Verteidigung und nationale Sicherheit eingesetzt. Weltweit nutzen Organisationen mit rechen- und datenintensiver Datenverarbeitung HPSS. In Europa und Deutschland sind das u.a. das European Centre for Medium Range Weather Forecasts (ECMWF), das Karlsruher Institut für Technologie (KIT), der Deutsche Wetterdienst (DWD) und das Rechenzentrum Garching der Max-Planck-Gesellschaft (RZG).

Weitere Informationen:

https://www.dkrz.de/Klimarechner/datenarchiv Informationen zum Datenarchiv des DKRZ

Jana Meyer | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Neuer 3D Portrayal Service Standard veröffentlicht
20.02.2018 | Fraunhofer-Institut für Graphische Datenverarbeitung IGD

nachricht KIT baut European Open Science Cloud mit auf
19.02.2018 | Karlsruher Institut für Technologie

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Die Brücke, die sich dehnen kann

Brücken verformen sich, daher baut man normalerweise Dehnfugen ein. An der TU Wien wurde eine Technik entwickelt, die ohne Fugen auskommt und dadurch viel Geld und Aufwand spart.

Wer im Auto mit flottem Tempo über eine Brücke fährt, spürt es sofort: Meist rumpelt man am Anfang und am Ende der Brücke über eine Dehnfuge, die dort...

Im Focus: Eine Frage der Dynamik

Die meisten Ionenkanäle lassen nur eine ganz bestimmte Sorte von Ionen passieren, zum Beispiel Natrium- oder Kaliumionen. Daneben gibt es jedoch eine Reihe von Kanälen, die für beide Ionensorten durchlässig sind. Wie den Eiweißmolekülen das gelingt, hat jetzt ein Team um die Wissenschaftlerin Han Sun (FMP) und die Arbeitsgruppe von Adam Lange (FMP) herausgefunden. Solche nicht-selektiven Kanäle besäßen anders als die selektiven eine dynamische Struktur ihres Selektivitätsfilters, berichten die FMP-Forscher im Fachblatt Nature Communications. Dieser Filter könne zwei unterschiedliche Formen ausbilden, die jeweils nur eine der beiden Ionensorten passieren lassen.

Ionenkanäle sind für den Organismus von herausragender Bedeutung. Wenn zum Beispiel Sinnesreize wahrgenommen, ans Gehirn weitergeleitet und dort verarbeitet...

Im Focus: In best circles: First integrated circuit from self-assembled polymer

For the first time, a team of researchers at the Max-Planck Institute (MPI) for Polymer Research in Mainz, Germany, has succeeded in making an integrated circuit (IC) from just a monolayer of a semiconducting polymer via a bottom-up, self-assembly approach.

In the self-assembly process, the semiconducting polymer arranges itself into an ordered monolayer in a transistor. The transistors are binary switches used...

Im Focus: Erste integrierte Schaltkreise (IC) aus Plastik

Erstmals ist es einem Forscherteam am Max-Planck-Institut (MPI) für Polymerforschung in Mainz gelungen, einen integrierten Schaltkreis (IC) aus einer monomolekularen Schicht eines Halbleiterpolymers herzustellen. Dies erfolgte in einem sogenannten Bottom-Up-Ansatz durch einen selbstanordnenden Aufbau.

In diesem selbstanordnenden Aufbauprozess ordnen sich die Halbleiterpolymere als geordnete monomolekulare Schicht in einem Transistor an. Transistoren sind...

Im Focus: Quantenbits per Licht übertragen

Physiker aus Princeton, Konstanz und Maryland koppeln Quantenbits und Licht

Der Quantencomputer rückt näher: Neue Forschungsergebnisse zeigen das Potenzial von Licht als Medium, um Informationen zwischen sogenannten Quantenbits...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

Digitalisierung auf dem Prüfstand: Hochkarätige Konferenz zu Empowerment in der agilen Arbeitswelt

20.02.2018 | Veranstaltungen

Aachener Optiktage: Expertenwissen in zwei Konferenzen für die Glas- und Kunststoffoptikfertigung

19.02.2018 | Veranstaltungen

Konferenz "Die Mobilität von morgen gestalten"

19.02.2018 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Highlight der Halbleiter-Forschung

20.02.2018 | Physik Astronomie

Wie verbessert man die Nahtqualität lasergeschweißter Textilien?

20.02.2018 | Materialwissenschaften

Der Bluthochdruckschalter in der Nebenniere

20.02.2018 | Biowissenschaften Chemie

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics