Das weltweit größte Archiv für Klimadaten für bis zu 500 Petabyte steht in Hamburg

Server (links) und 5 Petabyte Festplattten (rechts) für das High Performance Storage System am DKRZ Böttinger, DKRZ

Spezialisten von IBM/Global Technology Services installierten dafür die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte.

Das neue System ermöglicht den Transfer von Klimadaten zwischen Hochleistungsrechner und Archivsystem mit momentan bis zu 12 bzw. zukünftig 18 Gigabyte pro Sekunde.

Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Das DKRZ nahm im Dezember 2014, unterstützt durch IBM, die erste Ausbaustufe des neuen hierarchischen Speichermanagementsystems (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb. Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Schon im Herbst 2014 installierten Spezialisten von IBM/Global Technology Services die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte. Alleine der Cache, ein temporärer Zwischenspeicher, entspricht der Speicherkapazität von 5.000 gut ausgestatteten Notebook-Computern!

Die IBM-Spezialisten migrierten die Daten des bisher am DKRZ eingesetzten kleineren HPSS-Systems auf das neue System während einer Betriebsunterbrechung von nicht einmal zwei Tagen. Das neue System ermöglicht einen deutlich höheren aggregierten Durchsatz (Lesen/Schreiben), so dass die Klimadaten nun mit bis zu 12 Gigabyte pro Sekunde zwischen Hochleistungsrechner und Archivsystem fließen können. Bis Herbst dieses Jahres erfolgt ein weiterer Ausbau, der dann einen Gesamtdurchsatz von bis zu 18 Gigabyte pro Sekunde ermöglichen wird.

Momentan enthalten die Bandbibliotheken am DKRZ ein Datenvolumen von etwa 40 Petabyte, verteilt über 20 Millionen Dateien. HPSS ist in der Lage, innerhalb der nächsten fünf Jahre das erwartete massive Datenwachstum in der Klimaforschung mit einer geschätzten jährlichen Datenproduktion von etwa 75 Petabyte und einem Gesamtvolumen von fast 500 Petabyte zu bewältigen – passend zur erwarteten Steigerung der Datenproduktion durch das neue Hochleistungsrechnersystem für Erdsystemforschung 3 (HLRE-3), das momentan am DKRZ installiert wird.

Der HSM-Ausbau ist Teil des Gesamtprojektes HLRE-3, welches mit insgesamt 41 Millionen – zu zwei Dritteln vom Bundesministerium für Bildung und Forschung und zu einem Drittel von der Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF) – finanziert wird. Die Finanzmittel werden dem DKRZ dabei über das Helmholtz-Zentrum Geesthacht – Zentrum für Material- und Küstenforschung (HZG) zur Verfügung gestellt.

HPSS ist das Ergebnis einer 20-jährigen Zusammenarbeit von IBM und den fünf nationalen US-Laboratorien des Department of Energy (DOE): Lawrence Livermore, Los Alamos, Sandia, Lawrence Berkeley und Oak Ridge (weitere Informationen: www.hpss-collaboration.org ).

HPSS wird für sehr große wissenschaftliche Datenarchive an Forschungseinrichtungen und Universitäten, für digitale Bildbibliotheken, für Wettervorhersagesysteme sowie in den Bereichen Verteidigung und nationale Sicherheit eingesetzt. Weltweit nutzen Organisationen mit rechen- und datenintensiver Datenverarbeitung HPSS. In Europa und Deutschland sind das u.a. das European Centre for Medium Range Weather Forecasts (ECMWF), das Karlsruher Institut für Technologie (KIT), der Deutsche Wetterdienst (DWD) und das Rechenzentrum Garching der Max-Planck-Gesellschaft (RZG).

https://www.dkrz.de/Klimarechner/datenarchiv Informationen zum Datenarchiv des DKRZ

Media Contact

Jana Meyer idw - Informationsdienst Wissenschaft

Alle Nachrichten aus der Kategorie: Informationstechnologie

Neuerungen und Entwicklungen auf den Gebieten der Informations- und Datenverarbeitung sowie der dafür benötigten Hardware finden Sie hier zusammengefasst.

Unter anderem erhalten Sie Informationen aus den Teilbereichen: IT-Dienstleistungen, IT-Architektur, IT-Management und Telekommunikation.

Zurück zur Startseite

Kommentare (0)

Schreiben Sie einen Kommentar

Neueste Beiträge

Mit dem Klimawandel Schritt halten?

GEOMAR-Studie zeigt Anpassungsfähigkeit von Ruderfußkrebsen, solange nicht zu viele Stressfaktoren gleichzeitig auftreten. Die für die Nahrungsnetze der Ozeane wichtigen Copepoden können sich genetisch an wärmere und saurere Meere anpassen. Dies…

Arktisches Meereis weiter auf dem Rückzug

Der heiße Sommer 2022 auf der Nordhalbkugel wirkt sich zwar nur moderat auf die Meereisbedeckung aus, der Negativtrend setzt sich aber weiter fort. Am 16. September erreichte das Meereis in…

Mehrjährige Blühstreifen in Kombination mit Hecken

… unterstützen Wildbienen in Agrarlandschaften am besten. Blühzeitpunkte von Blühstreifen und Hecken ergänzen sich gegenseitig und fördern Bienendiversität. Vivien von Königslöw: „Ergebnisse legen nahe, bevorzugt mehrjährige Blühstreifen statt einjährige Blühstreifen…

Partner & Förderer