Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Das weltweit größte Archiv für Klimadaten für bis zu 500 Petabyte steht in Hamburg

08.05.2015

Das DKRZ nahm, unterstützt von IBM, ein neues hierarchisches Speichersystem (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb.

Spezialisten von IBM/Global Technology Services installierten dafür die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte.


Server (links) und 5 Petabyte Festplattten (rechts) für das High Performance Storage System am DKRZ

Böttinger, DKRZ


Einschub einer Festplatteneinheit für das High Performance Storage System am DKRZ

Böttinger, DKRZ

Das neue System ermöglicht den Transfer von Klimadaten zwischen Hochleistungsrechner und Archivsystem mit momentan bis zu 12 bzw. zukünftig 18 Gigabyte pro Sekunde.

Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Das DKRZ nahm im Dezember 2014, unterstützt durch IBM, die erste Ausbaustufe des neuen hierarchischen Speichermanagementsystems (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb. Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Schon im Herbst 2014 installierten Spezialisten von IBM/Global Technology Services die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte. Alleine der Cache, ein temporärer Zwischenspeicher, entspricht der Speicherkapazität von 5.000 gut ausgestatteten Notebook-Computern!

Die IBM-Spezialisten migrierten die Daten des bisher am DKRZ eingesetzten kleineren HPSS-Systems auf das neue System während einer Betriebsunterbrechung von nicht einmal zwei Tagen. Das neue System ermöglicht einen deutlich höheren aggregierten Durchsatz (Lesen/Schreiben), so dass die Klimadaten nun mit bis zu 12 Gigabyte pro Sekunde zwischen Hochleistungsrechner und Archivsystem fließen können. Bis Herbst dieses Jahres erfolgt ein weiterer Ausbau, der dann einen Gesamtdurchsatz von bis zu 18 Gigabyte pro Sekunde ermöglichen wird.

Momentan enthalten die Bandbibliotheken am DKRZ ein Datenvolumen von etwa 40 Petabyte, verteilt über 20 Millionen Dateien. HPSS ist in der Lage, innerhalb der nächsten fünf Jahre das erwartete massive Datenwachstum in der Klimaforschung mit einer geschätzten jährlichen Datenproduktion von etwa 75 Petabyte und einem Gesamtvolumen von fast 500 Petabyte zu bewältigen – passend zur erwarteten Steigerung der Datenproduktion durch das neue Hochleistungsrechnersystem für Erdsystemforschung 3 (HLRE-3), das momentan am DKRZ installiert wird.

Der HSM-Ausbau ist Teil des Gesamtprojektes HLRE-3, welches mit insgesamt 41 Millionen - zu zwei Dritteln vom Bundesministerium für Bildung und Forschung und zu einem Drittel von der Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF) - finanziert wird. Die Finanzmittel werden dem DKRZ dabei über das Helmholtz-Zentrum Geesthacht – Zentrum für Material- und Küstenforschung (HZG) zur Verfügung gestellt.

HPSS ist das Ergebnis einer 20-jährigen Zusammenarbeit von IBM und den fünf nationalen US-Laboratorien des Department of Energy (DOE): Lawrence Livermore, Los Alamos, Sandia, Lawrence Berkeley und Oak Ridge (weitere Informationen: www.hpss-collaboration.org ).

HPSS wird für sehr große wissenschaftliche Datenarchive an Forschungseinrichtungen und Universitäten, für digitale Bildbibliotheken, für Wettervorhersagesysteme sowie in den Bereichen Verteidigung und nationale Sicherheit eingesetzt. Weltweit nutzen Organisationen mit rechen- und datenintensiver Datenverarbeitung HPSS. In Europa und Deutschland sind das u.a. das European Centre for Medium Range Weather Forecasts (ECMWF), das Karlsruher Institut für Technologie (KIT), der Deutsche Wetterdienst (DWD) und das Rechenzentrum Garching der Max-Planck-Gesellschaft (RZG).

Weitere Informationen:

https://www.dkrz.de/Klimarechner/datenarchiv Informationen zum Datenarchiv des DKRZ

Jana Meyer | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Volle Konzentration am Steuer
25.11.2016 | Leibniz-Institut für Arbeitsforschung an der TU Dortmund

nachricht Warum Reibung von der Zahl der Schichten abhängt
24.11.2016 | Karlsruher Institut für Technologie

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Gravitationswellen als Sensor für Dunkle Materie

Die mit der Entdeckung von Gravitationswellen entstandene neue Disziplin der Gravitationswellen-Astronomie bekommt eine weitere Aufgabe: die Suche nach Dunkler Materie. Diese könnte aus einem Bose-Einstein-Kondensat sehr leichter Teilchen bestehen. Wie Rechnungen zeigen, würden Gravitationswellen gebremst, wenn sie durch derartige Dunkle Materie laufen. Dies führt zu einer Verspätung von Gravitationswellen relativ zu Licht, die bereits mit den heutigen Detektoren messbar sein sollte.

Im Universum muss es gut fünfmal mehr unsichtbare als sichtbare Materie geben. Woraus diese Dunkle Materie besteht, ist immer noch unbekannt. Die...

Im Focus: Significantly more productivity in USP lasers

In recent years, lasers with ultrashort pulses (USP) down to the femtosecond range have become established on an industrial scale. They could advance some applications with the much-lauded “cold ablation” – if that meant they would then achieve more throughput. A new generation of process engineering that will address this issue in particular will be discussed at the “4th UKP Workshop – Ultrafast Laser Technology” in April 2017.

Even back in the 1990s, scientists were comparing materials processing with nanosecond, picosecond and femtosesecond pulses. The result was surprising:...

Im Focus: Wie sich Zellen gegen Salmonellen verteidigen

Bioinformatiker der Goethe-Universität haben das erste mathematische Modell für einen zentralen Verteidigungsmechanismus der Zelle gegen das Bakterium Salmonella entwickelt. Sie können ihren experimentell arbeitenden Kollegen damit wertvolle Anregungen zur Aufklärung der beteiligten Signalwege geben.

Jedes Jahr sind Salmonellen weltweit für Millionen von Infektionen und tausende Todesfälle verantwortlich. Die Körperzellen können sich aber gegen die...

Im Focus: Shape matters when light meets atom

Mapping the interaction of a single atom with a single photon may inform design of quantum devices

Have you ever wondered how you see the world? Vision is about photons of light, which are packets of energy, interacting with the atoms or molecules in what...

Im Focus: Greifswalder Forscher dringen mit superauflösendem Mikroskop in zellulären Mikrokosmos ein

Das Institut für Anatomie und Zellbiologie weiht am Montag, 05.12.2016, mit einem wissenschaftlichen Symposium das erste Superresolution-Mikroskop in Greifswald ein. Das Forschungsmikroskop wurde von der Deutschen Forschungsgemeinschaft (DFG) und dem Land Mecklenburg-Vorpommern finanziert. Nun können die Greifswalder Wissenschaftler Strukturen bis zu einer Größe von einigen Millionstel Millimetern mittels Laserlicht sichtbar machen.

Weit über hundert Jahre lang galt die von Ernst Abbe 1873 publizierte Theorie zur Auflösungsgrenze von Lichtmikroskopen als ein in Stein gemeißeltes Gesetz....

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Wie aus reinen Daten ein verständliches Bild entsteht

05.12.2016 | Veranstaltungen

Von „Coopetition“ bis „Digitale Union“ – Die Fertigungsindustrien im digitalen Wandel

02.12.2016 | Veranstaltungen

Experten diskutieren Perspektiven schrumpfender Regionen

01.12.2016 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Innovationen für eine nachhaltige Forstwirtschaft

06.12.2016 | Agrar- Forstwissenschaften

Diabetesforschung: Neuer Mechanismus zur Regulation des Insulin-Stoffwechsels gefunden

06.12.2016 | Biowissenschaften Chemie

Was nach der Befruchtung im Zellkern passiert

06.12.2016 | Biowissenschaften Chemie