Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Das weltweit größte Archiv für Klimadaten für bis zu 500 Petabyte steht in Hamburg

08.05.2015

Das DKRZ nahm, unterstützt von IBM, ein neues hierarchisches Speichersystem (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb.

Spezialisten von IBM/Global Technology Services installierten dafür die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte.


Server (links) und 5 Petabyte Festplattten (rechts) für das High Performance Storage System am DKRZ

Böttinger, DKRZ


Einschub einer Festplatteneinheit für das High Performance Storage System am DKRZ

Böttinger, DKRZ

Das neue System ermöglicht den Transfer von Klimadaten zwischen Hochleistungsrechner und Archivsystem mit momentan bis zu 12 bzw. zukünftig 18 Gigabyte pro Sekunde.

Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Das DKRZ nahm im Dezember 2014, unterstützt durch IBM, die erste Ausbaustufe des neuen hierarchischen Speichermanagementsystems (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb. Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Schon im Herbst 2014 installierten Spezialisten von IBM/Global Technology Services die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte. Alleine der Cache, ein temporärer Zwischenspeicher, entspricht der Speicherkapazität von 5.000 gut ausgestatteten Notebook-Computern!

Die IBM-Spezialisten migrierten die Daten des bisher am DKRZ eingesetzten kleineren HPSS-Systems auf das neue System während einer Betriebsunterbrechung von nicht einmal zwei Tagen. Das neue System ermöglicht einen deutlich höheren aggregierten Durchsatz (Lesen/Schreiben), so dass die Klimadaten nun mit bis zu 12 Gigabyte pro Sekunde zwischen Hochleistungsrechner und Archivsystem fließen können. Bis Herbst dieses Jahres erfolgt ein weiterer Ausbau, der dann einen Gesamtdurchsatz von bis zu 18 Gigabyte pro Sekunde ermöglichen wird.

Momentan enthalten die Bandbibliotheken am DKRZ ein Datenvolumen von etwa 40 Petabyte, verteilt über 20 Millionen Dateien. HPSS ist in der Lage, innerhalb der nächsten fünf Jahre das erwartete massive Datenwachstum in der Klimaforschung mit einer geschätzten jährlichen Datenproduktion von etwa 75 Petabyte und einem Gesamtvolumen von fast 500 Petabyte zu bewältigen – passend zur erwarteten Steigerung der Datenproduktion durch das neue Hochleistungsrechnersystem für Erdsystemforschung 3 (HLRE-3), das momentan am DKRZ installiert wird.

Der HSM-Ausbau ist Teil des Gesamtprojektes HLRE-3, welches mit insgesamt 41 Millionen - zu zwei Dritteln vom Bundesministerium für Bildung und Forschung und zu einem Drittel von der Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF) - finanziert wird. Die Finanzmittel werden dem DKRZ dabei über das Helmholtz-Zentrum Geesthacht – Zentrum für Material- und Küstenforschung (HZG) zur Verfügung gestellt.

HPSS ist das Ergebnis einer 20-jährigen Zusammenarbeit von IBM und den fünf nationalen US-Laboratorien des Department of Energy (DOE): Lawrence Livermore, Los Alamos, Sandia, Lawrence Berkeley und Oak Ridge (weitere Informationen: www.hpss-collaboration.org ).

HPSS wird für sehr große wissenschaftliche Datenarchive an Forschungseinrichtungen und Universitäten, für digitale Bildbibliotheken, für Wettervorhersagesysteme sowie in den Bereichen Verteidigung und nationale Sicherheit eingesetzt. Weltweit nutzen Organisationen mit rechen- und datenintensiver Datenverarbeitung HPSS. In Europa und Deutschland sind das u.a. das European Centre for Medium Range Weather Forecasts (ECMWF), das Karlsruher Institut für Technologie (KIT), der Deutsche Wetterdienst (DWD) und das Rechenzentrum Garching der Max-Planck-Gesellschaft (RZG).

Weitere Informationen:

https://www.dkrz.de/Klimarechner/datenarchiv Informationen zum Datenarchiv des DKRZ

Jana Meyer | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht IT-Sicherheit beim autonomen Fahren
22.06.2018 | Fachhochschule St. Pölten

nachricht Schneller und sicherer Fliegen
21.06.2018 | Fachhochschule St. Pölten

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Leichter abheben: Fraunhofer LBF entwickelt Flugzeugrad aus Faser-Kunststoff-Verbund

Noch mehr Reichweite oder noch mehr Nutzlast - das wünschen sich Fluggesellschaften für ihre Flugzeuge. Wegen ihrer hohen spezifischen Steifigkeiten und Festigkeiten kommen daher zunehmend leichte Faser-Kunststoff-Verbunde zum Einsatz. Bei Rümpfen oder Tragflächen sind permanent Innovationen in diese Richtung zu beobachten. Um dieses Innovationsfeld auch für Flugzeugräder zu erschließen, hat das Fraunhofer-Institut für Betriebsfestigkeit und Systemzuverlässigkeit LBF jetzt ein neues EU-Forschungsvorhaben gestartet. Ziel ist die Entwicklung eines ersten CFK-Bugrads für einen Airbus A320. Dabei wollen die Forscher ein Leichtbaupotential von bis zu 40 Prozent aufzeigen.

Faser-Kunststoff-Verbunde sind in der Luftfahrt bei zahlreichen Bauteilen bereits das Material der Wahl. So liegt beim Airbus A380 der Anteil an...

Im Focus: IT-Sicherheit beim autonomen Fahren

FH St. Pölten entwickelt neue Methode für sicheren Informationsaustausch zwischen Fahrzeugen mittels Funkdaten

Neue technische Errungenschaften wie das Internet der Dinge oder die direkte drahtlose Kommunikation zwischen Objekten erhöhen den Bedarf an effizienter...

Im Focus: Innovative Handprothesensteuerung besteht Alltagstest

Selbstlernende Steuerung für Handprothesen entwickelt. Neues Verfahren lässt Patienten natürlichere Bewegungen gleichzeitig in zwei Achsen durchführen. Forscher der Universitätsmedizin Göttingen (UMG) veröffentlichen Studie im Wissenschaftsmagazin „Science Robotics“ vom 20. Juni 2018.

Motorisierte Handprothesen sind mittlerweile Stand der Technik bei der Versorgung von Amputationen an der oberen Extremität. Bislang erlauben sie allerdings...

Im Focus: Temperaturgesteuerte Faser-Lichtquelle mit flüssigem Kern

Die moderne medizinische Bildgebung und neue spektroskopische Verfahren benötigen faserbasierte Lichtquellen, die breitbandiges Laserlicht im nahen und mittleren Infrarotbereich erzeugen. Wissenschaftlerinnen und Wissenschaftler des Leibniz-Instituts für Photonische Technologien Jena (Leibniz-IPHT) zeigen in einer aktuellen Veröffentlichung im renommierten Fachblatt Optica, dass sie die optischen Eigenschaften flüssigkeitsgefüllter Fasern und damit die Bandbreite des Laserlichts gezielt über die Umgebungstemperatur steuern können.

Das Besondere an den untersuchten Fasern ist ihr Kern. Er ist mit Kohlenstoffdisulfid gefüllt - einer flüssigen chemischen Verbindung mit hoher optischer...

Im Focus: Temperature-controlled fiber-optic light source with liquid core

In a recent publication in the renowned journal Optica, scientists of Leibniz-Institute of Photonic Technology (Leibniz IPHT) in Jena showed that they can accurately control the optical properties of liquid-core fiber lasers and therefore their spectral band width by temperature and pressure tuning.

Already last year, the researchers provided experimental proof of a new dynamic of hybrid solitons– temporally and spectrally stationary light waves resulting...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

Leben im Plastikzeitalter: Wie ist ein nachhaltiger Umgang mit Plastik möglich?

21.06.2018 | Veranstaltungen

Kongress BIO-raffiniert X – Neue Wege in der Nutzung biogener Rohstoffe?

21.06.2018 | Veranstaltungen

DFG unterstützt Kongresse und Tagungen im August 2018

20.06.2018 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Leichter abheben: Fraunhofer LBF entwickelt Flugzeugrad aus Faser-Kunststoff-Verbund

22.06.2018 | Materialwissenschaften

Lernen und gleichzeitig Gutes tun? Baufritz macht‘s möglich!

22.06.2018 | Unternehmensmeldung

GFOS und skip Institut entwickeln gemeinsam Prototyp für Augmented Reality App für die Produktion

22.06.2018 | Unternehmensmeldung

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics