Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Das weltweit größte Archiv für Klimadaten für bis zu 500 Petabyte steht in Hamburg

08.05.2015

Das DKRZ nahm, unterstützt von IBM, ein neues hierarchisches Speichersystem (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb.

Spezialisten von IBM/Global Technology Services installierten dafür die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte.


Server (links) und 5 Petabyte Festplattten (rechts) für das High Performance Storage System am DKRZ

Böttinger, DKRZ


Einschub einer Festplatteneinheit für das High Performance Storage System am DKRZ

Böttinger, DKRZ

Das neue System ermöglicht den Transfer von Klimadaten zwischen Hochleistungsrechner und Archivsystem mit momentan bis zu 12 bzw. zukünftig 18 Gigabyte pro Sekunde.

Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Das DKRZ nahm im Dezember 2014, unterstützt durch IBM, die erste Ausbaustufe des neuen hierarchischen Speichermanagementsystems (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb. Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Schon im Herbst 2014 installierten Spezialisten von IBM/Global Technology Services die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte. Alleine der Cache, ein temporärer Zwischenspeicher, entspricht der Speicherkapazität von 5.000 gut ausgestatteten Notebook-Computern!

Die IBM-Spezialisten migrierten die Daten des bisher am DKRZ eingesetzten kleineren HPSS-Systems auf das neue System während einer Betriebsunterbrechung von nicht einmal zwei Tagen. Das neue System ermöglicht einen deutlich höheren aggregierten Durchsatz (Lesen/Schreiben), so dass die Klimadaten nun mit bis zu 12 Gigabyte pro Sekunde zwischen Hochleistungsrechner und Archivsystem fließen können. Bis Herbst dieses Jahres erfolgt ein weiterer Ausbau, der dann einen Gesamtdurchsatz von bis zu 18 Gigabyte pro Sekunde ermöglichen wird.

Momentan enthalten die Bandbibliotheken am DKRZ ein Datenvolumen von etwa 40 Petabyte, verteilt über 20 Millionen Dateien. HPSS ist in der Lage, innerhalb der nächsten fünf Jahre das erwartete massive Datenwachstum in der Klimaforschung mit einer geschätzten jährlichen Datenproduktion von etwa 75 Petabyte und einem Gesamtvolumen von fast 500 Petabyte zu bewältigen – passend zur erwarteten Steigerung der Datenproduktion durch das neue Hochleistungsrechnersystem für Erdsystemforschung 3 (HLRE-3), das momentan am DKRZ installiert wird.

Der HSM-Ausbau ist Teil des Gesamtprojektes HLRE-3, welches mit insgesamt 41 Millionen - zu zwei Dritteln vom Bundesministerium für Bildung und Forschung und zu einem Drittel von der Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF) - finanziert wird. Die Finanzmittel werden dem DKRZ dabei über das Helmholtz-Zentrum Geesthacht – Zentrum für Material- und Küstenforschung (HZG) zur Verfügung gestellt.

HPSS ist das Ergebnis einer 20-jährigen Zusammenarbeit von IBM und den fünf nationalen US-Laboratorien des Department of Energy (DOE): Lawrence Livermore, Los Alamos, Sandia, Lawrence Berkeley und Oak Ridge (weitere Informationen: www.hpss-collaboration.org ).

HPSS wird für sehr große wissenschaftliche Datenarchive an Forschungseinrichtungen und Universitäten, für digitale Bildbibliotheken, für Wettervorhersagesysteme sowie in den Bereichen Verteidigung und nationale Sicherheit eingesetzt. Weltweit nutzen Organisationen mit rechen- und datenintensiver Datenverarbeitung HPSS. In Europa und Deutschland sind das u.a. das European Centre for Medium Range Weather Forecasts (ECMWF), das Karlsruher Institut für Technologie (KIT), der Deutsche Wetterdienst (DWD) und das Rechenzentrum Garching der Max-Planck-Gesellschaft (RZG).

Weitere Informationen:

https://www.dkrz.de/Klimarechner/datenarchiv Informationen zum Datenarchiv des DKRZ

Jana Meyer | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Supercomputer „Hawk“ eingeweiht: Höchstleistungsrechenzentrum der Universität Stuttgart erhält neuen Supercomputer
19.02.2020 | Universität Stuttgart

nachricht Fraunhofer IOSB-AST und DRK Wasserrettungsdienst entwickeln den weltweit ersten Wasserrettungsroboter
19.02.2020 | Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Ultraschnelles Schalten eines optischen Bits: Gewinn für die Informationsverarbeitung

Wissenschaftler der Universität Paderborn und der TU Dortmund veröffentlichen Ergebnisse in Nature Communications

Computer speichern Informationen in Form eines Binärcodes, einer Reihe aus Einsen und Nullen – sogenannten Bits. In der Praxis werden dafür komplexe...

Im Focus: Fraunhofer IOSB-AST und DRK Wasserrettungsdienst entwickeln den weltweit ersten Wasserrettungsroboter

Künstliche Intelligenz und autonome Mobilität sollen dem Strukturwandel in Thüringen und Sachsen-Anhalt neue Impulse verleihen. Mit diesem Ziel fördert das Bundeswirtschaftsministerium ab sofort ein innovatives Projekt in Halle (Saale) und Ilmenau.

Der Wasserrettungsdienst Halle (Saale) und das Fraunhofer Institut für Optronik,
Systemtechnik und Bildauswertung, Institutsteil Angewandte Systemtechnik...

Im Focus: A step towards controlling spin-dependent petahertz electronics by material defects

The operational speed of semiconductors in various electronic and optoelectronic devices is limited to several gigahertz (a billion oscillations per second). This constrains the upper limit of the operational speed of computing. Now researchers from the Max Planck Institute for the Structure and Dynamics of Matter in Hamburg, Germany, and the Indian Institute of Technology in Bombay have explained how these processes can be sped up through the use of light waves and defected solid materials.

Light waves perform several hundred trillion oscillations per second. Hence, it is natural to envision employing light oscillations to drive the electronic...

Im Focus: Haben ein Auge für Farben: druckbare Lichtsensoren

Kameras, Lichtschranken und Bewegungsmelder verbindet eines: Sie arbeiten mit Lichtsensoren, die schon jetzt bei vielen Anwendungen nicht mehr wegzudenken sind. Zukünftig könnten diese Sensoren auch bei der Telekommunikation eine wichtige Rolle spielen, indem sie die Datenübertragung mittels Licht ermöglichen. Wissenschaftlerinnen und Wissenschaftlern des Karlsruher Instituts für Technologie (KIT) am InnovationLab in Heidelberg ist hier ein entscheidender Entwicklungsschritt gelungen: druckbare Lichtsensoren, die Farben sehen können. Die Ergebnisse veröffentlichten sie jetzt in der Zeitschrift Advanced Materials (DOI: 10.1002/adma.201908258).

Neue Technologien werden die Nachfrage nach optischen Sensoren für eine Vielzahl von Anwendungen erhöhen, darunter auch die Kommunikation mithilfe von...

Im Focus: Einblicke in die Rolle von Materialdefekten bei der spin-abhängigen Petahertzelektronik

Die Betriebsgeschwindigkeit von Halbleitern in elektronischen und optoelektronischen Geräten ist auf mehrere Gigahertz (eine Milliarde Oszillationen pro Sekunde) beschränkt. Die Rechengeschwindigkeit von modernen Computern trifft dadurch auf eine Grenze. Forscher am MPSD und dem Indian Institute of Technology in Bombay (IIT) haben nun untersucht, wie diese Grenze mithilfe von Lichtwellen und Festkörperstrukturen mit Defekten erhöht werden könnte, um noch größere Rechenleistungen zu erreichen.

Lichtwellen schwingen mehrere hundert Trillionen Mal pro Sekunde und haben das Potential, die Bewegung von Elektronen zu steuern. Im Gegensatz zu...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

Leopoldina-Symposium: „Mission – Innovation“ 2020

21.02.2020 | Veranstaltungen

Gemeinsam auf kleinem Raum - Mikrowohnen

19.02.2020 | Veranstaltungen

Chemnitzer Linux-Tage am 14. und 15. März 2020: „Mach es einfach!“

12.02.2020 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Globale Datenbank für Karstquellenabflüsse

21.02.2020 | Geowissenschaften

Leopoldina-Symposium: „Mission – Innovation“ 2020

21.02.2020 | Veranstaltungsnachrichten

Langlebige Fachwerkbrücken aus Stahl einfacher bemessen

21.02.2020 | Architektur Bauwesen

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics