Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Das weltweit größte Archiv für Klimadaten für bis zu 500 Petabyte steht in Hamburg

08.05.2015

Das DKRZ nahm, unterstützt von IBM, ein neues hierarchisches Speichersystem (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb.

Spezialisten von IBM/Global Technology Services installierten dafür die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte.


Server (links) und 5 Petabyte Festplattten (rechts) für das High Performance Storage System am DKRZ

Böttinger, DKRZ


Einschub einer Festplatteneinheit für das High Performance Storage System am DKRZ

Böttinger, DKRZ

Das neue System ermöglicht den Transfer von Klimadaten zwischen Hochleistungsrechner und Archivsystem mit momentan bis zu 12 bzw. zukünftig 18 Gigabyte pro Sekunde.

Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Das DKRZ nahm im Dezember 2014, unterstützt durch IBM, die erste Ausbaustufe des neuen hierarchischen Speichermanagementsystems (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb. Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs.

Schon im Herbst 2014 installierten Spezialisten von IBM/Global Technology Services die aktuelle HPSS-Software zusammen mit dem Linux Betriebssystem von Red Hat auf den neuesten IBM x86-Servern sowie einen HPSS-Festplattencache von fünf Petabyte. Alleine der Cache, ein temporärer Zwischenspeicher, entspricht der Speicherkapazität von 5.000 gut ausgestatteten Notebook-Computern!

Die IBM-Spezialisten migrierten die Daten des bisher am DKRZ eingesetzten kleineren HPSS-Systems auf das neue System während einer Betriebsunterbrechung von nicht einmal zwei Tagen. Das neue System ermöglicht einen deutlich höheren aggregierten Durchsatz (Lesen/Schreiben), so dass die Klimadaten nun mit bis zu 12 Gigabyte pro Sekunde zwischen Hochleistungsrechner und Archivsystem fließen können. Bis Herbst dieses Jahres erfolgt ein weiterer Ausbau, der dann einen Gesamtdurchsatz von bis zu 18 Gigabyte pro Sekunde ermöglichen wird.

Momentan enthalten die Bandbibliotheken am DKRZ ein Datenvolumen von etwa 40 Petabyte, verteilt über 20 Millionen Dateien. HPSS ist in der Lage, innerhalb der nächsten fünf Jahre das erwartete massive Datenwachstum in der Klimaforschung mit einer geschätzten jährlichen Datenproduktion von etwa 75 Petabyte und einem Gesamtvolumen von fast 500 Petabyte zu bewältigen – passend zur erwarteten Steigerung der Datenproduktion durch das neue Hochleistungsrechnersystem für Erdsystemforschung 3 (HLRE-3), das momentan am DKRZ installiert wird.

Der HSM-Ausbau ist Teil des Gesamtprojektes HLRE-3, welches mit insgesamt 41 Millionen - zu zwei Dritteln vom Bundesministerium für Bildung und Forschung und zu einem Drittel von der Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF) - finanziert wird. Die Finanzmittel werden dem DKRZ dabei über das Helmholtz-Zentrum Geesthacht – Zentrum für Material- und Küstenforschung (HZG) zur Verfügung gestellt.

HPSS ist das Ergebnis einer 20-jährigen Zusammenarbeit von IBM und den fünf nationalen US-Laboratorien des Department of Energy (DOE): Lawrence Livermore, Los Alamos, Sandia, Lawrence Berkeley und Oak Ridge (weitere Informationen: www.hpss-collaboration.org ).

HPSS wird für sehr große wissenschaftliche Datenarchive an Forschungseinrichtungen und Universitäten, für digitale Bildbibliotheken, für Wettervorhersagesysteme sowie in den Bereichen Verteidigung und nationale Sicherheit eingesetzt. Weltweit nutzen Organisationen mit rechen- und datenintensiver Datenverarbeitung HPSS. In Europa und Deutschland sind das u.a. das European Centre for Medium Range Weather Forecasts (ECMWF), das Karlsruher Institut für Technologie (KIT), der Deutsche Wetterdienst (DWD) und das Rechenzentrum Garching der Max-Planck-Gesellschaft (RZG).

Weitere Informationen:

https://www.dkrz.de/Klimarechner/datenarchiv Informationen zum Datenarchiv des DKRZ

Jana Meyer | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Technologien für die sechste Mobilfunkgeneration
17.07.2019 | Karlsruher Institut für Technologie

nachricht Assistenzsysteme: Konkurrenz oder Hilfestellung?
14.06.2019 | OPTIMUM datamanagement solutions GmbH

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Großes Potenzial: Aktoren und Sensoren mit 3D-Druck in komplexe Bauteile integrieren

Der additiven Fertigung wird eine große Zukunft vorhergesagt. So lassen sich mit Hilfe des 3D-Drucks beispielsweise die Anzahl der Komponenten komplexer, individualisierter Baugruppen stark reduzieren und viele Funktionen direkt in ein Bauteil integrieren. Das vereinfacht den Herstellungsprozess und verringert den notwendigen Bauraum. Um diese Vorteile auch für mechatronische Systeme zu nutzen, forschen Wissenschaftler im Fraunhofer-Institut für Betriebsfestigkeit und Systemzuverlässigkeit LBF in mehreren Projekten an der additiven Fertigung von integrierten Aktoren und Sensoren. Diese können in Leichtbaustrukturen störende oder schädigende Vibrationen mindern sowie Strukturen überwachen.

Aufgrund der Ergebnisse ihrer Forschungsprojekte sehen die Wissenschaftler des Fraunhofer LBF großes Potenzial für die additive Fertigung mechatronischer...

Im Focus: Megakaryozyten als „Türsteher“ und Regulatoren der Zellmigration im Knochenmark

In einer neuen Studie zeigen Wissenschaftler der Universität Würzburg und des Universitätsklinikums Würzburg, dass Megakaryozyten als eine Art „Türsteher“ auftreten und so die Eigenschaften von Knochenmarksnischen und die Dynamik der Zellmigration verändern. Die Studie wurde im Juli im Journal „Haematologica“ veröffentlicht.

Die Hämatopoese ist der Prozess der Bildung von Blutzellen, der überwiegend im Knochenmark auftritt. Das Knochenmark produziert alle Arten von Blutkörperchen:...

Im Focus: Megakaryocytes act as „bouncers“ restraining cell migration in the bone marrow

Scientists at the University Würzburg and University Hospital of Würzburg found that megakaryocytes act as “bouncers” and thus modulate bone marrow niche properties and cell migration dynamics. The study was published in July in the Journal “Haematologica”.

Hematopoiesis is the process of forming blood cells, which occurs predominantly in the bone marrow. The bone marrow produces all types of blood cells: red...

Im Focus: Beschleunigerphysik: Alternatives Material für supraleitende Hochfrequenzkavitäten getestet

Supraleitende Hochfrequenzkavitäten können Elektronenpakete in modernen Synchrotronquellen und Freien Elektronenlasern mit extrem hoher Energie ausstatten. Zurzeit bestehen sie aus reinem Niob. Eine internationale Kooperation hat nun untersucht, welche Vorteile eine Beschichtung mit Niob-Zinn im Vergleich zu reinem Niob bietet.

Zurzeit ist Niob das Material der Wahl, um supraleitende Hochfrequenzkavitäten zu bauen. So werden sie für Projekte wie bERLinPro und BESSY-VSR eingesetzt,...

Im Focus: Künstliche Intelligenz löst Rätsel der Physik der Kondensierten Materie: Was ist die perfekte Quantentheorie?

Für einige Phänomene der Quanten-Vielteilchenphysik gibt es mehrere Theorien. Doch welche Theorie beschreibt ein quantenphysikalisches Phänomen am besten? Ein Team von Forschern der Technischen Universität München (TUM) und der amerikanischen Harvard University nutzt nun erfolgreich künstliche neuronale Netzwerke für die Bildanalyse von Quantensystemen.

Hund oder Katze? Die Unterscheidung ist ein Paradebeispiel für maschinelles Lernen: Künstliche neuronale Netzwerke können darauf trainiert werden Bilder zu...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

Kosmos-Konferenz: Navigating the Sustainability Transformation in the 21st Century

17.07.2019 | Veranstaltungen

Auswandern auf Terra-2?

15.07.2019 | Veranstaltungen

Hallo Herz! Wie kommuniziert welches Organ mit dem Herzen?

12.07.2019 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Neue Technik zur besseren Kontrolle für den Supervulkan von Campi Flegrei

17.07.2019 | Geowissenschaften

Bei Bakterien bestimmen die Nachbarn mit, welche Zelle zuerst stirbt: Physiologie des Überlebens

17.07.2019 | Biowissenschaften Chemie

Hocheffiziente Solarzellen dank solidem Fundament

17.07.2019 | Energie und Elektrotechnik

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics