Acht nationale Supercomputing-Zentren starten europäischen Verbund für verteiltes Höchstleistungsrechnen

DEISA: Ein virtueller Supercomputer für Europa

Führende Höchstleistungsrechenzentren haben im Projekt DEISA die erste Stufe für einen verteilten europäischen Supercomputer mit einer Gesamtleistung von mehr als 20 Teraflops erfolgreich realisiert: Vier Höchstleistungsrechner in Deutschland, Frankreich und Italien sind jetzt miteinander vernetzt. DEISA, die „Distributed European Infrastructure for Supercomputing Applications“, ist ein wichtiger Beitrag zur Schaffung einer gemeinsamen europäischen Forschungsinfrastruktur. Projektpartner sind das Forschungszentrum Jülich und das Rechenzentrum Garching der Max-Planck-Gesellschaft aus Deutschland, EPCC und ECMWF (Erkl. d. Abk. s. unten) aus Großbritannien, IDRIS-CNRS aus Frankreich, CINECA aus Italien, SARA aus den Niederlanden und CSC aus Finnland. Das Projekt wird durch das 6. Forschungsrahmenprogramm der Europäischen Kommission gefördert und hat eine Laufzeit von fünf Jahren, in der die Partner eine innovative europaweite Supercomputing-Infrastruktur aufbauen und betreiben werden.

Hauptziel des von IDRIS-CNRS geleiteten Projekts DEISA ist es, neue Forschungsergebnisse in einem breiten Themenspektrum von Wissenschaft und Technologie durch den Betrieb einer verteilten Höchstleistungsrechen-Umgebung zu ermöglichen. Dazu sollen vorhandene nationale Plattformen über ein spezielles Netzwerk eng miteinander verbunden und durch innovative System- und Netz-Software unterstützt werden. Dazu wurden Strategien für einen koordinierten Betrieb vereinbart, so dass die gemeinsame Infrastruktur mehr sein wird als die Summe der aggregierten Rechenleistung.

Das integrierte Höchstleistungsrechnen soll Europas Wettbewerbsfähigkeit in Wissenschaft und Forschung in allen Bereichen steigern, in denen extreme Rechenleistungen benötigt werden. Bisher ist die Bereitstellung von Hochleistungsrechenressourcen für die Forschung die Aufgabe nationaler Rechenzentren. Doch der zunehmende globale Wettbewerb zwischen Europa, den USA und Japan stellt wachsende Anforderungen an die Rechenressourcen in jedem Land. Um wettbewerbsfähig zu bleiben, sind alle zwei Jahre große Investitionen in neue Rechnerkapazitäten erforderlich – ein Innovationszyklus, dem selbst die am weitesten entwickelten Länder nur noch schwer folgen können.

Die künftige Architektur der DEISA-Höchstleistungsrechenumgebung wurde anhand einer Reihe strategischer Erfordernisse entwickelt. Dazu gehört die Notwendigkeit eines transparenten und stabilen Betriebs, gewissermaßen als Layer oberhalb der vorhandenen nationalen Dienste, aber auch die Notwendigkeit, Endnutzern einen einfachen Zugang zu den verschiedensten Hochleistungssystemen zu ermöglichen sowie die Notwendigkeit, die Persistenz und Portabilität wissenschaftlicher Anwendungen zu gewährleisten.

Die DEISA-Innfrastuktur besteht aus zwei Schichten: In ihrem Kern bilden ähnliche Rechenplattformen (gleiche Architektur und gleiches Betriebssystem) zusammen einen „verteilten virtuellen Höchstleistungsrechner“. Daraus resultiert ein Supercluster von Rechenknoten an wenigen Orten in verschiedenen Ländern, das dem Endnutzer jedoch als ein einheitliches System erscheint. Dazu werden in der ersten Projektphase vier IBM-Höchstleistungsrechner in Deutschland (FZJ und RZG), Frankreich (IDRIS) und Italien (CINECA) vernetzt. Das auf diese Weise entstehende System besteht aus mehr als 4.000 Prozessoren und riesigen Speicherkapazitäten und hat eine Gesamtrechenleistung von mehr als 22 Teraflops. In der zweiten Phase kommen zu diesem Cluster weitere IBM-Systeme – insbesondere aus Finnland – hinzu.

Schlüsseltechnologie dieses verteilten Superclusters ist – neben dem eigentlichen Netzwerk – die Fähigkeit, Daten gemeinsam über ein globales Dateiensystem zu nutzen – in diesem Fall das Global Parallel File System GPFS von IBM. Auf diese Weise können Rechenaufgaben über Landesgrenzen hinweg neu verteilt werden, um dann umfangreiche Rechenressourcen auf eine spezifische Anwendung an einem Ort konzentrieren zu können.

In der zweiten Schicht der DEISA-Infrastruktur wird das IBM-Supercluster mit weiteren Rechenplattformen verbunden und bildet auf diese Weise ein heterogenes Höchstleistungsrechennetz mit Vektor-Plattformen und Linux-Clustern. Die erste in das Netz zu integrierende Plattform ist der Höchstleistungsrechner SGI ALTIX von SARA mit 416 Itanium-Prozessoren.

Das entstehende heterogene DEISA-Netz wird Wissenschaftlern eine Reihe wichtiger Leistungen bieten: Management von Arbeitsabläufen auf der Basis von UNICORE-Middleware (komplexe Anwendungen unter Nutzung mehrerer Plattformen zur Durchführung einer Aufgabe), leistungsfähiges globales Datenmanagement in der gesamten Infrastruktur (gemeinsame Datennutzung zwischen verschiedenen Anwendungen, Anwendungen mit Zugriff auf verteilte Daten), Applikationen, die gleichzeitig auf mehreren Plattformen laufen, sowie, nicht zuletzt, Portale und Web-Schnittstellen als Endnutzer-Zugang zu komplexen Umgebungen.

Die DEISA-Infrastruktur nutzt die gesamte Bandbreite des europäischen Forschungsnetzes GEANT sowie nationaler Forschungsnetze, also DFN in Deutschland, RENATER in Frankreich und GARR in Italien. Von daher hängt die Entwicklung von DEISA auch vom weiteren Ausbau der nationalen Netzwerke ab. „Das DEISA-Konzept basiert auf der begründeten Vermutung, dass Netzwerk-Bandbreite gegen Ende dieses Jahrzehnts eine Handelsware, sehr ähnlich der Roh-Rechenleistung Anfang der 1990er Jahre, sein wird“, stellte Projektleiter Prof. Victor Alessandrini von IDRIS-CNRS fest. „Ein fest integrierter europäischer Verbund für Höchstleistungsrechnen ist zwingend notwendig für die gemeinsame Nutzung extremer Rechenleistungen, die für hohe Effizienz und Leistungsfähigkeit benötigt werden. Diesen Weg beschreitet DEISA.“

DEISA kann durch Hinzufügen weiterer Systeme, neuer Architekturen und zusätzlicher Partner horizontal ausgeweitet werden, so dass auf diese Weise die Fähigkeiten und die Attraktivität der Computerinfrastruktur weiter steigt. Erst vor kurzem hat man sich mit drei weiteren führenden Rechenzentren in Europa – mit HLRS und LRZ in Deutschland sowie BSC, dem neuen Höchstleistungsrechenzentrum in Barcelona, Spanien – auf einen Beitritt zum DEISA-Konsortium geeinigt. Die näheren Verhandlungen laufen noch. Mit dieser Erweiterung wären alle führenden Rechenplattformen in Europa im DEISA-Grid integriert. Darüber hinaus ist DEISA offen für weitere europäische Höchstleistungsrechenzentren und verwandte Initiativen weltweit, wie das TeraGrid in den USA oder EGEE (Enabling Grids for E-science in Europe), ein weiteres europäisches Forschungsinfrastrukturprojekt unter Federführung von CERN.

DEISA ist darauf fokussiert, die Entwicklung der Forschung in Europa massiv zu unterstützen. Dazu arbeitet DEISA mit führenden europäischen Forschergruppen aus verschiedenen wissenschaftlichen und industriellen Fachbereichen (Materialwissenschaften, Kosmologie, Fusionsforschung, Lebenswissenschaften, numerische Fluiddynamik und Umweltwissenschaften) zusammen.

Europäische Höchstleistungsrechenzentren

IDRIS-CNRS: Institut du Développement et des Resources en Informatique Scientifique, Centre National de la Recherche Scientifique, Frankreich

FZJ: Forschungszentrum Jülich GmbH, Jülich, Deutschland

RZG: Rechenzentrum Garching der Max Planck Gesellschaft, Garching, Deutschland

CINECA: Consorzio Interuniversitario per la gestione del Centro di Calcolo Elettronico dell’Italia Nordorientale, Italien

EPCC: Edinburgh Parallel Computing Centre, Edinburgh, England

CSC: Finnisches Informationstechnologie-Zentrum für Wissenschaft, Finnland

SARA: SARA Rechen- und Netzwerkdienste, Amsterdam, Niederlande

ECMWF: Europäisches Zentrum für mittel- und langfristige Wettervorhersage, England

HLRS: Höchstleistungsrechenzentrum Stuttgart, Deutschland

LRZ: Leibniz-Rechenzentrum München, Deutschland

BSC: Barcelona Supercomputing Centre, Spanien

Fachliche Informationen erhalten Sie von:
Dietmar Erwin, Forschungszentrum Jülich, Tel. 02461 61-6412, d.erwin@fz-juelich.de

Stefan Heinzel, Rechenzentrum Garching der Max-Planck-Gesellschaft, Tel. 089 3299-1340,
heinzel@rzg.mpg.de