Jacobs University integriert „Big Science Data“ in Standard-Datenbanken

In Wissenschaft und Ingenieurswesen bilden multidimensionale Sensor-, Bild-, Simulations- und Statistikdaten den größten Anteil dieser extrem voluminösen Daten. Auf Initiative von Peter Baumann, Professor für Informatik an der Jacobs University, wurde nun entschieden, die SQL Datenbanksprache um solche massiven multidimensionalen Arraydaten zu erweitern.

Weltweit steht man heutzutage vor der Herausforderung der „Big Data“. In Wissenschaft und Ingenieurswesen bilden multidimensionale Sensor-, Bild-, Simulations- und Statistikdaten den größten Anteil dieser extrem voluminösen Daten. Auf Initiative von Peter Baumann, Professor für Informatik an der Jacobs University, wurde nun entschieden, die SQL Datenbanksprache um solche massiven multidimensionalen Arraydaten zu erweitern.

SQL ist die Standard-Abfragesprache für Datenbanken. Vor allem in der Wirtschaft und der Verwaltung wird diese sehr erfolgreich verwendet. In der Wissenschaft sind die Datenmengen jedoch häufig anders strukturiert. Statt einfacher Tabellen bestehen die „Big Data“ häufig aus multidimensionalen Datenwürfeln.

In den Geowissenschaften beispielsweise müssen oft eindimensionale (1D) Sensor-Daten, 2D Satellitenaufnahmen sowie 3D Satellitenbild-Zeitreihen und geologische Bodenmodelle sowie vierdimensionale Klimadaten zusammengeführt werden. In den Lebenswissenschaften entstehen durch Aufnahmen aus der Laserscan-Mikroskopie oder Computertomographie große Datensätze. In der Astronomie und Physik können die Datenvolumina noch weiter anwachsen, etwa wenn es um Simulationen des Universums geht.

„SQL kann diese komplexen Datenwürfel weder finden noch filtern oder verarbeiten, daher werden großvolumige Daten heutzutage größtenteils außerhalb von Datenbanken gesammelt“, weiß Peter Baumann. „In meiner Arbeitsgruppe forschen wir schon lange daran, SQL passend zu erweitern.

Mit der von uns entwickelten rasdaman Technologie, einem neuartigen Datenbanksystem, können wir solche multidimensionalen Rasterdaten problemlos verarbeiten“, so der Informatiker weiter. Das Projekt ist Teil des Schwerpunktes „Mobility – of people, goods and information“ an der Jacobs University.

Jetzt werden Baumann und seine Kollegen ihre Forschungsergebnisse und ihre langjährige Erfahrung einsetzen, um im Auftrag der Internationalen Organisation für Normung (ISO) eine Erweiterung des SQL-Standards zu entwickeln. Die offizielle Bezeichnung für die von ihnen vorgenommene Integration von multidimensionalen Datenwürfeln lautet ISO 9075 SQL/MDA (für „Multi-Dimensional Arrays“).

Erst kürzlich demonstrierten die Wissenschaftler um Peter Baumann, wie sich mehr als 1.000 Computer in einer Cloud selbsttätig zusammenschalten, um gemeinsam eine einzige komplexe Datenbankabfrage zu lösen. Dabei kann es sich zum Beispiel um Fragen handeln wie: „Wo genau sind Waldbrände?“ oder „Hat ein Tanker im Meer verbotenerweise seine Öltanks ausgespült?“ oder „Wie hoch ist die Überschwemmungsgefahr für ein Grundstück am Fluss?“. „Ein derartig gesteuerter Abfrageprozess beschleunigt nicht nur die Reaktion auf eine solche Anfrage massiv, sondern ermöglicht überhaupt erst ihre Beantwortung“, erklärt der Informatiker.

Die rasdaman Technologie wird inzwischen von einer Reihe von internationalen Daten-Centern verwendet, um Einsichten in ihre multidimensionalen Rasterdaten zu erlangen. So arbeiten beispielsweise NASA und ESA, British Geological Survey, Plymouth Marine Laboratory und der Deutsche Wetterdienst mit rasdaman Datenbanken.

Fragen zur „Big Data“-Integration in Standard-Datenbanken beantwortet:
Prof. Dr. Peter Baumann | Professor für Informatik
Telefon: +49-421-200-3178 | Mail: p.baumann@jacobs-university.de