Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm aus Berlin erobert die Welt

04.08.2016

Version 1.0 der Big Data-Software „Apache Flink" veröffentlicht

Big Data wird von immer mehr Unternehmen als Geldquelle angezapft. Bei der Analyse der großen Datenmengen hilft die Software „Apache Flink“. Innerhalb der vergangenen acht Jahren hat sich der ursprünglich aus einem Forschungsprojekt der TU Berlin hervorgegangene Prototyp zu einem weltweit führenden System entwickelt. Nun wurde die Version 1.0 des Programmes veröffentlicht.

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht.

Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet.

Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers.

Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl.

„Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

Vom 12. bis zum 14. September 2016 findet in Berlin der zweite „Apache Flink“-Kongress statt.

Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Volker Markl
TU Berlin
Fachgebiet Datenbanksysteme und Informationsmanagement
Tel.: 030/314-23555
E-Mail: prof@dima.tu-berlin.de

Weitere Informationen:

http://www.dima.tu-berlin.de
http://bbdc.berlin
http://flink.apache.org
http://www.tu-berlin.de/?id=175649

Stefanie Terp | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Veranstaltungsnachrichten:

nachricht Stadtklima verbessern, Energiemix optimieren, sauberes Trinkwasser bereitstellen
19.07.2018 | Karlsruher Institut für Technologie

nachricht Innovation – the name of the game
18.07.2018 | Zentralstelle für Fernstudien an Fachhochschulen (ZFH)

Alle Nachrichten aus der Kategorie: Veranstaltungsnachrichten >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Future electronic components to be printed like newspapers

A new manufacturing technique uses a process similar to newspaper printing to form smoother and more flexible metals for making ultrafast electronic devices.

The low-cost process, developed by Purdue University researchers, combines tools already used in industry for manufacturing metals on a large scale, but uses...

Im Focus: Rostocker Forscher entwickeln autonom fahrende Kräne

Industriepartner kommen aus sechs Ländern

Autonom fahrende, intelligente Kräne und Hebezeuge – dieser Ingenieurs-Traum könnte in den nächsten drei Jahren zur Wirklichkeit werden. Forscher aus dem...

Im Focus: Superscharfe Bilder von der neuen Adaptiven Optik des VLT

Das Very Large Telescope (VLT) der ESO hat das erste Licht mit einem neuen Modus Adaptiver Optik erreicht, die als Lasertomografie bezeichnet wird – und hat in diesem Rahmen bemerkenswert scharfe Testbilder vom Planeten Neptun, von Sternhaufen und anderen Objekten aufgenommen. Das bahnbrechende MUSE-Instrument kann ab sofort im sogenannten Narrow-Field-Modus mit dem adaptiven Optikmodul GALACSI diese neue Technik nutzen, um Turbulenzen in verschiedenen Höhen in der Erdatmosphäre zu korrigieren. Damit ist jetzt möglich, Bilder vom Erdboden im sichtbaren Licht aufzunehmen, die schärfer sind als die des NASA/ESA Hubble-Weltraumteleskops. Die Kombination aus exquisiter Bildschärfe und den spektroskopischen Fähigkeiten von MUSE wird es den Astronomen ermöglichen, die Eigenschaften astronomischer Objekte viel detaillierter als bisher zu untersuchen.

Das MUSE-Instrument (kurz für Multi Unit Spectroscopic Explorer) am Very Large Telescope (VLT) der ESO arbeitet mit einer adaptiven Optikeinheit namens GALACSI. Dabei kommt auch die Laser Guide Stars Facility, kurz ...

Im Focus: Diamant – ein unverzichtbarer Werkstoff der Fusionstechnologie

Forscher am KIT entwickeln Fenstereinheiten mit Diamantscheiben für Fusionsreaktoren – Neue Scheibe mit Rekorddurchmesser von 180 Millimetern

Klimafreundliche und fast unbegrenzte Energie aus dem Fusionskraftwerk – für dieses Ziel kooperieren Wissenschaftlerinnen und Wissenschaftler weltweit. Bislang...

Im Focus: Wiener Forscher finden vollkommen neues Konzept zur Messung von Quantenverschränkung

Quantenphysiker/innen der ÖAW entwickelten eine neuartige Methode für den Nachweis von hochdimensional verschränkten Quantensystemen. Diese ermöglicht mehr Effizienz, Sicherheit und eine weitaus geringere Fehleranfälligkeit gegenüber bisher gängigen Mess-Methoden, wie die Forscher/innen nun im Fachmagazin „Nature Physics“ berichten.

Die Vision einer vollständig abhörsicheren Übertragung von Information rückt dank der Verschränkung von Quantenteilchen immer mehr in Reichweite. Wird eine...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

Stadtklima verbessern, Energiemix optimieren, sauberes Trinkwasser bereitstellen

19.07.2018 | Veranstaltungen

Innovation – the name of the game

18.07.2018 | Veranstaltungen

Wie geht es unserer Ostsee? Ein aktueller Zustandsbericht

17.07.2018 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Neue Anwendungen für Mikrolaser in der Quanten-Nanophotonik

20.07.2018 | Physik Astronomie

Need for speed: Warum Malaria-Parasiten schneller sind als die menschlichen Abwehrzellen

20.07.2018 | Biowissenschaften Chemie

Die Gene sind nicht schuld

20.07.2018 | Medizin Gesundheit

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics