Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm aus Berlin erobert die Welt

04.08.2016

Version 1.0 der Big Data-Software „Apache Flink" veröffentlicht

Big Data wird von immer mehr Unternehmen als Geldquelle angezapft. Bei der Analyse der großen Datenmengen hilft die Software „Apache Flink“. Innerhalb der vergangenen acht Jahren hat sich der ursprünglich aus einem Forschungsprojekt der TU Berlin hervorgegangene Prototyp zu einem weltweit führenden System entwickelt. Nun wurde die Version 1.0 des Programmes veröffentlicht.

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht.

Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet.

Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers.

Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl.

„Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

Vom 12. bis zum 14. September 2016 findet in Berlin der zweite „Apache Flink“-Kongress statt.

Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Volker Markl
TU Berlin
Fachgebiet Datenbanksysteme und Informationsmanagement
Tel.: 030/314-23555
E-Mail: prof@dima.tu-berlin.de

Weitere Informationen:

http://www.dima.tu-berlin.de
http://bbdc.berlin
http://flink.apache.org
http://www.tu-berlin.de/?id=175649

Stefanie Terp | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Veranstaltungsnachrichten:

nachricht Mit allen Sinnen! - Sensoren im Automobil
14.12.2017 | Haus der Technik e.V.

nachricht Materialinnovationen 2018 – Werkstoff- und Materialforschungskonferenz des BMBF
13.12.2017 | VDI Technologiezentrum GmbH

Alle Nachrichten aus der Kategorie: Veranstaltungsnachrichten >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Nanostrukturen steuern Wärmetransport: Bayreuther Forscher entdecken Verfahren zur Wärmeregulierung

Der Forschergruppe von Prof. Dr. Markus Retsch an der Universität Bayreuth ist es erstmals gelungen, die von der Temperatur abhängige Wärmeleitfähigkeit mit Hilfe von polymeren Materialien präzise zu steuern. In der Zeitschrift Science Advances werden diese fortschrittlichen, zunächst für Laboruntersuchungen hergestellten Funktionsmaterialien beschrieben. Die hiermit gewonnenen Erkenntnisse sind von großer Relevanz für die Entwicklung neuer Konzepte zur Wärmedämmung.

Von Schmetterlingsflügeln zu neuen Funktionsmaterialien

Im Focus: Lange Speicherung photonischer Quantenbits für globale Teleportation

Wissenschaftler am Max-Planck-Institut für Quantenoptik erreichen mit neuer Speichertechnik für photonische Quantenbits Kohärenzzeiten, welche die weltweite...

Im Focus: Long-lived storage of a photonic qubit for worldwide teleportation

MPQ scientists achieve long storage times for photonic quantum bits which break the lower bound for direct teleportation in a global quantum network.

Concerning the development of quantum memories for the realization of global quantum networks, scientists of the Quantum Dynamics Division led by Professor...

Im Focus: Electromagnetic water cloak eliminates drag and wake

Detailed calculations show water cloaks are feasible with today's technology

Researchers have developed a water cloaking concept based on electromagnetic forces that could eliminate an object's wake, greatly reducing its drag while...

Im Focus: Neue Einblicke in die Materie: Hochdruckforschung in Kombination mit NMR-Spektroskopie

Forschern der Universität Bayreuth und des Karlsruhe Institute of Technology (KIT) ist es erstmals gelungen, die magnetische Kernresonanzspektroskopie (NMR) in Experimenten anzuwenden, bei denen Materialproben unter sehr hohen Drücken – ähnlich denen im unteren Erdmantel – analysiert werden. Das in der Zeitschrift Science Advances vorgestellte Verfahren verspricht neue Erkenntnisse über Elementarteilchen, die sich unter hohen Drücken oft anders verhalten als unter Normalbedingungen. Es wird voraussichtlich technologische Innovationen fördern, aber auch neue Einblicke in das Erdinnere und die Erdgeschichte, insbesondere die Bedingungen für die Entstehung von Leben, ermöglichen.

Diamanten setzen Materie unter Hochdruck

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Mit allen Sinnen! - Sensoren im Automobil

14.12.2017 | Veranstaltungen

Materialinnovationen 2018 – Werkstoff- und Materialforschungskonferenz des BMBF

13.12.2017 | Veranstaltungen

Innovativer Wasserbau im 21. Jahrhundert

13.12.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Was für IT-Manager jetzt wichtig ist

14.12.2017 | Unternehmensmeldung

30 Baufritz-Läufer beim 25. Erkheimer Nikolaus-Straßenlauf

14.12.2017 | Unternehmensmeldung

Mit allen Sinnen! - Sensoren im Automobil

14.12.2017 | Veranstaltungsnachrichten