Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm aus Berlin erobert die Welt

04.08.2016

Version 1.0 der Big Data-Software „Apache Flink" veröffentlicht

Big Data wird von immer mehr Unternehmen als Geldquelle angezapft. Bei der Analyse der großen Datenmengen hilft die Software „Apache Flink“. Innerhalb der vergangenen acht Jahren hat sich der ursprünglich aus einem Forschungsprojekt der TU Berlin hervorgegangene Prototyp zu einem weltweit führenden System entwickelt. Nun wurde die Version 1.0 des Programmes veröffentlicht.

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht.

Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet.

Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers.

Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl.

„Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

Vom 12. bis zum 14. September 2016 findet in Berlin der zweite „Apache Flink“-Kongress statt.

Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Volker Markl
TU Berlin
Fachgebiet Datenbanksysteme und Informationsmanagement
Tel.: 030/314-23555
E-Mail: prof@dima.tu-berlin.de

Weitere Informationen:

http://www.dima.tu-berlin.de
http://bbdc.berlin
http://flink.apache.org
http://www.tu-berlin.de/?id=175649

Stefanie Terp | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Veranstaltungsnachrichten:

nachricht HDT-Tagung: Sensortechnologien im Automobil
24.01.2020 | Haus der Technik e.V.

nachricht Tagung befasst sich mit der Zukunft der Mobilität
22.01.2020 | Technische Universität Kaiserslautern

Alle Nachrichten aus der Kategorie: Veranstaltungsnachrichten >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Wie man ein Bild von einem Lichtpuls macht

Um die Form von Lichtpulsen zu messen, brauchte man bisher komplizierte Messanlagen. Ein Team von MPI Garching, LMU München und TU Wien schafft das nun viel einfacher.

Mit modernen Lasern lassen sich heute extrem kurze Lichtpulse erzeugen, mit denen man dann Materialien untersuchen oder sogar medizinische Diagnosen erstellen...

Im Focus: Ein ultraschnelles Mikroskop für die Quantenwelt

Was in winzigen elektronischen Bauteilen oder in Molekülen geschieht, lässt sich nun auf einige 100 Attosekunden und ein Atom genau filmen

Wie Bauteile für künftige Computer arbeiten, lässt sich jetzt gewissermaßen in HD-Qualität filmen. Manish Garg und Klaus Kern, die am Max-Planck-Institut für...

Im Focus: Integrierte Mikrochips für elektronische Haut

Forscher aus Dresden und Osaka präsentieren das erste vollintegrierte Bauelement aus Magnetsensoren und organischer Elektronik und schaffen eine wichtige Voraussetzung für die Entwicklung von elektronischer Haut.

Die menschliche Haut ist faszinierend und hat viele Funktionen. Eine davon ist der Tastsinn, bei dem vielfältige Informationen aus der Umgebung verarbeitet...

Im Focus: Dresdner Forscher entdecken Mechanismus bei aggressivem Krebs

Enzym blockiert Wächterfunktion gegen unkontrollierte Zellteilung

Wissenschaftler des Universitätsklinikums Carl Gustav Carus Dresden im Nationalen Centrum für Tumorerkrankungen Dresden (NCT/UCC) haben gemeinsam mit einem...

Im Focus: Integrate Micro Chips for electronic Skin

Researchers from Dresden and Osaka present the first fully integrated flexible electronics made of magnetic sensors and organic circuits which opens the path towards the development of electronic skin.

Human skin is a fascinating and multifunctional organ with unique properties originating from its flexible and compliant nature. It allows for interfacing with...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

HDT-Tagung: Sensortechnologien im Automobil

24.01.2020 | Veranstaltungen

Tagung befasst sich mit der Zukunft der Mobilität

22.01.2020 | Veranstaltungen

ENERGIE – Wende. Wandel. Wissen.

22.01.2020 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Physik lebender Systeme - Wie Proteine die Zellachse finden

27.01.2020 | Biowissenschaften Chemie

Bioreaktor Kuh - Antikörper aus der Kuh ersetzen Antibiotika

27.01.2020 | Biowissenschaften Chemie

INNOVENT startet Innovatives Anwenderprojekt (INNAP) „Sol-Gel-Beschichtungen für temperaturempfindliche Substrate“

27.01.2020 | Materialwissenschaften

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics