Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm aus Berlin erobert die Welt

04.08.2016

Version 1.0 der Big Data-Software „Apache Flink" veröffentlicht

Big Data wird von immer mehr Unternehmen als Geldquelle angezapft. Bei der Analyse der großen Datenmengen hilft die Software „Apache Flink“. Innerhalb der vergangenen acht Jahren hat sich der ursprünglich aus einem Forschungsprojekt der TU Berlin hervorgegangene Prototyp zu einem weltweit führenden System entwickelt. Nun wurde die Version 1.0 des Programmes veröffentlicht.

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht.

Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet.

Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers.

Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl.

„Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

Vom 12. bis zum 14. September 2016 findet in Berlin der zweite „Apache Flink“-Kongress statt.

Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Volker Markl
TU Berlin
Fachgebiet Datenbanksysteme und Informationsmanagement
Tel.: 030/314-23555
E-Mail: prof@dima.tu-berlin.de

Weitere Informationen:

http://www.dima.tu-berlin.de
http://bbdc.berlin
http://flink.apache.org
http://www.tu-berlin.de/?id=175649

Stefanie Terp | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Veranstaltungsnachrichten:

nachricht Nebennierentumoren: Radioaktiv markierte Substanzen vermeiden unnötige Operationen
28.02.2017 | Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V.

nachricht 350 Onlineforscher_innen treffen sich zur Fachkonferenz General Online Research an der HTW Berlin
28.02.2017 | Hochschule für Technik und Wirtschaft Berlin

Alle Nachrichten aus der Kategorie: Veranstaltungsnachrichten >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Mit Künstlicher Intelligenz das Gehirn verstehen

Wie entsteht Bewusstsein? Die Antwort auf diese Frage, so vermuten Forscher, steckt in den Verbindungen zwischen den Nervenzellen. Leider ist jedoch kaum etwas über den Schaltplan des Gehirns bekannt.

Wie entsteht Bewusstsein? Die Antwort auf diese Frage, so vermuten Forscher, steckt in den Verbindungen zwischen den Nervenzellen. Leider ist jedoch kaum etwas...

Im Focus: Wie Proteine Zellmembranen verformen

Zellen schnüren regelmäßig kleine Bläschen von ihrer Außenhaut ab und nehmen sie in ihr Inneres auf. Daran sind die EHD-Proteine beteiligt, die Professor Oliver Daumke vom MDC erforscht. Er und sein Team haben nun aufgeklärt, wie sich diese Proteine auf der Oberfläche von Zellen zusammenlagern und dadurch deren Außenhaut verformen.

Zellen schnüren regelmäßig kleine Bläschen von ihrer Außenhaut ab und nehmen sie in ihr Inneres auf. Daran sind die EHD-Proteine beteiligt, die Professor...

Im Focus: Safe glide at total engine failure with ELA-inside

On January 15, 2009, Chesley B. Sullenberger was celebrated world-wide: after the two engines had failed due to bird strike, he and his flight crew succeeded after a glide flight with an Airbus A320 in ditching on the Hudson River. All 155 people on board were saved.

On January 15, 2009, Chesley B. Sullenberger was celebrated world-wide: after the two engines had failed due to bird strike, he and his flight crew succeeded...

Im Focus: „Vernetzte Autonome Systeme“ von acatech und DFKI auf der CeBIT

Auf der IT-Messe CeBIT vom 20. bis 24. März präsentieren acatech – Deutsche Akademie der Technikwissenschaften und das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) in Kooperation mit der Deutschen Messe AG vernetzte Autonome Systeme. In Halle 12 am Stand B 63 erwarten die Besucherinnen und Besucher unter anderem Roboter, die Hand in Hand mit Menschen zusammenarbeiten oder die selbstständig gefährliche Umgebungen erkunden.

Auf der IT-Messe CeBIT vom 20. bis 24. März präsentieren acatech – Deutsche Akademie der Technikwissenschaften und das Deutsche Forschungszentrum für...

Im Focus: Kühler Zwerg und die sieben Planeten

Erdgroße Planeten mit gemäßigtem Klima in System mit ungewöhnlich vielen Planeten entdeckt

In einer Entfernung von nur 40 Lichtjahren haben Astronomen ein System aus sieben erdgroßen Planeten entdeckt. Alle Planeten wurden unter Verwendung von boden-...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Nebennierentumoren: Radioaktiv markierte Substanzen vermeiden unnötige Operationen

28.02.2017 | Veranstaltungen

350 Onlineforscher_innen treffen sich zur Fachkonferenz General Online Research an der HTW Berlin

28.02.2017 | Veranstaltungen

23. VDMA-Arbeitsberatung „Engineering und Konstruktion“ am 2. März 2017 an der TH Wildau

28.02.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Automatisierungstreff 2017: Experten-Tipps zu EMV und Industrie 4.0-Engineering

28.02.2017 | Seminare Workshops

Das Partnerprogramm von Stellar Datenrettung

28.02.2017 | Unternehmensmeldung

Ein Filter für schweren Wasserstoff

28.02.2017 | Biowissenschaften Chemie