Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm aus Berlin erobert die Welt

04.08.2016

Version 1.0 der Big Data-Software „Apache Flink" veröffentlicht

Big Data wird von immer mehr Unternehmen als Geldquelle angezapft. Bei der Analyse der großen Datenmengen hilft die Software „Apache Flink“. Innerhalb der vergangenen acht Jahren hat sich der ursprünglich aus einem Forschungsprojekt der TU Berlin hervorgegangene Prototyp zu einem weltweit führenden System entwickelt. Nun wurde die Version 1.0 des Programmes veröffentlicht.

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht.

Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet.

Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers.

Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl.

„Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

Vom 12. bis zum 14. September 2016 findet in Berlin der zweite „Apache Flink“-Kongress statt.

Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Volker Markl
TU Berlin
Fachgebiet Datenbanksysteme und Informationsmanagement
Tel.: 030/314-23555
E-Mail: prof@dima.tu-berlin.de

Weitere Informationen:

http://www.dima.tu-berlin.de
http://bbdc.berlin
http://flink.apache.org
http://www.tu-berlin.de/?id=175649

Stefanie Terp | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Veranstaltungsnachrichten:

nachricht 123. Internistenkongress: Traumata, Sprachbarrieren, Infektionen und Bürokratie – Herausforderungen
27.04.2017 | Deutsche Gesellschaft für Innere Medizin e. V.

nachricht Jenaer Akustik-Tag: Belastende Geräusche minimieren - für den Schutz des Gehörs
27.04.2017 | Ernst-Abbe-Hochschule Jena

Alle Nachrichten aus der Kategorie: Veranstaltungsnachrichten >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Weltweit einzigartiger Windkanal im Leipziger Wolkenlabor hat Betrieb aufgenommen

Am Leibniz-Institut für Troposphärenforschung (TROPOS) ist am Dienstag eine weltweit einzigartige Anlage in Betrieb genommen worden, mit der die Einflüsse von Turbulenzen auf Wolkenprozesse unter präzise einstellbaren Versuchsbedingungen untersucht werden können. Der neue Windkanal ist Teil des Leipziger Wolkenlabors, in dem seit 2006 verschiedenste Wolkenprozesse simuliert werden. Unter Laborbedingungen wurden z.B. das Entstehen und Gefrieren von Wolken nachgestellt. Wie stark Luftverwirbelungen diese Prozesse beeinflussen, konnte bisher noch nicht untersucht werden. Deshalb entstand in den letzten Jahren eine ergänzende Anlage für rund eine Million Euro.

Die von dieser Anlage zu erwarteten neuen Erkenntnisse sind wichtig für das Verständnis von Wetter und Klima, wie etwa die Bildung von Niederschlag und die...

Im Focus: Nanoskopie auf dem Chip: Mikroskopie in HD-Qualität

Neue Erfindung der Universitäten Bielefeld und Tromsø (Norwegen)

Physiker der Universität Bielefeld und der norwegischen Universität Tromsø haben einen Chip entwickelt, der super-auflösende Lichtmikroskopie, auch...

Im Focus: Löschbare Tinte für den 3-D-Druck

Im 3-D-Druckverfahren durch Direktes Laserschreiben können Mikrometer-große Strukturen mit genau definierten Eigenschaften geschrieben werden. Forscher des Karlsruher Institus für Technologie (KIT) haben ein Verfahren entwickelt, durch das sich die 3-D-Tinte für die Drucker wieder ‚wegwischen‘ lässt. Die bis zu hundert Nanometer kleinen Strukturen lassen sich dadurch wiederholt auflösen und neu schreiben - ein Nanometer entspricht einem millionstel Millimeter. Die Entwicklung eröffnet der 3-D-Fertigungstechnik vielfältige neue Anwendungen, zum Beispiel in der Biologie oder Materialentwicklung.

Beim Direkten Laserschreiben erzeugt ein computergesteuerter, fokussierter Laserstrahl in einem Fotolack wie ein Stift die Struktur. „Eine Tinte zu entwickeln,...

Im Focus: Leichtbau serientauglich machen

Immer mehr Autobauer setzen auf Karosserieteile aus kohlenstofffaserverstärktem Kunststoff (CFK). Dennoch müssen Fertigungs- und Reparaturkosten weiter gesenkt werden, um CFK kostengünstig nutzbar zu machen. Das Laser Zentrum Hannover e.V. (LZH) hat daher zusammen mit der Volkswagen AG und fünf weiteren Partnern im Projekt HolQueSt 3D Laserprozesse zum automatisierten Besäumen, Bohren und Reparieren von dreidimensionalen Bauteilen entwickelt.

Automatisiert ablaufende Bearbeitungsprozesse sind die Grundlage, um CFK-Bauteile endgültig in die Serienproduktion zu bringen. Ausgerichtet an einem...

Im Focus: Making lightweight construction suitable for series production

More and more automobile companies are focusing on body parts made of carbon fiber reinforced plastics (CFRP). However, manufacturing and repair costs must be further reduced in order to make CFRP more economical in use. Together with the Volkswagen AG and five other partners in the project HolQueSt 3D, the Laser Zentrum Hannover e.V. (LZH) has developed laser processes for the automatic trimming, drilling and repair of three-dimensional components.

Automated manufacturing processes are the basis for ultimately establishing the series production of CFRP components. In the project HolQueSt 3D, the LZH has...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

123. Internistenkongress: Traumata, Sprachbarrieren, Infektionen und Bürokratie – Herausforderungen

27.04.2017 | Veranstaltungen

Jenaer Akustik-Tag: Belastende Geräusche minimieren - für den Schutz des Gehörs

27.04.2017 | Veranstaltungen

Ballungsräume Europas

26.04.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

123. Internistenkongress: Traumata, Sprachbarrieren, Infektionen und Bürokratie – Herausforderungen

27.04.2017 | Veranstaltungsnachrichten

Jenaer Akustik-Tag: Belastende Geräusche minimieren - für den Schutz des Gehörs

27.04.2017 | Veranstaltungsnachrichten

Auf dem Gipfel der Evolution – Flechten bei der Artbildung zugeschaut

27.04.2017 | Biowissenschaften Chemie