Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm aus Berlin erobert die Welt

04.08.2016

Version 1.0 der Big Data-Software „Apache Flink" veröffentlicht

Big Data wird von immer mehr Unternehmen als Geldquelle angezapft. Bei der Analyse der großen Datenmengen hilft die Software „Apache Flink“. Innerhalb der vergangenen acht Jahren hat sich der ursprünglich aus einem Forschungsprojekt der TU Berlin hervorgegangene Prototyp zu einem weltweit führenden System entwickelt. Nun wurde die Version 1.0 des Programmes veröffentlicht.

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht.

Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet.

Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers.

Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl.

„Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

Vom 12. bis zum 14. September 2016 findet in Berlin der zweite „Apache Flink“-Kongress statt.

Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Volker Markl
TU Berlin
Fachgebiet Datenbanksysteme und Informationsmanagement
Tel.: 030/314-23555
E-Mail: prof@dima.tu-berlin.de

Weitere Informationen:

http://www.dima.tu-berlin.de
http://bbdc.berlin
http://flink.apache.org
http://www.tu-berlin.de/?id=175649

Stefanie Terp | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Veranstaltungsnachrichten:

nachricht Von Batterieforschung bis Optoelektronik
23.06.2017 | Justus-Liebig-Universität Gießen

nachricht 10. HDT-Tagung: Elektrische Antriebstechnologie für Hybrid- und Elektrofahrzeuge
22.06.2017 | Haus der Technik e.V.

Alle Nachrichten aus der Kategorie: Veranstaltungsnachrichten >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Can we see monkeys from space? Emerging technologies to map biodiversity

An international team of scientists has proposed a new multi-disciplinary approach in which an array of new technologies will allow us to map biodiversity and the risks that wildlife is facing at the scale of whole landscapes. The findings are published in Nature Ecology and Evolution. This international research is led by the Kunming Institute of Zoology from China, University of East Anglia, University of Leicester and the Leibniz Institute for Zoo and Wildlife Research.

Using a combination of satellite and ground data, the team proposes that it is now possible to map biodiversity with an accuracy that has not been previously...

Im Focus: Klima-Satellit: Mit robuster Lasertechnik Methan auf der Spur

Hitzewellen in der Arktis, längere Vegetationsperioden in Europa, schwere Überschwemmungen in Westafrika – mit Hilfe des deutsch-französischen Satelliten MERLIN wollen Wissenschaftler ab 2021 die Emissionen des Treibhausgases Methan auf der Erde erforschen. Möglich macht das ein neues robustes Lasersystem des Fraunhofer-Instituts für Lasertechnologie ILT in Aachen, das eine bisher unerreichte Messgenauigkeit erzielt.

Methan entsteht unter anderem bei Fäulnisprozessen. Es ist 25-mal wirksamer als das klimaschädliche Kohlendioxid, kommt in der Erdatmosphäre aber lange nicht...

Im Focus: Climate satellite: Tracking methane with robust laser technology

Heatwaves in the Arctic, longer periods of vegetation in Europe, severe floods in West Africa – starting in 2021, scientists want to explore the emissions of the greenhouse gas methane with the German-French satellite MERLIN. This is made possible by a new robust laser system of the Fraunhofer Institute for Laser Technology ILT in Aachen, which achieves unprecedented measurement accuracy.

Methane is primarily the result of the decomposition of organic matter. The gas has a 25 times greater warming potential than carbon dioxide, but is not as...

Im Focus: How protons move through a fuel cell

Hydrogen is regarded as the energy source of the future: It is produced with solar power and can be used to generate heat and electricity in fuel cells. Empa researchers have now succeeded in decoding the movement of hydrogen ions in crystals – a key step towards more efficient energy conversion in the hydrogen industry of tomorrow.

As charge carriers, electrons and ions play the leading role in electrochemical energy storage devices and converters such as batteries and fuel cells. Proton...

Im Focus: Die Schweiz in Pole-Position in der neuen ESA-Mission

Die Europäische Weltraumagentur ESA gab heute grünes Licht für die industrielle Produktion von PLATO, der grössten europäischen wissenschaftlichen Mission zu Exoplaneten. Partner dieser Mission sind die Universitäten Bern und Genf.

Die Europäische Weltraumagentur ESA lanciert heute PLATO (PLAnetary Transits and Oscillation of stars), die grösste europäische wissenschaftliche Mission zur...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Von Batterieforschung bis Optoelektronik

23.06.2017 | Veranstaltungen

10. HDT-Tagung: Elektrische Antriebstechnologie für Hybrid- und Elektrofahrzeuge

22.06.2017 | Veranstaltungen

„Fit für die Industrie 4.0“ – Tagung von Hochschule Darmstadt und Schader-Stiftung am 27. Juni

22.06.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Radioaktive Elemente in Cassiopeia A liefern Hinweise auf Neutrinos als Ursache der Supernova-Explosion

23.06.2017 | Physik Astronomie

Dünenökosysteme modellieren

23.06.2017 | Ökologie Umwelt- Naturschutz

Makro-Mikrowelle macht Leichtbau für Luft- und Raumfahrt effizienter

23.06.2017 | Materialwissenschaften