Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm aus Berlin erobert die Welt

04.08.2016

Version 1.0 der Big Data-Software „Apache Flink" veröffentlicht

Big Data wird von immer mehr Unternehmen als Geldquelle angezapft. Bei der Analyse der großen Datenmengen hilft die Software „Apache Flink“. Innerhalb der vergangenen acht Jahren hat sich der ursprünglich aus einem Forschungsprojekt der TU Berlin hervorgegangene Prototyp zu einem weltweit führenden System entwickelt. Nun wurde die Version 1.0 des Programmes veröffentlicht.

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht.

Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet.

Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers.

Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl.

„Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

Vom 12. bis zum 14. September 2016 findet in Berlin der zweite „Apache Flink“-Kongress statt.

Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Volker Markl
TU Berlin
Fachgebiet Datenbanksysteme und Informationsmanagement
Tel.: 030/314-23555
E-Mail: prof@dima.tu-berlin.de

Weitere Informationen:

http://www.dima.tu-berlin.de
http://bbdc.berlin
http://flink.apache.org
http://www.tu-berlin.de/?id=175649

Stefanie Terp | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Veranstaltungsnachrichten:

nachricht Smart MES 2017: die Fertigung der Zukunft
18.10.2017 | gbo datacomp GmbH

nachricht DFG unterstützt Kongresse und Tagungen - Dezember 2017
17.10.2017 | Deutsche Forschungsgemeinschaft (DFG)

Alle Nachrichten aus der Kategorie: Veranstaltungsnachrichten >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Sicheres Bezahlen ohne Datenspur

Ob als Smartphone-App für die Fahrkarte im Nahverkehr, als Geldwertkarten für das Schwimmbad oder in Form einer Bonuskarte für den Supermarkt: Für viele gehören „elektronische Geldbörsen“ längst zum Alltag. Doch vielen Kunden ist nicht klar, dass sie mit der Nutzung dieser Angebote weitestgehend auf ihre Privatsphäre verzichten. Am Karlsruher Institut für Technologie (KIT) entsteht ein sicheres und anonymes System, das gleichzeitig Alltagstauglichkeit verspricht. Es wird nun auf der Konferenz ACM CCS 2017 in den USA vorgestellt.

Es ist vor allem das fehlende Problembewusstsein, das den Informatiker Andy Rupp von der Arbeitsgruppe „Kryptographie und Sicherheit“ am KIT immer wieder...

Im Focus: Neutron star merger directly observed for the first time

University of Maryland researchers contribute to historic detection of gravitational waves and light created by event

On August 17, 2017, at 12:41:04 UTC, scientists made the first direct observation of a merger between two neutron stars--the dense, collapsed cores that remain...

Im Focus: Breaking: the first light from two neutron stars merging

Seven new papers describe the first-ever detection of light from a gravitational wave source. The event, caused by two neutron stars colliding and merging together, was dubbed GW170817 because it sent ripples through space-time that reached Earth on 2017 August 17. Around the world, hundreds of excited astronomers mobilized quickly and were able to observe the event using numerous telescopes, providing a wealth of new data.

Previous detections of gravitational waves have all involved the merger of two black holes, a feat that won the 2017 Nobel Prize in Physics earlier this month....

Im Focus: Topologische Isolatoren: Neuer Phasenübergang entdeckt

Physiker des HZB haben an BESSY II Materialien untersucht, die zu den topologischen Isolatoren gehören. Dabei entdeckten sie einen neuen Phasenübergang zwischen zwei unterschiedlichen topologischen Phasen. Eine dieser Phasen ist ferroelektrisch: das bedeutet, dass sich im Material spontan eine elektrische Polarisation ausbildet, die sich durch ein äußeres elektrisches Feld umschalten lässt. Dieses Ergebnis könnte neue Anwendungen wie das Schalten zwischen unterschiedlichen Leitfähigkeiten ermöglichen.

Topologische Isolatoren zeichnen sich dadurch aus, dass sie an ihren Oberflächen Strom sehr gut leiten, während sie im Innern Isolatoren sind. Zu dieser neuen...

Im Focus: Smarte Sensoren für effiziente Prozesse

Materialfehler im Endprodukt können in vielen Industriebereichen zu frühzeitigem Versagen führen und den sicheren Gebrauch der Erzeugnisse massiv beeinträchtigen. Eine Schlüsselrolle im Rahmen der Qualitätssicherung kommt daher intelligenten, zerstörungsfreien Sensorsystemen zu, die es erlauben, Bauteile schnell und kostengünstig zu prüfen, ohne das Material selbst zu beschädigen oder die Oberfläche zu verändern. Experten des Fraunhofer IZFP in Saarbrücken präsentieren vom 7. bis 10. November 2017 auf der Blechexpo in Stuttgart zwei Exponate, die eine schnelle, zuverlässige und automatisierte Materialcharakterisierung und Fehlerbestimmung ermöglichen (Halle 5, Stand 5306).

Bei Verwendung zeitaufwändiger zerstörender Prüfverfahren zieht die Qualitätsprüfung durch die Beschädigung oder Zerstörung der Produkte enorme Kosten nach...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Smart MES 2017: die Fertigung der Zukunft

18.10.2017 | Veranstaltungen

DFG unterstützt Kongresse und Tagungen - Dezember 2017

17.10.2017 | Veranstaltungen

Intelligente Messmethoden für die Bauwerkssicherheit: Fachtagung „Messen im Bauwesen“ am 14.11.2017

17.10.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Seminar zur angewandten Versuchsmethodik und Lebensdauererprobung

18.10.2017 | Seminare Workshops

Smart MES 2017: die Fertigung der Zukunft

18.10.2017 | Veranstaltungsnachrichten

Sicheres Bezahlen ohne Datenspur

17.10.2017 | Informationstechnologie