Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm aus Berlin erobert die Welt

04.08.2016

Version 1.0 der Big Data-Software „Apache Flink" veröffentlicht

Big Data wird von immer mehr Unternehmen als Geldquelle angezapft. Bei der Analyse der großen Datenmengen hilft die Software „Apache Flink“. Innerhalb der vergangenen acht Jahren hat sich der ursprünglich aus einem Forschungsprojekt der TU Berlin hervorgegangene Prototyp zu einem weltweit führenden System entwickelt. Nun wurde die Version 1.0 des Programmes veröffentlicht.

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht.

Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet.

Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers.

Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl.

„Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

Vom 12. bis zum 14. September 2016 findet in Berlin der zweite „Apache Flink“-Kongress statt.

Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Volker Markl
TU Berlin
Fachgebiet Datenbanksysteme und Informationsmanagement
Tel.: 030/314-23555
E-Mail: prof@dima.tu-berlin.de

Weitere Informationen:

http://www.dima.tu-berlin.de
http://bbdc.berlin
http://flink.apache.org
http://www.tu-berlin.de/?id=175649

Stefanie Terp | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Veranstaltungsnachrichten:

nachricht 22. Business Forum Qualität: Vom Smart Device bis zum Digital Twin
22.05.2018 | Fraunhofer-Institut für Produktionstechnologie IPT

nachricht 48V im Fokus!
21.05.2018 | Haus der Technik

Alle Nachrichten aus der Kategorie: Veranstaltungsnachrichten >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: GRACE Follow-On erfolgreich gestartet: Das Satelliten-Tandem dokumentiert den globalen Wandel

Die Satellitenmission GRACE-FO ist gestartet. Am 22. Mai um 21.47 Uhr (MESZ) hoben die beiden Satelliten des GFZ und der NASA an Bord einer Falcon-9-Rakete von der Vandenberg Air Force Base (Kalifornien) ab und wurden in eine polare Umlaufbahn gebracht. Dort nehmen sie in den kommenden Monaten ihre endgültige Position ein. Die NASA meldete 30 Minuten später, dass der Kontakt zu den Satelliten in ihrem Zielorbit erfolgreich hergestellt wurde. GRACE Follow-On wird das Erdschwerefeld und dessen räumliche und zeitliche Variationen sehr genau vermessen. Sie ermöglicht damit präzise Aussagen zum globalen Wandel, insbesondere zu Änderungen im Wasserhaushalt, etwa dem Verlust von Eismassen.

Potsdam, 22. Mai 2018: Die deutsch-amerikanische Satellitenmission GRACE-FO (Gravity Recovery And Climate Experiment Follow On) ist erfolgreich gestartet. Am...

Im Focus: Faserlaser mit einstellbarer Wellenlänge

Faserlaser sind ein effizientes und robustes Werkzeug zum Schweißen und Schneiden von Metallen beispielsweise in der Automobilindustrie. Systeme bei denen die Wellenlänge des Laserlichts flexibel einstellbar ist, sind für spektroskopische Anwendungen und die Medizintechnik interessant. Wissenschaftlerinnen und Wissenschaftler des Leibniz-Instituts für Photonische Technologien (Leibniz-IPHT) haben, im Rahmen des vom Bundesministerium für Bildung und Forschung (BMBF) geförderten Projekts „FlexTune“, ein neues Abstimmkonzept realisiert, das erstmals verschiedene Emissionswellenlängen voneinander unabhängig und zeitlich synchron erzeugt.

Faserlaser bieten im Vergleich zu herkömmlichen Lasern eine höhere Strahlqualität und Energieeffizienz. Integriert in einen vollständig faserbasierten...

Im Focus: LZH zeigt Lasermaterialbearbeitung von morgen auf der LASYS 2018

Auf der LASYS 2018 zeigt das Laser Zentrum Hannover e.V. (LZH) vom 5. bis zum 7. Juni Prozesse für die Lasermaterialbearbeitung von morgen in Halle 4 an Stand 4E75. Mit gesprengten Bombenhüllen präsentiert das LZH in Stuttgart zudem erste Ergebnisse aus einem Forschungsprojekt zur zivilen Sicherheit.

Auf der diesjährigen LASYS stellt das LZH lichtbasierte Prozesse wie Schneiden, Schweißen, Abtragen und Strukturieren sowie die additive Fertigung für Metalle,...

Im Focus: Achema 2018: Neues Kamerasystem überwacht Destillation und hilft beim Energiesparen

Um chemische Gemische in ihre Einzelbestandteile aufzutrennen, ist in der Industrie die energieaufwendige Destillation gängig, etwa bei der Raffinerie von Rohöl. Forscher der Technischen Universität Kaiserslautern (TUK) entwickeln ein Kamerasystem, das diesen Prozess überwacht. Dabei misst es, ob es zu einer starken Tropfenbildung kommt, was sich negativ auf die Trennung der Komponenten auswirken kann. Die Technik könnte hier künftig automatisch gegensteuern, wenn sich Messwerte ändern. So ließe sich auch Energie einsparen. Auf der Prozesstechnik-Messe Achema in Frankfurt stellen sie die Technik vom 11. bis 15. Juni am Forschungsstand des Landes Rheinland-Pfalz (Halle 9.2, Stand A86a) vor.

Bei der Destillation werden Flüssigkeiten durch Verdampfen und darauffolgende Kondensation des Dampfes in ihre Bestandteile getrennt. Ein bekanntes Beispiel...

Im Focus: Vielseitige Nanokugeln: Forscher bauen künstliche Zellkompartimente als molekulare Werkstatt

Wie verleiht man Zellen neue Eigenschaften ohne ihren Stoffwechsel zu behindern? Ein Team der Technischen Universität München (TUM) und des Helmholtz Zentrums München veränderte Säugetierzellen so, dass sie künstliche Kompartimente bildeten, in denen räumlich abgesondert Reaktionen ablaufen konnten. Diese machten die Zellen tief im Gewebe sichtbar und mittels magnetischer Felder manipulierbar.

Prof. Gil Westmeyer, Professor für Molekulare Bildgebung an der TUM und Leiter einer Forschungsgruppe am Helmholtz Zentrum München, und sein Team haben dies...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

22. Business Forum Qualität: Vom Smart Device bis zum Digital Twin

22.05.2018 | Veranstaltungen

48V im Fokus!

21.05.2018 | Veranstaltungen

„Data Science“ – Theorie und Anwendung: Internationale Tagung unter Leitung der Uni Paderborn

18.05.2018 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Rotierende Rugbybälle unter den massereichsten Galaxien

23.05.2018 | Physik Astronomie

Invasive Quallen: Strömungen als Ausbreitungsmotor

23.05.2018 | Ökologie Umwelt- Naturschutz

Matrix-Theorie als Ursprung von Raumzeit und Kosmologie

23.05.2018 | Physik Astronomie

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics