Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm aus Berlin erobert die Welt

04.08.2016

Version 1.0 der Big Data-Software „Apache Flink" veröffentlicht

Big Data wird von immer mehr Unternehmen als Geldquelle angezapft. Bei der Analyse der großen Datenmengen hilft die Software „Apache Flink“. Innerhalb der vergangenen acht Jahren hat sich der ursprünglich aus einem Forschungsprojekt der TU Berlin hervorgegangene Prototyp zu einem weltweit führenden System entwickelt. Nun wurde die Version 1.0 des Programmes veröffentlicht.

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht.

Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet.

Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers.

Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl.

„Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

Vom 12. bis zum 14. September 2016 findet in Berlin der zweite „Apache Flink“-Kongress statt.

Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Volker Markl
TU Berlin
Fachgebiet Datenbanksysteme und Informationsmanagement
Tel.: 030/314-23555
E-Mail: prof@dima.tu-berlin.de

Weitere Informationen:

http://www.dima.tu-berlin.de
http://bbdc.berlin
http://flink.apache.org
http://www.tu-berlin.de/?id=175649

Stefanie Terp | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Veranstaltungsnachrichten:

nachricht Von „Coopetition“ bis „Digitale Union“ – Die Fertigungsindustrien im digitalen Wandel
02.12.2016 | Münchner Kreis

nachricht Experten diskutieren Perspektiven schrumpfender Regionen
01.12.2016 | Bundesinstitut für Bau-, Stadt- und Raumforschung (BBSR)

Alle Nachrichten aus der Kategorie: Veranstaltungsnachrichten >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Greifswalder Forscher dringen mit superauflösendem Mikroskop in zellulären Mikrokosmos ein

Das Institut für Anatomie und Zellbiologie weiht am Montag, 05.12.2016, mit einem wissenschaftlichen Symposium das erste Superresolution-Mikroskop in Greifswald ein. Das Forschungsmikroskop wurde von der Deutschen Forschungsgemeinschaft (DFG) und dem Land Mecklenburg-Vorpommern finanziert. Nun können die Greifswalder Wissenschaftler Strukturen bis zu einer Größe von einigen Millionstel Millimetern mittels Laserlicht sichtbar machen.

Weit über hundert Jahre lang galt die von Ernst Abbe 1873 publizierte Theorie zur Auflösungsgrenze von Lichtmikroskopen als ein in Stein gemeißeltes Gesetz....

Im Focus: Durchbruch in der Diabetesforschung: Pankreaszellen produzieren Insulin durch Malariamedikament

Artemisinine, eine zugelassene Wirkstoffgruppe gegen Malaria, wandelt Glukagon-produzierende Alpha-Zellen der Bauchspeicheldrüse (Pankreas) in insulinproduzierende Zellen um – genau die Zellen, die bei Typ-1-Diabetes geschädigt sind. Das haben Forscher des CeMM Forschungszentrum für Molekulare Medizin der Österreichischen Akademie der Wissenschaften im Rahmen einer internationalen Zusammenarbeit mit modernsten Einzelzell-Analysen herausgefunden. Ihre bahnbrechenden Ergebnisse werden in Cell publiziert und liefern eine vielversprechende Grundlage für neue Therapien gegen Typ-1 Diabetes.

Seit einigen Jahren hatten sich Forscher an diesem Kunstgriff versucht, der eine simple und elegante Heilung des Typ-1 Diabetes versprach: Die vom eigenen...

Im Focus: Makromoleküle: Mit Licht zu Präzisionspolymeren

Chemikern am Karlsruher Institut für Technologie (KIT) ist es gelungen, den Aufbau von Präzisionspolymeren durch lichtgetriebene chemische Reaktionen gezielt zu steuern. Das Verfahren ermöglicht die genaue, geplante Platzierung der Kettengliedern, den Monomeren, entlang von Polymerketten einheitlicher Länge. Die präzise aufgebauten Makromoleküle bilden festgelegte Eigenschaften aus und eignen sich möglicherweise als Informationsspeicher oder synthetische Biomoleküle. Über die neuartige Synthesereaktion berichten die Wissenschaftler nun in der Open Access Publikation Nature Communications. (DOI: 10.1038/NCOMMS13672)

Chemische Reaktionen lassen sich durch Einwirken von Licht bei Zimmertemperatur auslösen. Die Forscher am KIT nutzen diesen Effekt, um unter Licht die...

Im Focus: Neuer Sensor: Was im Inneren von Schneelawinen vor sich geht

Ein neuer Radarsensor erlaubt Einblicke in die inneren Vorgänge von Schneelawinen. Entwickelt haben ihn Ingenieure der Ruhr-Universität Bochum (RUB) um Dr. Christoph Baer und Timo Jaeschke gemeinsam mit Kollegen aus Innsbruck und Davos. Das Messsystem ist bereits an einem Testhang im Wallis installiert, wo das Schweizer Institut für Schnee- und Lawinenforschung im Winter 2016/17 Messungen damit durchführen möchte.

Die erhobenen Daten sollen in Simulationen einfließen, die das komplexe Geschehen im Inneren von Lawinen detailliert nachbilden. „Was genau passiert, wenn sich...

Im Focus: Neuer Rekord an BESSY II: 10 Millionen Ionen erstmals bis auf 7,4 Kelvin gekühlt

Magnetische Grundzustände von Nickel2-Ionen spektroskopisch ermittelt

Ein internationales Team aus Deutschland, Schweden und Japan hat einen neuen Temperaturrekord für sogenannte Quadrupol-Ionenfallen erreicht, in denen...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Von „Coopetition“ bis „Digitale Union“ – Die Fertigungsindustrien im digitalen Wandel

02.12.2016 | Veranstaltungen

Experten diskutieren Perspektiven schrumpfender Regionen

01.12.2016 | Veranstaltungen

Die Perspektiven der Genom-Editierung in der Landwirtschaft

01.12.2016 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Parkinson-Krankheit und Dystonien: DFG-Forschergruppe eingerichtet

02.12.2016 | Förderungen Preise

Smart Data Transformation – Surfing the Big Wave

02.12.2016 | Studien Analysen

Nach der Befruchtung übernimmt die Eizelle die Führungsrolle

02.12.2016 | Biowissenschaften Chemie