Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm aus Berlin erobert die Welt

04.08.2016

Version 1.0 der Big Data-Software „Apache Flink" veröffentlicht

Big Data wird von immer mehr Unternehmen als Geldquelle angezapft. Bei der Analyse der großen Datenmengen hilft die Software „Apache Flink“. Innerhalb der vergangenen acht Jahren hat sich der ursprünglich aus einem Forschungsprojekt der TU Berlin hervorgegangene Prototyp zu einem weltweit führenden System entwickelt. Nun wurde die Version 1.0 des Programmes veröffentlicht.

„Apache Flink“ kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

Solche Datenpakete werden auf viele Rechner verteilt. „Apache Flink“ koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird.

Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht.

Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Unternehmen, die „Apache Flink“ nutzen, sind etwa Zalando zur Analyse von Kundendaten sowie der Online-Games-Entwickler King, der mit Big Data die Spielzüge seiner Community auswertet.

Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von „Apache Flink“-Anwendern und die Weiterentwicklung von Flink spezialisiert.

Entstanden ist „Apache Flink“ aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der TU Berlin, Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers.

Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Über 200 Programmierer entwickeln heute das Open Source Projekt weiter. Nun wurde die Version 1.0 der Software veröffentlicht. „Flink ist erwachsen geworden", so Markl.

„Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann."

Vom 12. bis zum 14. September 2016 findet in Berlin der zweite „Apache Flink“-Kongress statt.

Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Volker Markl
TU Berlin
Fachgebiet Datenbanksysteme und Informationsmanagement
Tel.: 030/314-23555
E-Mail: prof@dima.tu-berlin.de

Weitere Informationen:

http://www.dima.tu-berlin.de
http://bbdc.berlin
http://flink.apache.org
http://www.tu-berlin.de/?id=175649

Stefanie Terp | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Veranstaltungsnachrichten:

nachricht Doc Data – warum Daten Leben retten können
14.06.2019 | Medizinische Hochschule Hannover

nachricht DFG unterstützt Kongresse und Tagungen - August 2019
13.06.2019 | Deutsche Forschungsgemeinschaft (DFG)

Alle Nachrichten aus der Kategorie: Veranstaltungsnachrichten >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: MPSD-Team entdeckt lichtinduzierte Ferroelektrizität in Strontiumtitanat

Mit Licht lassen sich Materialeigenschaften nicht nur messen, sondern auch verändern. Besonders interessant sind dabei Fälle, in denen eine fundamentale Eigenschaft eines Materials verändert werden kann, wie z.B. die Fähigkeit, Strom zu leiten oder Informationen in einem magnetischen Zustand zu speichern. Ein Team um Andrea Cavalleri vom Max-Planck-Institut für Struktur und Dynamik der Materie in Hamburg, hat nun Lichtimpulse aus dem Terahertz-Frequenzspektrum benutzt, um ein nicht-ferroelektrisches Material in ein ferroelektrisches umzuwandeln.

Ferroelektrizität ist ein Zustand, in dem die Atome im Kristallgitter eine bestimmte Richtung "aufzeigen" und dadurch eine makroskopische elektrische...

Im Focus: MPSD team discovers light-induced ferroelectricity in strontium titanate

Light can be used not only to measure materials’ properties, but also to change them. Especially interesting are those cases in which the function of a material can be modified, such as its ability to conduct electricity or to store information in its magnetic state. A team led by Andrea Cavalleri from the Max Planck Institute for the Structure and Dynamics of Matter in Hamburg used terahertz frequency light pulses to transform a non-ferroelectric material into a ferroelectric one.

Ferroelectricity is a state in which the constituent lattice “looks” in one specific direction, forming a macroscopic electrical polarisation. The ability to...

Im Focus: Konzert der magnetischen Momente

Forscher aus Deutschland, den Niederlanden und Südkorea haben in einer internationalen Zusammenarbeit einen neuartigen Weg entdeckt, wie die Elektronenspins in einem Material miteinander agieren. In ihrer Publikation in der Fachzeitschrift Nature Materials berichten die Forscher über eine bisher unbekannte, chirale Kopplung, die über vergleichsweise lange Distanzen aktiv ist. Damit können sich die Spins in zwei unterschiedlichen magnetischen Lagen, die durch nicht-magnetische Materialien voneinander getrennt sind, gegenseitig beeinflussen, selbst wenn sie nicht unmittelbar benachbart sind.

Magnetische Festkörper sind die Grundlage der modernen Informationstechnologie. Beispielsweise sind diese Materialien allgegenwärtig in Speichermedien wie...

Im Focus: Schwerefeldbestimmung der Erde so genau wie noch nie

Forschende der TU Graz berechneten aus 1,16 Milliarden Satellitendaten das bislang genaueste Schwerefeldmodell der Erde. Es liefert wertvolles Wissen für die Klimaforschung.

Die Erdanziehungskraft schwankt von Ort zu Ort. Dieses Phänomen nutzen Geodäsie-Fachleute, um geodynamische und klimatologische Prozesse zu beobachten....

Im Focus: Determining the Earth’s gravity field more accurately than ever before

Researchers at TU Graz calculate the most accurate gravity field determination of the Earth using 1.16 billion satellite measurements. This yields valuable knowledge for climate research.

The Earth’s gravity fluctuates from place to place. Geodesists use this phenomenon to observe geodynamic and climatological processes. Using...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

Doc Data – warum Daten Leben retten können

14.06.2019 | Veranstaltungen

DFG unterstützt Kongresse und Tagungen - August 2019

13.06.2019 | Veranstaltungen

Künstliche Intelligenz in der Materialmikroskopie

13.06.2019 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

German Innovation Award für Rittal VX25 Schaltschranksystem

14.06.2019 | Förderungen Preise

Fraunhofer SCAI und Uni Bonn zeigen innovative Anwendungen und Software für das High Performance Computing

14.06.2019 | Messenachrichten

Autonomes Premiumtaxi sofort oder warten auf den selbstfahrenden Minibus?

14.06.2019 | Interdisziplinäre Forschung

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics