Software vertont selbständig Bilder und Videos

Um ein selbst erstelltes Video im Internet möglichst gekonnt in Szene zu setzen, ist eine ansprechende Vertonung des gezeigten Bildmaterials unumgänglich. Für diese Aufgabe können Hobbyfilmer und Video-Enthusiasten heute zwar auf eine ganze Reihe verschiedener nützlicher Programme zurückgreifen, der benötigte Zeitaufwand ist meist aber nach wie vor beträchtlich.

Um dies zu ändern, haben findige Computerwissenschaftler der Universität Saarbrücken nun eine neuartige Software präsentiert, die selbständig zu jedem beliebigen Bild den passenden Soundtrack aufspüren kann und somit eine enorme Zeitersparnis verspricht.

„Wir haben uns genau angeschaut, welche Möglichkeiten es gibt, vorliegendes Bildmaterial automatisch mit dazupassender Musik zu unterlegen. Diese Aufgabe ist keinesfalls trivial und erfordert viel menschliche Aufmerksamkeit und Erfahrung“, erklärt Aleksandar Stupar vom Cluster of Excellence „Multimodal Computing and Interaction“ (MMCI) der Universität Saarbrücken im Gespräch mit pressetext. Gemeinsam mit seinem Kollegen Sebastian Michel hat der Computerwissenschafter einen Algorithmus namens Picture Categorisation for Suggestion Soundtracks – kurz PICASSO – entwickelt, der dieses Problem lösen soll.

Suchen, vergleichen, vorschlagen

Die Software funktioniert dabei folgendermaßen: Nachdem der User das System mit dem zu vertonenden Bild- bzw. Videomaterial gefüttert hat, werden die entsprechenden Inhalte zunächst in Standbilder zerlegt. Diese werden anschließend mit einer speziellen Film-Datenbank verglichen, um alljene Soundtracks herauszufiltern, die am ehesten zu den eigenen Inhalten passen. „Die Top zehn der gefundenen Songs werden dann dem User als Vorschläge zur Vertonung angezeigt“, erläutert Stupar.

Zum jetzigen Zeitpunkt kann PICASSO hierfür lediglich auf ein eher bescheidenes Song-Repertoire von insgesamt einigen hundert lizenzfreien Musikstücken zurückgreifen. „Wir arbeiten aber bereits mit Hochdruck an einer iPhone-App, die für diesen Zweck auch auf die persönliche MP3-Bibliothek der User zugreifen kann. Auf diese Weise trägt das System auch dem individuellen Musikgeschmack des Einzelnen Rechnung“, betont Stupar. Wann diese App offiziell erscheinen wird, stehe bislang aber noch nicht fest.

Ein langwieriger Lernprozess

Um der verwendeten Software beizubringen, welche Songs zu welchen Bildinhalten passen und welche nicht, musste der entsprechende Algorithmus einen langwierigen Lernprozess durchlaufen. So sammelten die beiden Computerwissenschaftler zunächst unzählige Stunden von bereits existierendem Filmmaterial. Dieses wurde dann in einem aufwändigen Verfahren mithilfe von PICASSO analysiert, um verschiedene Parameter ausfindig zu machen, die für eine passende Verknüpfung von Bild und Ton von zentralem Interesse sind.