Revolution in der Bildgenerierung durch KI: Wunschbild per Texteingabe

Aus dem Text "Happy vegetables waiting for supper" generiertes Bild.
Machine Vision & Learning
Machine Vision & Learning-Arbeitsgruppe

• Die Machine Vision & Learning Arbeitsgruppe an der LMU um den Informatiker Prof. Björn Ommer hat einen der leistungsfähigsten Algorithmen zur Bildsynthese entwickelt
• Das neue KI-Modell Stable Diffusion benötigt keinen Hochleistungsrechner und ist für alle Nutzer frei verfügbar
• Die Essenz aus Milliarden von Trainingsbildern wird von dem KI-Modell in wenigen Gigabyte zusammengefasst

In Sekundenschnelle aus Texten Bilder machen – und zwar mit einer herkömmlichen Grafikkarte und ohne Hochleistungsrechner. Das ermöglicht das neue KI-Modell Stable Diffusion. Den zugrundeliegenden Algorithmus hat die Machine Vision & Learning-Arbeitsgruppe um Prof. Björn Ommer (Ludwig-Maximilians-Universität München) entwickelt.

„Selbst Laien ohne künstlerische Fähigkeiten, besondere Computerkenntnisse und Computerhardware erhalten mit dem neuen Modell ein effektives Tool, mit dem ihnen die Barriere genommen wird, ihre Kreativität zu entfalten, indem der Computer Bilder auf einfaches Zurufen generiert“, sagt Ommer. Aber auch erfahrene Künstler können neue Ideen mit Stable Diffusion schnell in eine Vielzahl von grafischen Entwürfen verwandeln. Ein solches KI-basiertes Werkzeug kann nach Überzeugung der Forschenden damit zukünftig die Möglichkeiten der kreativen Bilderzeugung durch Pinsel oder Photoshop so grundsätzlich erweitern, wie die computerbasierte Textverarbeitung es mit dem Schreiben mit Stift und Schreibmaschine gemacht hat.

Bei ihrem Vorhaben wurden die LMU-Wissenschaftler vom Start-up Stability.Ai unterstützt, auf dessen Servern das KI-Modell trainiert wurde. „Dieses Mehr an Rechenpower und Trainingsbeispielen hat unser KI-Modell in einen der leistungsfähigsten Algorithmen zur Bildsynthese verwandelt“, freut sich der Informatiker.

Besonders an dem entwickelten Ansatz ist, dass das trainierte Modell gleichzeitig leistungsfähig und doch so kompakt ist, dass es auf einer herkömmlichen Grafikkarte läuft und keinen Hochleistungsrechner mehr benötigt, wie dies bislang für die Bildsynthese der Fall war. Dazu lernt die künstliche Intelligenz, die Essenz aus Milliarden von Trainingsbildern in einem nur wenige Gigabyte großen KI-Modell zusammenzufassen. „Wenn eine solche KI wirklich verstanden hat, was ein Auto ausmacht oder welche Merkmale für einen künstlerischen Stil charakteristisch sind, sollte sie genau diese wesentlichen Merkmale erfasst haben und idealerweise weitere Beispiele kreieren können, wie es ein Schüler eines alten Meisters vermag“, erklärt Ommer. Für das Ziel der LMU-Wissenschaftler, den Computer das Sehen – also das inhaltliche Verstehen von Bildern – lernen zu lassen ist dies ein weiterer wichtiger Schritt, der die Grundlagenforschung im maschinellen Lernen und der Computer Vision weiter voranbringt.

Das trainierte Modell wurde kürzlich unter der „CreativeML Open RAIL-M“ Lizenz (https://huggingface.co/spaces/CompVis/stable-diffusion-license) frei zur Verfügung gestellt, um so die weitere Erforschung und Anwendung dieser Technologie in der Breite voranzutreiben. „Wir sind gespannt, was mit unserem aktuellen Modell ,gebaut‘ wird und welche weiteren Arbeiten aus der offenen, kollaborativen Forschung hervorgehen werden“, meint Doktorand Robin Rombach.

Wissenschaftliche Ansprechpartner:

Prof. Dr. Björn Ommer
Machine Vision & Learning Group
Tel.(office): +49 (0)89/2180-73431
b.ommer@lmu.de
https://ommer-lab.com/

Originalpublikation:

Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer: High-Resolution Image Synthesis with Latent Diffusion Models, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022
Projektwebseite: https://ommer-lab.com/research/latent-diffusion-models/

Media Contact

LMU Stabsstelle Kommunikation und Presse
Ludwig-Maximilians-Universität München

Alle Nachrichten aus der Kategorie: Informationstechnologie

Neuerungen und Entwicklungen auf den Gebieten der Informations- und Datenverarbeitung sowie der dafür benötigten Hardware finden Sie hier zusammengefasst.

Unter anderem erhalten Sie Informationen aus den Teilbereichen: IT-Dienstleistungen, IT-Architektur, IT-Management und Telekommunikation.

Zurück zur Startseite

Kommentare (0)

Schreiben Sie einen Kommentar

Neueste Beiträge

Die Gene des sechsten Sinns

Ohne sie wäre gezielte Bewegung unmöglich: Nur dank spezieller Sensoren in den Muskeln und Gelenken weiß das Gehirn, was der Rest des Körpers tut. In „Nature Communications“ beschreibt ein Team…

Künstliche Intelligenz für die Lymphom-Diagnostik

Die Universität Kiel und das UKSH ist an einem interdisziplinären Projekt beteiligt, das die digitale Analyse von mikroskopischen Bildern erprobt und prüft, ob künstliche Intelligenz molekulare Analysen ersetzen kann. Die…

Immunbooster hilft bei viralen Atemwegserkrankungen

Zentrum für Klinische Studien (ZKS) bringt Erkenntnisse aus der Wissenschaft in die praktische Anwendung. Die Medizinische Hochschule Hannover (MHH) ist deutschlandweit eine der führenden Einrichtungen in der Impfstoff-Forschung. Bevor neue…

Partner & Förderer