Die Optimierung von Stable Diffusion für die Verwendung in der Produktion eines Kurzfilmprojektes


Noah Kyeong-Seo Ban

Präsentation
18. October 2023, 10:00 Uhr, Raum 3.216
Betreuer
Prof. Hans Kornacher
Kooperationspartner
TH Köln
Stichworte
A.I.-Art, Stable Diffusion, Diffusionsmodell, Deep Learning, Visual Effects, Greenscreen
Bildrechte
Noah Kyeong-Seo Ban, generated via https://github.com/AUTOMATIC1111/stable-diffusion-webui

Abstract

Dieses Praxisprojekt beschäftigt sich mit dem Thema Stable Diffusion und dessen Verwendung als Videoeffekt-Tool in Filmen. Im Rahmen der Arbeit wird die Funktionsweise von Stable Diffusion grundlegend mit denen, für die Versuchsdurchführung erforderlichen Aspekten vorgestellt und erläutert. Die Versuchsdurchführung umfasst die Arbeit mit Stable Diffusion in drei Teilversuchen. Der dritte Versuch stellt die Produktion eines Kurzfilmprojektes dar, welches die Ergebnisse der vorherigen Experimente berücksichtigt. Es werden jeweils die Beobachtungen der Experimente präsentiert und mögliche Einschränkungen und Herausforderungen des Tools diskutiert. In der Auswertung werden die erzeugten Ergebnisse bewertet und die Stärken und Schwächen der angewandten Methoden erörtert. Diese Präsentation soll das Verständnis der kreativen Möglichkeiten erweitern, die Stable Diffusion in Zukunft bieten könnte.

Die Entwicklung neuer lernfähiger Technologien wie ChatGPT oder WolframAlpha revolutioniert die Methoden aufwendige Rechenleistungen zu erfüllen oder komplexe Aufgaben zu lösen. Die Thematik Artificial Intelligence ist in Nachrichten und sozialen Medien inzwischen omnipräsent. Während die ursprüngliche Intention darin bestand, logische Probleme der Mathematik, Informatik, Physik oder anderer Naturwissenschaften zu lösen, erregt nun die Verwendung von A.I.-Systemen in Kunst und Design für Aufmerksamkeit. Eines dieser A.I.-Systeme ist Stable Diffusion. Stable Diffusion wird als Deep-Learning-Text-to-Image-Generator bezeichnet, der es ermöglicht, hoch detaillierte Bilder zu generieren. Doch kann diese Technologie auch in Bewegtbildern Verwendung finden? Da eine Sequenz aneinandergereihter Bilder einen Film oder ein Video bildet, besteht die Möglichkeit, Bilder mit Stable Diffusion zunächst separat zu bearbeiten und anschließend aneinandergereiht wiederzugeben. Daher soll in dieser Arbeit eine mögliche Verwendung von Stable Diffusion in der Produktion von Filmen in naher Zukunft anhand eines Kurzfilmprojektes veranschaulicht werden. Insgesamt wurden 3 Teilexperimente durchgeführt, um einen Anwendungsfall zu identifizieren und sich mit der Arbeit mit Stable Diffusion vertraut zu machen. Im Fokus steht, den Umgang mit Stable Diffusion zu optimieren, sodass der finale Film im dritten Experiment aus einer konsistenten Bildsequenz besteht und kaum bis keine Störelemente wahrzunehmen sind.

Material & weiterführende Info

  • Stable Diffusion Web-UI: https://github.com/AUTOMATIC1111/stable-diffusion-webui
  • Experiment-Ergebnisse: https://th-koeln.sciebo.de/s/eypxyL56jQHwr20

Vorschläge für weitere Arbeiten im Themenfeld

Urheberrechte und Lizenzen im Umgang mit Stable Diffusion, Ist A.I.-generierte Kunst noch Kunst?, Die Auswirkungen von Stable Diffusion auf Wirtschaft und Gesellschaft