Anime Animation mit Stable Diffusion erstellen: Die ultimative Anleitung

Loopback Wave oder auch Slidediffusion genannt, ist der neue Trend auf Plattformen wie Tiktok, Instagram und Snapchat und wird mit Stable Diffusion erreicht. Dort werden gerne Anime Bilder für diese Videos verwendet. Loopback Wave Videos werden anhand von einem einzigen Bild erstellt und immer weiter modifiziert. Die einzelnen Bilder werden danach zu einem Video geschnitten und gerendert, um ein „sauberes“ und fertiges Video zu erhalten.

Stable Diffusion Animationen: Dies ist das Ergebnis, was wir wollen

@proteinique

🥢🧹 Iria Vandoum 🧹🥢 #hogwartslegacy #harrypotter #slytherin #waifu #SlideDiffusion #stablediffusion #animeedit #fyp Hi guys, i trained à model on my Hogwart legacy char and here the result, it came out better than i expected tbh, she’s not that pretty on the game haha. Enjoy

♬ Hedwig’s Theme – John Williams

Was benötigen wir für die txt2img Videos?

Ein bisschen Zeit und viel Interesse. Der Aufbau ist nicht kompliziert, aber die nötigen Installationen nehmen ca. 30 Minuten Zeit ein (je nach Rechnergeschwindigkeit).

Am Ende benötigen wir die folgenden KOSTENLOSEN Softwareprodukte:

• Stable Diffusion Webui
• Das Loopback Wave Script
• Flowframe / Davinci Resolve / Adobe After Effect

Das klingt erstmal nach sehr viel komplizierten Softwarenamen, ist aber für unserer Zwecke kostenlos ohne Wasserzeichen und einwandfrei verwendbar.

Stable Diffusion WebUI installieren

Zunächst beginnen wir damit, das Stable Diffusion Webui zu installieren. Diese Installation ist ein One Click Installer und braucht von uns keine weitere Konfiguration.

Geht auf das Github Projekt Stable Diffusion Webui von AUTOMATIC1111 und ladet die Zipfile herunter: Stable Diffusion Webui Download

Am leichten geht das für normale Nutzer über den Punkt „Code“ → „Download Zip“

Diese ZIP Date irgendwie abspeichern und direkt bitte als ganzen Ordner entpacken. Falls ihr das noch nicht gemacht habt, hilft euch Microsoft mit einer Anleitung.

Den entpackten Ordner sucht ihr nun und öffnet die Autoinstallationsdatei webui-user.bat direkt im Ordner drin.

Je nach Geschwindigkeit dauert die Installation ein wenig da wir uns relativ viele Module aus dem Internet automatisch ziehen müssen (Modelle, Konfigurationen etc.).

Am Ende der Installation wird auch Gradio mit aufgesetzt, Gradio bietet uns eine angenehme Weboberfläche, die wir brauchen.

Am Ende der Installation erhaltet ihr eine IP-Adresse, die ihr besuchen könnt. Diese bitte testweise aufrufen, um zu schauen, ob ihr eine Webseite seht. Hier der Link: http://127.0.0.1:7860

Das Loopback Wave Script installieren

Als Nächstes legen wir eine neue Version des Loopback Wave Scripts ab. Dazu das Script von der offiziellen Seite Rentry herunterladen und abspeichern.

Das Script muss nun in den richtigen Ordner gelegt werden.

Das wars, mehr müsst ihr hier nicht machen. Nun laden wir das Model runter mit den Referenzen.

Das Anime Model Anything V3.0 implementieren

Unser Stable Diffusion kann aktuell nur „Grütze“ produzieren, deswegen müssen wir nun unser Model „Einspeisen“, damit Stable Diffusion auch weiß, was ihr eigentlich verlangt.

Da wir hier auf Torrent ausweisen, wäre es am besten, wenn ihr euch hier kurz bedient: Anything V3.0 runterladen und implementieren.

Vergesst nicht, die Datei umzubenennen! Ein kurzer Neustart der Webui und ihr könnt oben Links den Checkpoint nun auswählen:

Stable Diffusion Extensions installieren

Als Nächstes installieren wir fix 2 kleine Extensions, die wir auf unserer Reise benötigen.

Dann geben wir dort unsere GIT Adresse ein, drücken Install und machen das Gleiche bei der 2. Git Adresse.

• https://github.com/yownas/seed_travel.git
• https://github.com/DominikDoom/a1111-sd-webui-tagcomplete

Danach wechseln wir wieder auf Installed und drücken „Apply and restart UI“.

Wofür diese sind, erkläre ich euch später.

Einstellungen und euer erster Bilderversuch

In eurer Stable Diffusion Ansicht wechseln wir jetzt auf den 1. Reiter txt2img! Setzen wir indessen ein paar Einstellungen richtig. Mit den Werten müsst ihr allerdings ein wenig herumspielen, ich zeige euch erstmal ein paar Werte, die für mich funktioniert haben.

• Positiver Prompt: best quality, highres, absurdres, artoria pendragon (fate), armor, (excalibur (fate/stay night), sword, holding sword:1.1)(1girl)
• Negativer Prompt: (worst quality, low quality:1.4), (greyscale, monochrome:1.1), cropped, lowres , username, blurry, trademark, watermark, title, multiple view, Reference sheet, curvy, plump, fat, strabismus, clothing cutout, side slit,worst hand,(ugly face:1.2),extra leg,extra arm,bad foot,text,name
• Sampling Steps: 30 (Später 50+, wenn ihr zuverlässige Ergebnisse benötigt)
• Batch Count: 5
• Scale / CFG: 4-7 (Mit diesem Wert zwingt ihr Stable Diffusion, sich eher an eure Vorgaben zu halten.
• Sampling Method: DPM++ 2M Karras (Ist hübscher)
• Seed: -1 (Ein Zufallswert wird gewürfelt

Danach drückt ihr auf Generate, nach einigen Versuchen kam das Bild bei mir raus:

Seed extrahieren und Bewegungen erstellen

Ein Seed ist im Prinzip eine Blaupause für ein Model. Klicken wir auf das Bild, unten steht nun ein Seed Wert, den wir kopieren:

Diesen Seed setzen wir nun in unsere Seed Travel Extension ein. Ihr erinnert euch, die hatten wir vorhin installiert. Aktivieren könnt ihr die Extension unten Links unter Script.

Nun tragen wir den Start und End Seed für unser Bild rein. Durch „Batch Count: 5“ haben wir nun 5 Bilder zur Auswahl. Wir nehmen einfach nun 2 gute Bilder die Optisch zusammenpassen und kopieren jeweils einen Seed bei „Seed“ ein (statt -1) und den anderen Seed bei Destination Seed.

Dann noch die Settings so anpassen:

• Steps 60
• Loop Back to initial Seed deaktivieren
• Save Results to Video deaktivieren (möglicherweise nicht da)

Danach drücken wir Generate oben rechts auf der Webseite. Das kann nun ein wenig dauern!

Flowframe Kostenlos installieren

Inzwischen brauchen wir eine Software, die unseren gewünschten Loopback Wave Effekt erzielt. Es gibt viele Lösungen, aber eine gute und kostenlose Alternative dafür ist Flowframe. Installiert dies jetzt.

Flowframe verwenden

Wir starten Flowframe und setzen auch hier ein paar Einstellungen richtig. Rufen wir den Ordner auf mit den ganzen Bildern, die wir eben noch generiert haben. Dazu auf diesen Button mit dem Ordner klicken

Und dort ist jetzt ein neuer Ordner, bei mir heißt dieser travels, darin ist der Ordner 00000 und in diesem ist ein dritter Ordner mit einer Datumsanzeige.

Kopiert euch den Pfad von diesem letzten Ordner, bei mir sieht dieser so aus: C:\aisoftware\stable-diffusion-webui\outputs\txt2img-images\travels\00000\2023-04-11

In Flowframe solltet ihr diesen Pfad inzwischen bei Input Video (or Frames Folder) hineinkopieren. Daneben ist ein Button, der Browse (Folder) heißt. Klickt im Anschluss darauf. Falls es gerade lädt, ist das ok! Wartet dann einen kurzen Augenblick mit dem finalen Klick.

Schreibt bei Output FPS and Speed nun eine 3 hinein und multipliziert diesen Framewert mit x10 sodass ihr 30 FPS erhaltet.

Zum Schluss drücken wir unten Links auf den riesigen Button „Interpolate“. Flowframe beginnt eure Frames ineinander übergehen zu lassen. Das kann je nach Betriebssystem und Grafikkarte ein wenig dauern. Währenddessen dürft ihr in der Preview Anzeige euer Werk betrachten.

Sobald die Software fertig ist, erhaltet ihr mehrere visuelle Signale. Öffnen wir nun den wie oben angegeben Output Ordner, können wir unser finales Ergebnis endlich begutachten:

Wir sind endlich am Ende unserer Seite. Ich hoffe diese umfangreiche Anfänger Anleitung hat euch geholfen eure erste Loopback Wave / Slidediffusion Animation zu erstellen.

Wie geht es weiter?

Es gibt viele Möglichkeiten, ab hier weiterzumachen. Viele sind auf dem Anime Zug aufgestiegen, aber mit verschiedensten Models von Civitai.com könnt ihr quasi alles animieren. Sogar Essen wäre kein Problem.

Des Weiteren könntet ihr mit Davinci Resolve oder Adobe After Effects verwenden, um noch schönere Loops zu erzeugen. Alternativ könnt ihr bei Itch.io auch das günstige Abo für die volle FlowFrames Version kaufen (4 € im Monat).

Natürlich könntet ihr auch an eurem Prompting arbeiten, dieser Midjourney Prompt Beitrag kann auch für Stable Diffusion verwendet werden.

Zusatzinformation:
Ich referenziere kurz auf die Extension tagcomplete die wir installieren, gehe aber nicht näher drauf ein. Die Extension schlägt euch Begriffe für Prompts vor!

Ich hoffe dieser Guide hier lässt keine Fragen mehr offen und wenn doch, schreibt es mir gerne in die Kommentare.

Edit: 14.04.2023: Schreibfehler korrigiert