Das Filmwerk — eine lokale KI-Werkstatt, die aus JSON einen Kurzfilm macht
16.11.2026. Aus ein paar Szenenbeschreibungen wird ein 150 Sekunden langer Kurzfilm: SDXL malt die Bilder, Wan macht daraus bewegte Clips, RIFE dehnt sie in Zeitlupe, und ein Taktschnitt legt alles auf einen Rock-Song. Komplett auf der eigenen Grafikkarte, ohne Cloud. Über die „E-Bike-Tour" — und über die Handgriffe, die aus hübschen Einzelbildern erst einen Film machen.
Das Filmwerk ist eine kleine Pipeline, die aus strukturierten Beschreibungen einen KI-Kurzfilm
baut. Werkzeug und Film sind getrennt: der Code liegt in einem Git-Repo, ein Film ist nur ein
Ordner mit JSON-Dateien. Ein neuer Film mit anderer Handlung und anderen Figuren braucht kein
neues Skript — cp -r vorlage ../filme/neu, Figuren, Requisiten und Szenen füllen, fertig ist die
Startaufstellung. Der erste fertige Film ist die „E-Bike-Tour": 26 Szenen, norddeutsche
Landschaft, roher fotorealistischer Look, geschnitten auf einen eigenen Song mit 128 BPM.

Die Pipeline: Bild → Clip → Zeitlupe → Taktschnitt
Jede Szene durchläuft denselben Weg, und an jeder Station entscheidet ein Mensch, nicht der Zufall:
- Prompt bauen (
prompt.py). Prompts entstehen nie von Hand, sondern aus Stil + Szene + Figuren/Requisiten. Das hält den Kanon zusammen (jede Figur hat einimmer[]und einnie[]) und macht Änderungen nachvollziehbar. - Bilder (
gpu.py bild). SDXL rendert pro Szene mehrere Seeds als Kontaktabzug — bei 1344×768 und 30 Schritten mit dem schlanken TAESDXL-Decoder rund 14 Sekunden pro Bild. - Auswählen. Pro Szene wird der beste Entwurf gewählt — mit Begründung, festgehalten in
auswahl.json, nie nur im Kopf. Abgelehnte Bilder bekommen ebenfalls einen Grund. Das ist die Gedächtnisstütze, die verhindert, dass man denselben Fehlgriff zweimal macht. - Clips (
gpu.py clip). Wan 2.2 (TI2V-5B) macht aus dem Standbild einen bewegten Clip, 832×480, 81 Frames — ~9 Minuten pro Clip. - Zeitlupe (
gpu.py zeitlupe). RIFE verdoppelt die Bildrate per ncnn-vulkan, ~5 Sekunden pro Clip — für die Einstellungen, die im Ablauf als Zeitlupe markiert sind. - Schnitt (
schnitt.py). Die Clips werden taktgenau auf den Song gelegt (128 BPM, 4 Schläge je Takt) und zufilm-vN.mp4gerendert. Die aktuelle Fassung ist v4, exakt 150,00 Sekunden.
Die Rechenarbeit läuft auf einer Radeon RX 7700 XT (12 GB, ROCm unter Windows) — derselben
Grafikkarte, die im Homelab auch die lokalen Sprachmodelle und das
Pentest-Lab bedient. Deshalb reserviert gpu.py
die Karte exklusiv über den Router, entlädt vorher die LLMs — und gibt sie nach der Sichtung wieder
frei. Die eine eiserne Regel: nach jedem Lauf --freigeben, sonst bleibt die Reservierung
hängen und die Sprachmodelle bleiben aus.
Was wirklich half
Die Pipeline ist der leichte Teil. Interessant wurden die kleinen, messbaren Fallen:
- Die 77-Token-Grenze von CLIP. SDXL/CLIP nehmen pro Text nur 75 nutzbare Tokens; den Rest
schneidet die Bibliothek stillschweigend ab. In einer frühen Runde hatte der Negativ-Prompt
150 Tokens — alles ab „moped" (u. a. „panniers", „bike bags", „blue backpack") war schlicht
wirkungslos, ohne Fehlermeldung.
prompt.pyzählt jetzt mit dem echten Tokenizer, kappt an der Grenze und meldet die verworfenen Begriffe. Und: die Reihenfolge ist die Wichtigkeit — was zählt, steht oben. - Höchstens ein Gesicht je Einstellung. Der IP-Adapter, der ein Gesicht über die Szenen hält,
vermischt zwei Gesichter im selben Bild zu Matsch. Also bricht
prompt.pyab, wenn zwei gesichtstragende Figuren in einer Einstellung stehen — die Nebenfigur läuft dann ohne Gesichtsvorlage. - Die richtige Dosis Referenz. Für das wiederkehrende E-Bike hält eine IP-Stärke von 0,25 das Rad samt Gepäckträger stabil; ab 0,4 tauchen plötzlich Doppelräder auf. Solche Schwellen findet man nur durch Ausprobieren und Aufschreiben.
- fp8 ist nicht optional. Wan passt nur in fp8 in die 12 GB; ohne landet man bei 14,7 GB und die Karte lagert aus — aus 9 Minuten werden endlose.
- Einmal kodieren statt jedes Mal. Die Gesichtsvorlage bei jedem Bild neu zu kodieren kostete +233 Sekunden pro Bild. Einmal kodieren, Encoder entladen — und der Spuk war vorbei.
Der Film als Regressionstest
Der Teil, auf den ich am meisten halte: der fertige Film ist sein eigenes Orakel. Wird am
Schnitt-Code etwas geändert, prüft ein Test per framemd5, dass der E-Bike-Film bildgleich
bleibt — jede Einstellung dieselbe Quelldatei, dieselbe Länge auf die Hundertstelsekunde. So kann
ich am Werkzeug schrauben, ohne versehentlich den fertigen Film zu zerlegen. Dieselbe Haltung wie
überall hier: nicht dem Gefühl glauben, sondern dem Messwert. Ein Standbild, das gut aussieht, ist
noch kein Film; und ein Schnitt, der „gleich aussieht", ist erst dann wirklich gleich, wenn die
Prüfsumme es sagt.
Verwandte Beiträge: Lokale LLMs, ehrlich gemessen (Lost Island) · HexStrike-AI-Pentest-Lab und die lokale KI als Fahrer