← zur Übersicht

Das Filmwerk — eine lokale KI-Werkstatt, die aus JSON einen Kurzfilm macht

16.11.2026. Aus ein paar Szenenbeschreibungen wird ein 150 Sekunden langer Kurzfilm: SDXL malt die Bilder, Wan macht daraus bewegte Clips, RIFE dehnt sie in Zeitlupe, und ein Taktschnitt legt alles auf einen Rock-Song. Komplett auf der eigenen Grafikkarte, ohne Cloud. Über die „E-Bike-Tour" — und über die Handgriffe, die aus hübschen Einzelbildern erst einen Film machen.

Das Filmwerk ist eine kleine Pipeline, die aus strukturierten Beschreibungen einen KI-Kurzfilm baut. Werkzeug und Film sind getrennt: der Code liegt in einem Git-Repo, ein Film ist nur ein Ordner mit JSON-Dateien. Ein neuer Film mit anderer Handlung und anderen Figuren braucht kein neues Skript — cp -r vorlage ../filme/neu, Figuren, Requisiten und Szenen füllen, fertig ist die Startaufstellung. Der erste fertige Film ist die „E-Bike-Tour": 26 Szenen, norddeutsche Landschaft, roher fotorealistischer Look, geschnitten auf einen eigenen Song mit 128 BPM.

Kontaktabzug des fertigen Films „E-Bike-Tour" (film-v4)

Die Pipeline: Bild → Clip → Zeitlupe → Taktschnitt

Jede Szene durchläuft denselben Weg, und an jeder Station entscheidet ein Mensch, nicht der Zufall:

  1. Prompt bauen (prompt.py). Prompts entstehen nie von Hand, sondern aus Stil + Szene + Figuren/Requisiten. Das hält den Kanon zusammen (jede Figur hat ein immer[] und ein nie[]) und macht Änderungen nachvollziehbar.
  2. Bilder (gpu.py bild). SDXL rendert pro Szene mehrere Seeds als Kontaktabzug — bei 1344×768 und 30 Schritten mit dem schlanken TAESDXL-Decoder rund 14 Sekunden pro Bild.
  3. Auswählen. Pro Szene wird der beste Entwurf gewählt — mit Begründung, festgehalten in auswahl.json, nie nur im Kopf. Abgelehnte Bilder bekommen ebenfalls einen Grund. Das ist die Gedächtnisstütze, die verhindert, dass man denselben Fehlgriff zweimal macht.
  4. Clips (gpu.py clip). Wan 2.2 (TI2V-5B) macht aus dem Standbild einen bewegten Clip, 832×480, 81 Frames — ~9 Minuten pro Clip.
  5. Zeitlupe (gpu.py zeitlupe). RIFE verdoppelt die Bildrate per ncnn-vulkan, ~5 Sekunden pro Clip — für die Einstellungen, die im Ablauf als Zeitlupe markiert sind.
  6. Schnitt (schnitt.py). Die Clips werden taktgenau auf den Song gelegt (128 BPM, 4 Schläge je Takt) und zu film-vN.mp4 gerendert. Die aktuelle Fassung ist v4, exakt 150,00 Sekunden.

Die Rechenarbeit läuft auf einer Radeon RX 7700 XT (12 GB, ROCm unter Windows) — derselben Grafikkarte, die im Homelab auch die lokalen Sprachmodelle und das Pentest-Lab bedient. Deshalb reserviert gpu.py die Karte exklusiv über den Router, entlädt vorher die LLMs — und gibt sie nach der Sichtung wieder frei. Die eine eiserne Regel: nach jedem Lauf --freigeben, sonst bleibt die Reservierung hängen und die Sprachmodelle bleiben aus.

Was wirklich half

Die Pipeline ist der leichte Teil. Interessant wurden die kleinen, messbaren Fallen:

Der Film als Regressionstest

Der Teil, auf den ich am meisten halte: der fertige Film ist sein eigenes Orakel. Wird am Schnitt-Code etwas geändert, prüft ein Test per framemd5, dass der E-Bike-Film bildgleich bleibt — jede Einstellung dieselbe Quelldatei, dieselbe Länge auf die Hundertstelsekunde. So kann ich am Werkzeug schrauben, ohne versehentlich den fertigen Film zu zerlegen. Dieselbe Haltung wie überall hier: nicht dem Gefühl glauben, sondern dem Messwert. Ein Standbild, das gut aussieht, ist noch kein Film; und ein Schnitt, der „gleich aussieht", ist erst dann wirklich gleich, wenn die Prüfsumme es sagt.


Verwandte Beiträge: Lokale LLMs, ehrlich gemessen (Lost Island) · HexStrike-AI-Pentest-Lab und die lokale KI als Fahrer

← zur Übersicht