Mesterséges intelligencia által vezérelt videókészítés Wan2.1 és LoRA bővítésekkel. Legújabb projektemben a nemrég elérhetővé vált Wan2.1 videómodellt teszteltem két izgalmas LoRA-val (360 Degree Rotation LoRA és Particalize LoRA).
Munkafolyamat felépítése
Lépésről lépésre felépítettem a munkafolyamatot a projekt hatékony megszervezése érdekében:
- Forgatókönyvírás és narráció: ChatGPT
- Szereplő/tárgy/jelenet generálás: Google Imagen 3, FLUX.1 Dev, Flux.1 Dev+ControlNet Upscale, Wan2.1 + 360 Degree Rotation LoRA, Affinity Photo 2
- Kép-videó konvertálás: ChatGPT (KlingAI és Wan 2.1 Video Prompters), KlingAI, Wan2.1 + Particalize LoRA + 360 Degree Rotation LoRA
- Szájszinkron: KlingAI
- Vágás: DaVinci Resolve Studio
Forgatókönyv fejlesztés
A forgatókönyvhöz a ChatGPT-t használtam ötletelésre. A javaslatok közül egy energiaital reklám koncepciót választottam ki, amit végleges forgatókönyvvé alakítottam. Ez alapján részletes jelenetlistát és tárgylistát készítettem, hogy azonosítsam a szükséges vizuális elemeket.
Szereplők, jelenetek, tárgyak létrehozása
Különböző eszközökkel generáltam a kulcsszereplőket, jeleneteket és tárgyakat. A konzisztens, több nézetből készült vizuális elemekhez a Wan2.1 + 360 Degree Rotation LoRA kombinációra támaszkodtam. Minden generált elemet finomítottam és retusáltam az Affinity Photo programmal, hogy a videókészítés során a lehető legjobb minőséget biztosítsam.
Kép-videó konverzió
A videós promptok finomításához a ChatGPT segítségét vettem igénybe, a KlingAI és a Wan 2.1 Video Prompter eszközök alkalmazásával. A végső videószekvenciákat a KlingAI és egyedi ComfyUI munkafolyamatokkal készítettem el a Wan2.1 felhasználásával. A dinamikus packshot jelenethez (ahol az energiaitalos doboz vibráló, lila szilánkokra robban) a Wan2.1 + Particalize LoRA kombinációt alkalmaztam a legjobb vizuális hatás érdekében.
Szinkronizálás és narráció
A narrációt és szinkronizálást zökkenőmentesen kezelte a KlingAI LipSync funkciója.
Végső vágás
A projekt végső simításait a DaVinci Resolve Studio programban végeztem, ahol a vágás, kompozitálás, színkorrekció és hangdizájn is készült, hogy az elkészült mű igazán életre keljen.
Ez a projekt nagyszerű lehetőséget nyújtott az új AI eszközök kipróbálására, miközben egy olyan munkafolyamatot fejlesztettem, amely ötvözi a kreativitást és a precizitást. Az olyan új technikák felfedezése, mint a LoRA-k kombinálása és a munkafolyamat finomítása, továbbra is izgalmas lehetőségeket tár fel az AI-alapú videókészítés világában.