シーンがつながるような画像を生成してショートムービー風にしたい。
と、思って画像は用意したけど手つかずだったものを仕上げました。
結論から言えば、モデリングデータもいらず、動画の各シーンもAI生成。
それでいてちょっと3D風でいい感じ、しかもLUMAは無料の範囲で作成。
画像生成の際のミスやおかしな箇所は、PhotoshopなどのAI機能で背景塗りつぶしや補正をかけて、なるべく画像の段階で違和感を排除。
８枚の画像のための下準備に４００枚生成
CHECK POINT: DUCHAITEN-PONY-XL (NO-SCORE) PONY-NO-SCORE_V4.0
LORA: MIDJOURNEY MIMICV1.2
今回はこの８枚を元に動画を生成しました。
この画像は約４００枚生成したうちの８枚です。
instagram への３０秒動画投稿を考えていたので、枚数的にはこれで足りるか余るかを想定していました。
ショートムービー風の３０秒動画が完成
生成AIお約束の、歪みや力業のモーフィングは所々ありますが、それなりな感じで仕上がってます。（う～ん７５点かなｗ）
画像生成時に「ほくろ」のプロンプト入れちゃったので、画像でも動画でもランダムに出ちゃってます。
LUMAに設定したEnhance promptはこんな感じ
| １. 路地のシーン | A nice morning. Clouds moving slowly. A broken blue signage is blinking. |
| ２. 室内のシーン | A dimly lit room. The monitor screen shines. Slowly shift your focus to the sofa. |
| ３. うなだれシーン | zoom in slowly |
| ４. 顔に近づくシーン | She noticed a noise and drew my attention to the viewer. |
| ５. 顔に光がさすシーン | She smile a little. Sunlight shines in. Zoom in slowly. |
| ６. コントローラー操作のシーン | She is concentrating on operating the controller. |
| ７. コーヒーのシーン | she sighs. The steam from the coffee in my hand flickers. Pleasant sunshine. |
| ８. 最後の顔のアップ | Her lips curve into a slight smile. A gentle look. Pleasant sunshine. |
なるべく大きな動きになりそうな要素は使わないようにしました。
それから画像を２枚使て生成しようとすると、結構な確率でモーフィングしてしまうので、今回の動画生成時は、シーンに対して１枚づつで生成しました。
最後にPremiere Pro で各シーンの mp4 をつないで、メディアに書き出したら完成です。
また機会があれば、１５～３０秒でストーリを感じられる動画を作っていきたいと思います。