シーンがつながるような画像を生成してショートムービー風にしたい。
と、思って画像は用意したけど手つかずだったものを仕上げました。
結論から言えば、モデリングデータもいらず、動画の各シーンもAI生成。
それでいてちょっと3D風でいい感じ、しかもLUMAは無料の範囲で作成。
画像生成の際のミスやおかしな箇所は、PhotoshopなどのAI機能で背景塗りつぶしや補正をかけて、なるべく画像の段階で違和感を排除。

８枚の画像のための下準備に４００枚生成

生成シーン１
路地のシーン
生成シーン２
室内のシーン
生成シーン３
うなだれシーン
生成シーン４
顔に近づくシーン
生成シーン５
顔に光がさすシーン
生成シーン６
コントローラー操作
生成シーン７
コーヒーのシーン
生成シーン８
顔のアップ
CHECK POINT: DUCHAITEN-PONY-XL (NO-SCORE) PONY-NO-SCORE_V4.0
LORA: MIDJOURNEY MIMICV1.2

今回はこの８枚を元に動画を生成しました。
この画像は約４００枚生成したうちの８枚です。
instagram への３０秒動画投稿を考えていたので、枚数的にはこれで足りるか余るかを想定していました。

ショートムービー風の３０秒動画が完成

生成AIお約束の、歪みや力業のモーフィングは所々ありますが、それなりな感じで仕上がってます。（う～ん７５点かなｗ）
画像生成時に「ほくろ」のプロンプト入れちゃったので、画像でも動画でもランダムに出ちゃってます。

LUMAに設定したEnhance promptはこんな感じ

Luma Dream Machine の動画生成画面
１. 路地のシーンA nice morning. Clouds moving slowly. A broken blue signage is blinking.
２. 室内のシーンA dimly lit room. The monitor screen shines. Slowly shift your focus to the sofa.
３. うなだれシーンzoom in slowly
４. 顔に近づくシーンShe noticed a noise and drew my attention to the viewer.
５. 顔に光がさすシーンShe smile a little. Sunlight shines in. Zoom in slowly.
６. コントローラー操作のシーンShe is concentrating on operating the controller.
７. コーヒーのシーンshe sighs. The steam from the coffee in my hand flickers. Pleasant sunshine.
８. 最後の顔のアップHer lips curve into a slight smile. A gentle look. Pleasant sunshine.
各シーンのEnhance prompt

なるべく大きな動きになりそうな要素は使わないようにしました。
それから画像を２枚使て生成しようとすると、結構な確率でモーフィングしてしまうので、今回の動画生成時は、シーンに対して１枚づつで生成しました。

最後にPremiere Pro で各シーンの mp4 をつないで、メディアに書き出したら完成です。

また機会があれば、１５～３０秒でストーリを感じられる動画を作っていきたいと思います。