Generative AI、Flux.1 dev、Luma Dream Machine を使用して 30 秒のビデオを作成しました。炎の表現を使ってみたくて試しに動画にしてみました。Youtube shortやソーシャル投稿向けのサイズです。音楽はSunoのAI生成曲です。個人的な趣味として、AI を使って画像や動画を生成やってます。

Crimson dragon [30seconds AI music(orche) video] #short
Tools
ComfyUI
Luma Dream Machine
Suno
Adobe Photoshop
Adobe Premiere
Techniques
txt2img
img2vid

SUNOで生成された楽曲フルVerはこちら

Crimson dragon / SUNO

静止画のプロンプト（Comfy UI / Prompt）

炎を見つめる謎人物
炎を背にした怪しい女性
あれ？頭燃えてるよ
何かに目を向けている男
ドラゴン登場
お、威圧してんねえ
やっぱ火吐いちゃう
飛び立とうとする
討伐用武器チラ見せ
Guidance3.5
Steps20
SamplerEuler
Seed820486574958671
ComfyUI
１. 炎を見つめる謎人物masterpiece, best quality, highres, intricate, (cinematic lighting:0.4), ((photorealistic:1)), Spirit of fire. Ifrit. A close-up shot of a living Flame Wisp in front of a burning building.
２. 炎を背にした怪しい女性
３. あれ？頭燃えてるよ		masterpiece, best quality, highres, intricate, (cinematic lighting:0.4), ((photorealistic:1)), Random shot, A female, spirit of fire. Ifrit.18yo. Strong body and perfect face. beautiful face, Long hair and deep eyes. God of war. A close-up shot of a living Flame Wisp in front of a burning castle.
４. 何かに目を向けている男masterpiece, best quality, highres, intricate, (cinematic lighting:0.4), ((photorealistic:1)), Random shot, spirit of fire. Ifrit.18yo. Strong body and perfect face. beautiful face, Long hair and deep eyes. God of war. A close-up shot of a living Flame Wisp in front of a burning castle.
５. ドラゴン登場
６. お、威圧してんねえ		masterpiece, best quality, highres, intricate, (cinematic lighting:0.8), ((photorealistic:1)), Random shot, A huge fire dragon. deep red eyes, wings, (The Dragon, shiny armored scales, white sharp teeth, sharp spikes,), cinematic shot, intricate lighting gradient, A dragon can be seen through the black smoke and dust. A close-up shot of a living Flame Wisp in front of a burning castle.
７. やっぱ火吐いちゃうmasterpiece, best quality, highres, intricate, (cinematic lighting:0.8), ((photorealistic:1)), Random shot, A huge fire dragon. deep red eyes, wings, (The Dragon, shiny armored scales, Breathes fire from its mouth. white sharp teeth, sharp spikes,), cinematic shot, intricate lighting gradient, A dragon can be seen through the black smoke and dust. A close-up shot of a living Flame Wisp in front of a burning castle.
８. 飛び立とうとするmasterpiece, best quality, highres, intricate, (cinematic lighting:0.4), ((photorealistic:1)), Random shot, A huge fire dragon. wings, sharp teeth, teeth, tail, A close-up shot of a living Flame Wisp in front of a burning castle.
９. 討伐用武器チラ見せmasterpiece, best quality, highres, intricate, (cinematic lighting:0.8), ((photorealistic:1)), Random shot, An ice sword sealed in an underground labyrinth. The sword is engraved with precise patterns and runes.
The blade of the sword had a blue light flashing slowly.
各シーンのPrompt

私はアングルや情景、配置などは細かく狙って生成してないです。AIが生成したもので使えそうなもので間に合わせるスタイルです。
登場人物くらいはしっかり固定したいところですが。
素人なのでこだわりすぎると迷走しちゃったり、環境やVRAMの制限があるので、動画の流れが組める材料が出来れば良しとしてます。
なので、絞り込むまでは「Random shot」をよく使いますが、この時点で採用してしまうものもあります。

動画のエンハンスプロンプト（Luma / Enhance prompt）

１. 炎を見つめる謎人物A blazing flame. The person who looks at it.
２. 炎を背にした怪しい女性The blazing flames evoke her memories and she transforms into a spirit of flame.
３. あれ？頭燃えてるよA cyclone of flames behind the figure. dynamic movement.
４. 何かに目を向けている男A man is speechless at the unbelievable sight. The man is too scared to move.
５. ドラゴン登場：キーフレームGlare at the viewer. Intimidation. He roars at the man confronting him.
６. お、威圧してんねえ：キーフレームBreathes fire from its mouth.
７. やっぱ火吐いちゃう：キーフレームThe dragon is about to take flight.
８. 飛び立とうとするThe dragon flaps its wings.
９. 討伐用武器チラ見せThe blade of the sword glows blue. The light becomes stronger and stronger.
各シーンのEnhance prompt

AI生成時、画像、動画共にですが指示するプロンプトを完全再現するわけではないです。場合によってスルーしていたり、スルーしているようで実は全体の雰囲気に影響していたりなど、ケースバイケースです。
指示するプロンプトのワードの順序を入れかえるだけでも少し違った生成結果になることもあります。
もちろん生成ツールや、モデル、Loraなどの組み合わせにもよります。

ここ最近は、Flux.1 dev ばかりで遊んでいるので、Lora やネガティブプロンプトを使っていないです。ちらほらLoraやらComfy UIのFlux用拡張機能出てきてるようですが、私は今の状態でも楽しめています。