生成AI研究室(52) Blender×Mixamo×H3(2)——同じ動きを正面・後方・横から。白い素体のカメラを変えて3本焼き、15.5秒につないだ

生成AI研究室(52) Blender×Mixamo×H3(2) 同じ動きを正面・後方・横から

第50回で、Mixamoのジョギングを載せた白い素体の5秒を参照に、キャラシートの女性が住宅街を走る動画を1本作りました。今回はその続きです。素体も動きも人物シートもそのまま、Blenderのカメラだけを変えて、正面・後方・横の3本を焼き、1本につなぎました。

できた動画(15.5秒・672×928・音声付き)。正面(0〜5.2秒)→後方追走(5.2〜10.3秒)→横並走(10.3〜15.5秒)。通常のカットでつないだだけで、速度変更・クロスフェード・字幕・追加音楽はなし
3本から1コマずつ。左=正面(2.5秒)、中=後方(7.9秒)、右=横(12.9秒)。白Tシャツ・黒い膝上ボトム・ポニーテールは3本で保たれている。右の塀と植木に白い細粒ノイズ
3本から1コマずつ。左=正面(2.5秒)、中=後方(7.9秒)、右=横(12.9秒)。白Tシャツ・黒い膝上ボトム・ポニーテールは3本で保たれている。右の塀と植木に白い細粒ノイズ
目次

やったこと

第50回と同じ .blend(24fps・120フレーム)から、カメラだけ変えた白動画を2本追加で描きました。

カット素体の動きカメラ参照動画
正面(第50回)1〜120フレーム130mm固定。右奥から近づいて左へ抜ける320×240・5秒
後方追走121〜240フレーム(続き)60mm。人物の後方約6.3mを同じ速さで追う320×240・5秒
横並走続き横から並走320×240・5秒

後方のカメラは、走りの上下の振動を転写せず、120フレームで全身が入ることを投影座標で確かめてから描いています。素体は白、背景はグレー。

H3へ渡すものは3本とも同じです。Picture 1=5面のキャラシート、Video 1=白動画、文章=早朝の日本の住宅街・「動きとカメラは動画から、外見はシートから、素体の見た目は移さない」。条件も同じ——int8の本体、Turbo 8ステップLoRA(強度1.0)を載せて10ステップ、0.6MP縦3:4・5秒、seed固定、RTX 5060 Ti 16GB×2。

同じseedで8→10ステップ: 縞は消えた

正面は、第50回の時点で8ステップ版の住宅街に縞が出ていました。seedもプロンプトも変えずにステップだけ10にした比較です。

正面の同じコマ(2.5秒)の背景の拡大。左=8ステップ、右=10ステップ。家の壁の格子状の縞が右では消えている
正面の同じコマ(2.5秒)の背景の拡大。左=8ステップ、右=10ステップ。家の壁の格子状の縞が右では消えている
生成時間背景
8ステップ7分10秒壁・塀に格子状の縞
10ステップ8分7秒縞は見えない

56秒の追加で縞が消えた、というのがこの1組の結果です。1条件1組なので、ステップを増やせば必ず消えるとは書けません。後方・横も10ステップで焼きました。

後方と横は、構図は通った

後方追走と横並走の各7コマ(20コマごと)。後方は背中を向けたまま家・塀・電柱が移り変わる。横は並走の構図で、塀と植木に細粒ノイズ
後方追走と横並走の各7コマ(20コマごと)。後方は背中を向けたまま家・塀・電柱が移り変わる。横は並走の構図で、塀と植木に細粒ノイズ

後方は、背中を向けたまま住宅街が流れていく構図が5秒通りました。振り返り・正面化・ズームは出ていません。横は、並走して走る姿が5秒入っています。正面だけでは見えなかった腕と脚の動きが、後方と横で見えます。3本をつなぐと、1つのジョギングを3方向から見た動画になりました。

生成時間は後方8分15秒(初回)・8分10秒(修正版)、横8分9秒。参照のカメラが変わっても、時間は変わりません。

一方、3本の家並みが同じ場所としてつながっている保証はありません。背景の参照は与えていないので、「同じ住宅街の雰囲気」までです。

消えなかったもの(1): 後方の脚が筋肉質

後方の初回は、ふくらはぎと脚全体がキャラシートより筋肉質に、競技ランナーのように出ました。文章で体型と脚の輪郭を具体的に指定し、「参照動画からは動きとカメラだけを使う」を強めて焼き直したのが修正版です。修正版でも、筋肉質な印象は十分には取れませんでした。 連結にはこの修正版を使っています。

原因は、この比較だけでは決められません。白い素体の輪郭が動きと一緒に移っているのか、走る姿勢そのものがそう見せるのか、モデルの癖なのか。はっきりしているのは、「動きだけを参照する」と文章に書くことと、形の情報が切り離されることは別だということです。第50回で「参照動画は振り付けを運び、文章は体を保つ」と書きましたが、体型の細部までは文章が勝つとは限らない、が今回の追記です。

消えなかったもの(2): 横の細粒ノイズ

横並走では、前半から中盤の塀・壁・植木に、白い細粒状のノイズが出ました(図1右・図3下)。正面の縞とは見え方が違います。正面で縞を消した10ステップでも、別のアングルでは別のノイズが出る、ということです。縞(格子状)と細粒(粒状)は分けて見る必要があります。

連結

正面(00007)→後方修正版(00010)→横(00011)の順で、各124フレーム、合計372フレーム・15.5秒。生成音声も同じ順でつなぎ、映像5.167秒と音声5.152秒の端数差は末尾の短い無音で埋めています。正面の冒頭を0.5秒切る案も作りましたが、1コマ目から女性が映っているので、切らない版を採りました。

まとめ

  • 白い素体のカメラ位置だけ変えると、同じ動き・同じ人物で正面・後方・横が作れる。構図は3本とも通った。
  • 同じseedで8→10ステップ、住宅街の縞は消えた(1組の結果)。
  • 文章で体型を強く指定しても、後方の脚の筋肉質は残った。参照動画は動きと一緒に形も運びうる。
  • 横では塀・植木に細粒ノイズ。縞とは別物。
  • 1本7〜8分、3本で約25分。連結は通常カットのみ。

次は、脚の線を直接指定する文章、白い素体側の体型変更、骨格の参照の3つを、条件をそろえて比べます。それと、第50回で予告したMixamoのダンス15秒。


本記事の動画・画像は当方の生成物で、人物は当方の参照画像から作ったものです。実在の人物ではありません。Mixamoの動きはAdobeのライブラリ、素体はMixamo付属のモデルです。


よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次