後編は、白黒の深度動画を参照にして魔女を踊らせ、「音は合うが振付の追従は部分的」で終わった。指先が出ない。そこで参照をカラーの実動画に戻して、同じseed・同じ設定で20ステップを焼き直した。結論は、動きは生き返った。ただし参照にない回転を生成が足し、指を一本ずつ開く所は順序を再現できていない。所要時間は深度版より長い。その数字と判定を並べる。
振付: まなこ(本人公開の振付動画を参照にした)
参照をカラーに戻した理由と、寸法
深度動画は、Macを止めないために参照を軽くする手段だった(第43回)。デスクトップで焼くなら、その制約はない。元の振付動画を先頭15秒・540×720・24fps・音声つき(1.62MB)に縮めて参照にした。画素数は388,800で、深度版(360×480・172,800)の2.25倍。
1本目(12ステップ): 参照と違う動きをした
プロンプトは、深度用に書いていた「白黒の輝度を奥行きとして読む」「黒背景はマスク」を消し、「実動画のポーズ・遠近・遮蔽から前後関係を読む」「手の形・手首・各指の曲げ伸ばし・指先の軌跡」を足し、「実動画の人物の外観・衣装・照明・背景は参照にしない」と明記した。
ところが retention_analysis の <Video 1> が、後編の白化対策で入れた weak_reference のまま残っていた。これで12ステップを焼いた(44分57秒)ところ、参照と違う動きをした。
2本目(20ステップ): 保持指定を1行だけ直した
<Video 1> の行を fully_preserved に置き換えた。ただし保持するのは「振付・動作・時間構造だけ」で、人物の外観はキャラシート、背景は紫のスタジオ、と同じ行の中に書いた。公式ガイドでは weak_reference は「大まかな類似を保持」、fully_preserved は「定義した役割を保持」なので、厳密な振付の対応を求める本文とは後者が合う。
実行APIの差分はこの1行とステップ数(12→20)の2か所だけ。seed・モデル・LoRA・参照・出力サイズは同じ。だから「ステップ数だけの効果」とは言えない。
結果は72分01秒で完走。初回ステップ227.7秒、以後は平均200.4秒/ステップ。VRAMのステップ内ピークはGPU0 15.47GiB・GPU1 7.02GiB、OOMなし。
| 深度参照(後編・25ステップ) | 実動画参照(今回・20ステップ) | |
|---|---|---|
| 参照 | 360×480・白黒 | 540×720・カラー |
| 画素数 | 172,800 | 388,800 |
| 1ステップあたり | 約141秒 | 約200秒 |
| 総時間 | 63分09秒(25ステップ) | 72分01秒(20ステップ) |
| H3VM | 双卡扩容/25% | 同じ |
| VRAM(ステップ内ピーク) | 13.78 / 5.91GiB | 15.47 / 7.02GiB |
設定・seedは同じで、違うのは参照の寸法とプロンプトの参照の説明。1ステップが141秒から200秒に伸びた分は、参照の画素数が2.25倍になった影響が大きいと見ている(他の条件が同じなので)。
深度版と並べて、秒ごとに見る
判定(参照の同時刻と比べたもの。「はい」は主な姿勢がおおむね一致、関節の角度までの一致ではない)。
| 秒 | 一致 | 観察 |
|---|---|---|
| 0 | 一部 | 腕を横切らせる導入は似ている。腕の位置と体幹の角度に差 |
| 3 | いいえ | 参照は正面で両手を下げている。生成は横向きに回転中 |
| 5 | はい | 片腕を画面左へ伸ばす姿勢が対応 |
| 6 | いいえ | 参照は手を頭の後ろへ。生成は拳を前へ |
| 10 | はい | 両手を顔の横に組んで上体を傾ける姿勢が対応 |
| 13 | 一部 | 両腕を外へ開く流れは近い。肘の高さと脚の位相が違う |
| 14 | 一部 | 片腕を上げる方向は共通。参照は高く伸ばし、生成は肘と手首が曲がる |
- 3秒付近で生成は背中を向けて戻る。衣装の背面も描けていて見栄えはするが、参照にはない動きだ。
- 指を一本ずつ開く所は、握りから開く変化はあるが、指ごとの分離と順序は再現できず、参照(7〜8秒)より早い(6.0〜6.75秒)。
- 帽子は最後まで乗っている。終盤の色も保たれた(白化なし)。口は開閉するが、歌との同期は判定していない。
- 最終ポーズは参照と不一致。
深度版の判定(後編)は「3秒・11〜12秒・14秒が違う、5・6・10・13秒はおおむね対応」だった。今回は5・10が「はい」、6が「いいえ」に変わり、全体としては動きの量と手の表情が増えた。通しで見た印象は「実動画の方が生き生きする」で、これは上の表より先にある。
拡大と48fps化
- 2倍拡大: RealESRGAN_x4plus で4倍にしてからLanczosで0.5倍、正味2倍の1344×1856。GPU2枚に180枚/179枚で分担。11分37秒。
- 48fps化: RIFE v4.26、補間2倍。71秒。717枚(=(359−1)×2+1)。音声は末尾が1/48秒短くなる。
冒頭の動画はこの48fps版。拡大と補間は見やすくするだけで、動きの中身は直らない。
次
「5〜6秒で指を一本ずつ開く」という指示を元のプロンプトに追記して保存した。まだ焼いていない。次はこれで1本、同じseedで焼いて、指の順序だけが変わるかを見る。
関連: 前編(40) / 後編(42) / 第43回 Macの柵 / 第34回 2倍拡大と48fps補間(Mac)
コメント