生成AI研究室(81) ソファ8秒をもう2回作り直した——参照6枚、「キャラシートの靴より場面の足元を優先」と書いて靴が消えた。閉じたカーテンは開いたまま

生成AI研究室(81) ソファ8秒をもう2回作り直した

(74)で採用したソファ8秒(00051)には、靴を履いたまま室内を歩き、靴音がする、という指摘が残っていた。実行した文章には「靴は玄関に残す」「ストッキングでラグを擦る音」と書いてあったのに反映されなかった、という事例。今回は2回作り直して(00052→00053)、靴は消えた。代わりに、閉じたカーテンが開く、という新しい未達が残った。

ソファ8秒(00053・採用)。トートを床へ、腰を下ろして横に倒れ、最後は顔のアップでため息
目次

先に結論

  1. 「どの参照を優先するか」を文章に書くと通った。 キャラシート(参照1)には靴を履いた姿が写っている。00053では「この場面の足元(薄いストッキングだけ・足裏がラグに直接触れる)は、参照1に写った靴より優先する」と明記した。結果、ラグの上の足から靴が消えた。
  2. 音は「除外」でなく「主にこの音」で書く。 歩く音を「布とラグの弱い擦れ」を主に記述し、硬い靴音だけ短く除外した。音の確認はこれから(画像だけでは判断しない)。
  3. 未指定の物は「置かない」と書く。 00052ではソファ奥に白い機器状の物が出た。00053では「ソファ奥は平らな壁と空いた床」と書いて消えた。
  4. 閉じたカーテンは開いた。 6枚目に「床まで届く閉じたベージュのカーテン」の設定画を加え、文章にも「2枚の不透明なパネルが中央で接し、完全に閉じた状態を保つ」と書いたが、中央が開いて暗い窓の外が見える。色と丈は反映された。入力漏れではない。
  5. 仮説は仮説として置く。 「夜を指定したので、夜らしさを示す窓の外が描かれたのでは」という本人の推測がある。1回では確定できない。切り分けるなら、seedを揃えて、背景画像側も閉じたカーテンにした条件と、夜を室内の暖色照明だけで表す条件を別々に試す。
  6. 採用。 顔アップは00052の時点で「OK」。00053は靴と機器が直り、カーテンは致命的でないとして採用。走る女性の10カット65.75秒はソファを00053に差し替えた。
  7. 残る差。 バッグは「投げて横倒し」の指定に対して立ったまま口が見える。倒れ込みは「いったん座って横に寝る」形。冒頭に頭の上が切れる。(74)と同じ。

2回の作り直し

番号参照変えたこと結果本人評価
00051((74)採用)5枚: キャラシート・トート・Blender背景・ソファ・テーブル—木枠のソファ。靴を履いたまま、靴音「いい感じ」で採用。靴と靴音の指摘
000525枚(同じ)終盤5.8〜8秒を顔アップの2ショット目に。靴・足音の指定は00051と同じ文章顔アップは狙いどおり。靴は履いたまま、靴音、ソファ奥に白い機器状の物、カーテン開「顔アップはOK」。靴と靴音の修正を希望
00053(採用)6枚: +閉じたカーテン「場面の足元をキャラシートの靴より優先」「音は布とラグの擦れを主に」「ソファ奥は平らな壁」「カーテンは閉じたまま」靴なし、機器なし、顔アップ維持。カーテンは開いたまま採用。音の確認はこれから

Ref2VA pruned int8+Turbo 8step LoRA、10ステップ、672×928、8秒、RTX 5060 Ti 16GB、白動画なし。

図1: ComfyUIに並べた参照6枚。1キャラシート(スーツ)、2トート、3Blenderのリビング背景、4ソファ、5テーブル、6閉じたカーテン。送られる順番がそのままPicture 1〜6になる

参照6枚の役割

番号参照任せること
Picture 1キャラシート(スーツ)顔・髪・服・体形。足元だけ本文で例外にした
Picture 2トート形・色・持ち手・素材。複数ビューは同じ1個
Picture 3Blenderのリビング背景間取り、窓の位置、家具の配置、撮影方向
Picture 4ソファ濃いグレーの布、クッション、木の台輪と脚
Picture 5木のローテーブル薄い天板、木目、細い4本脚
Picture 6閉じたベージュのカーテン床までの丈、色、縦のひだ、閉じた状態

書き方は「背景画像のソファの位置に、ソファ参照の形と材質で置く」のように、位置は背景、形と材質は設定画、と担当を分ける。(74)で始めた分け方に、今回は「参照同士がぶつかるとき(キャラシートの靴と場面の足元)はどちらを優先するか」を加えた。

図2: 00053の0〜7秒(1秒ごと)。トートを床へ、腰を下ろし、横に倒れ、6〜7秒で顔のアップ。ラグの上の足に靴はない
図3: 同じ秒(1・2.5・4・6.5秒)で00052と00053を並べる。前回は靴を履いてラグを歩き、ソファ奥に機器状の物。採用版は靴なし・機器なし。カーテンは両方とも中央が開いている

効いたこと・効かなかったこと

指定書き方0005200053
足元「靴は玄関に残す」(00052) → 「薄いストッキングだけ。足裏・踵・爪先まで布越しの足の形。参照1の靴より優先」(00053)靴あり靴なし
足音「靴音をなくす」寄り → 「布とラグの弱い擦れを主に。硬い靴音は短く除外」靴音未確認(聴いて評価する前)
ソファ奥指定なし → 「平らな壁と空いた床。機器は置かない」白い機器状の物なし
カーテン指定なし → 参照6+「中央で接して完全に閉じる」開開(色と丈は反映)
顔アップ5.8〜8秒を2ショット目にOK維持
バッグ「短く投げて横倒し」立ったまま立ったまま

参照画像と文章を同時に変えているので、靴が消えたのが「優先順位の一文」だけの効果とは言い切れない。ただ、00052と00053で足元に関して変えたのはその一文と音の書き方だけなので、次に同じ問題が出たらまずここを疑う。

カーテンが開く理由の切り分け(未実施)

  • 条件A: 背景画像(Picture 3)の窓も閉じたカーテンにする。背景側の窓の描写と参照6が食い違っている可能性
  • 条件B: 「夜」を窓の外でなく室内の暖色照明だけで表す。本人の仮説(夜の指定が窓の外を描かせた)の検証
  • 条件C: 参照6を外して文章だけにする。画像が効いているかの確認

同じseedで1条件ずつ。複数を同時に変えると原因が分からなくなる。

10カット65.75秒(ソファを差し替え)

順カット秒
1帰宅・玄関(00048)8
2ソファ(00053)8
3歯磨き(00043)3
4目覚め(00042)8
5洗面所(00040)5.17
6玄関で靴(00034)6
7正面(00012)5.17
8横(00014)5.17
9顔アップ(00035)5
10ドローン(00039)12.25
10カット65.75秒(ソファを00053に差し替え)

残っていること

  • 足音が直ったかは、音を聴いて評価する(画像の確認だけで「直った」とは書かない)。
  • カーテンの切り分け(上の条件A〜C)。
  • 同じ日にBlenderの間取りはベランダ・寝室・洗面所・浴室・ベッドまで作り足した。ただし00053に使った背景は以前のリビング画像で、新しい間取りはまだ動画に使っていない。歯磨き・目覚め・洗面所・朝の玄関を共通の間取りで作り直すかは次の判断。

関連

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次