生成AI研究室(104) IC改札の通過を、Blenderの白動画で「動作参照」にして整える——板を文で回そうとした(92)の続き。白動画だけでは足りず、「動かさない部品」を文で分けて主役レーンの通過が成立

生成AI研究室(104) IC改札の通過

(92)では、東京駅丸の内北口のIC改札を通る5秒(00106)で、遮蔽板が「垂直軸で回る」という文の指定が通らず、暫定採用のまま置いた。静止画の参照は色と形を伝えるが、可動部の軸までは伝えない、というのが(92)の結論だった。今回はその続き。動きそのものを参照で渡すために、Blenderで白動画を作ってH3に入れた。

全体 22カット・162.5秒。改札(00106)を00108に置換。残業→机上→消灯→挨拶→退出→駅の入口→改札(00108)→電車→謝罪→夜道→帰宅→ソファー→歯磨き→夜の外観→朝→目覚め→洗面所→靴→走り→顔アップ→ドローン。672×928・24fps、圧縮版
目次

先に要点

  1. 採用は00108。女性が通るレーンには遮蔽板が現れず、ICタッチと通過が成立。ただし左右の別レーンには横から突き出した板が残っている。機構全体を正しく再現した、という結論ではない。主役の動線を優先した編集上の採用。残る課題は2つ(本人評価): 初期に生成したもの(00106)より女性の歩き方がぎこちなくなっていること、自動改札機の電光表示が変な表示になっていること。
  2. 「回転を文で説明する」から「開いたままの改札を白動画で見せる」へ方針を変えた。Blenderの説明用モデルを土台に、00106の縦構図に寄せた5秒の白動画(簡易モデルの女性がICタッチして通る、遮蔽板は筐体側面に収めたまま)を作った。
  3. 白動画を入れただけでは足りなかった(00107)。緑の板が通路へ張り出す描写が再び出た。本人評価は「スライドして収納する構造になっている」。
  4. 00108で効いたのは、文で「動かさない部品」と「タッチ時に変わる部分」を分けたこと。「板の位置・角度・輪郭・寸法は全フレームで同一」「タッチで変わるのは読取部の表示と短い確認音だけ」と書き、「改札が開く」動作を要求しない形にした。
  5. 参照の役割分担: Picture 1=女性、Picture 2=トート、Picture 3=駅の建築・材質・照明、Video 1=カメラ・歩行・ICタッチと、開放状態の改札。
  6. メモリの切り分け: 11月16日の初回は参照のエンコードでGPUメモリ不足。白動画を336×464に軽くして再試行すると生成には進んだが、本体の空きRAMが約2GBまで下がった。GPU不足と本体RAM圧迫は別の問題として扱った。
図1: 白動画(Blender)と、00107→00108の連続フレーム

参照の設計

参照担当中身
Picture 1女性の外見キャラクターシート(顔・髪型・体格・ベージュのスカートスーツ・白ブラウス・パンプス)
Picture 2トートバッグ青灰色のトート。右肩に掛け、広い面が体側に沿う
Picture 3駅丸の内北口の改札まわりの建築・材質・色・床・照明
Video 1動きと構図、改札の状態白動画。カメラの動き、歩行、右手のICタッチのタイミング、通過。遮蔽板は収納位置のまま(開いた通路を定義する)

白動画は672×928・24fps・120フレーム・5秒・無音。00106の「斜め後方から後方へ移るカメラ」を近似した(厳密な復元ではない)。人体と歩行は簡易モデルで、外見はキャラシートとバッグ画像に任せる。初版は肩掛けトートの広い面が後ろを向いていたので、鉛直軸で90度回し、持ち手を肩につなげた版に直した。

3版の経緯

版入力結果
00106((92))静止画3枚+文で「垂直軸を中心に進行方向へ水平回転」回転の軸と軌跡は確認できず。暫定採用
00107静止画3枚+白動画。文は00106寄り女性の後方からICタッチと通過は成立。だが緑の板が通路へ張り出す構造が再び描かれた。本人評価「スライドして収納する構造になっている」
00108同じ参照。文で「板は全フレームで同一位置」「タッチで変わるのは読取部の表示と音だけ」と具体化。「開く」動作を要求しない主役のレーンに板は現れず、通過が成立。採用。左右の別レーンには張り出した板が残る

00108で入れた文(抜粋):

The existing green flap leaves are upright and parallel to the direction of travel, resting flat along the inner sides of the cabinets. Their hinge locations, angles, visible outlines, and dimensions stay identical in every frame.

At the IC touch, only the reader indicator changes and a short confirmation beep sounds. The physical gate panels remain in their original open positions.

00108(5.17秒)。右手のICカードで改札へ。主役のレーンには板が出ない
00106(5.17秒、(92)の暫定採用)。比較用

実行の条件と、メモリの切り分け

項目値
機材RTX 5060 Ti 16GB(Windows 11)
001070.6MP、10ステップ、672×928・24fps・124フレーム(5.17秒)、生成約617秒。空きRAM最低2.942GiB、コミット最大103.454GiB。保護停止なし
001080.6MP、10ステップ、同サイズ。完走
11月16日の初回参照入力のエンコード中にGPUメモリ不足。白動画を336×464に軽くして再試行すると生成に進んだが、空きRAMが約2GBまで下がり割り込みを記録

0.4MP版のワークフローも用意したが、実行されたのは0.6MP。0.4MPで完走した実績ではない。00107のメモリの数字は00107のもので、00108の測定値ではない。

全体編集

22カットのうち改札の00106だけを00108に置き換えた。全体は162.458秒・672×928・24fps・3,899フレーム。既存の走行音ミックスと後続カットの編集はそのまま。全編デコードとフレーム数の照合で確認した。

今回の結論と限界

  • 実在する機械の再現では、形状参照(静止画)・動作参照(白動画)・文の状態指定の3つを揃えることが効いた。どれか1つでは足りなかった。
  • 要求の絞り方が変わった。「機構を正しく回す」から「正常通過に不要な可動動作を起こさない」へ。開いた通路を歩く状況に整理したので、板を回す必要がそもそもない。
  • 白動画単独の効果や、H3が機構を理解したかは示していない。00107で板が出たことから、白動画だけでは足りないことは分かるが、00108の改善が文の変更だけによるものかも切り分けていない。
  • 別レーンの板は残課題。今回の成功範囲は主役のレーンだけ。
  • 00108で新たに出た課題が2つ(本人評価)。初期に生成した00106より女性の歩き方がぎこちなくなった。自動改札機の電光表示が変な表示になっている。板の問題を直した代わりに、歩行と表示が下がった形で、次の版で見る。
  • Blenderの構造モデルは説明用(代表寸法、古い公開資料に基づく)。実機の設計図でも全機種共通の仕様でもない。回転動作そのものを映す必要が出たら、固定軸・一定形状の剛体板・水平面内の円弧・開閉終点が見える白動画を別に作る。

書いていないこと

  • 00108の音声(確認音・足音)の独立した聴取評価は未実施。
  • 白動画の体形やバッグ形状がH3の外見に引きずられたかは、今回の1本では評価していない。
  • 0.4MP版は未実行。

関連

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次