生成AI研究室(113) 東京駅で撮った実写を参照にして、IC改札を「開いたまま」通す——参照を5枚+音声から3枚に絞った00111を採用。履歴を見直すと、参照の番号がずれていた

(113) 実写1枚に絞ったら、改札が開いたまま通れた

(104)では、Blenderの白動画を動作の参照にして、主役のレーンに板が出ない通過(00108)を採用した。左右のレーンに板が残るのが宿題だった。今回はその続き。現地で撮った実写を参照にして、改札のカットを作り直した。

全体 22カット・162.5秒。改札(00108)を00111に置換。残業→机上→消灯→挨拶→退出→駅の入口→改札(00111)→電車→謝罪→夜道→帰宅→ソファー→歯磨き→夜の外観→朝→目覚め→洗面所→靴→走り→顔アップ→ドローン。672×928・24fps、圧縮版
目次

先に要点

  1. 採用は00111。主役のレーンは最初から開いていて、確認したフレームでは通路をふさぐ板が現れない。女性は近づき、右手を読み取り部に伸ばして通り抜ける。本人評価は「これがいちばんいい」。
  2. 参照は3枚だけ。女性のキャラクターシート、トートバッグ、実写から切り出した改札機の詳細1枚。白動画も音声の参照も入れていない。
  3. 実写は当方が撮った。11月21日に東京駅丸の内北口の入口から改札まで歩いて撮った53.6秒の縦動画から、入口2枚・改札の手前2枚・改札機の詳細2枚を切り出した。
  4. 参照を増やした2本(00109・00110)は板が残った。00109は電子音がタッチより早く鳴り、00110は隣の改札まで動いた。
  5. 実行履歴を見直すと、00109と00110は意図した4枚ではなく5枚が入っていた。古い背景画像が残っていて、プロンプトの「Picture 3」「Picture 4」の説明と実際の並びがずれていた。00111は3枚で、説明と並びが一致している。
  6. 静止画の参照は、増やせば整うとは限らない。閉じた改札が写った画像や古い背景を外し、開いた通路がはっきり写った1枚を背景の唯一の基準にした版が採用になった。
図1: 左=実写から切り出した「改札機の詳細B」(通行人はぼかし加工)。右上=00109、右下=00111の連続フレーム

実写から参照を作る

項目内容
撮影11月21日、東京駅丸の内北口の入口からドームの下を通り改札まで。縦向き1080×1920、53.6秒、HDR
変換HDRを通常表示用(SDR)のPNGに変換。構造や人物を生成で直す加工はしていない
切り出し入口A(0.5秒)・入口B(5.5秒)/改札の手前A(39.5秒)・手前B(41.0秒)/改札機の詳細A(43.5秒)・詳細B(45.0秒)
使ったもの手前Bと詳細B(00109・00110)、詳細Bのみ(00111)

実写は昼間で人が多い。プロンプトでは「夜23時ごろ、人は控えめ」と指定し、実写は建物・機器・配置の基準として使う、と書き分けた。

3本の経緯

版実際に入った参照文の方針結果
00109画像5枚(女性・トート・旧背景・改札の手前B・詳細B)+実写から切った3秒の音声改札は開いたまま。電子音はタッチと同時に1回生成は成功(約580秒)。板が残り、終盤に通路から消える。電子音がタッチより早い。本人評価「板は従来の引き込み式のまま」「環境音が中途半端」
00110画像5枚(同上)。音声の参照を外した「常に開いた状態」「隣の機器は固定」を強めた生成は成功(約691秒)。板が残り、隣の改札まで動いた。採用せず
00111画像3枚(女性・トート・詳細B)動きとカメラの方針は同じ。詳細Bを、開いた通路と背景の唯一の基準に指定生成は成功(約655秒)。主役レーンに板が出ないまま通過。採用

00109の電子音は、出力の音を周波数で見ると約1.3〜1.6秒に短い強い音があり、手とカードが読み取り面に重なるのは約1.7〜1.9秒だった。0.2〜0.5秒ほど音が先に出ている、という本人の指摘と合う。

音声の参照には経緯がある。最初は電子音だけを0.65秒で切り出したが、「2秒以下の音声は無音と判断される場合がある」という画面の警告が出たため、前後の環境音を含む3秒に取り直した。

00111(5.17秒)。全体動画からの切り出し。主役のレーンは最初から開いている

履歴で見つけた「番号のずれ」

00111を採用したあと、3本の実行履歴(読み込んだ画像の一覧と、参照への接続)を確かめた。

版意図した参照実際に入っていた参照
00109画像4枚+音声画像5枚(女性・トート・旧背景「東京駅(丸の内北口)」・手前B・詳細B)+音声
00110画像4枚画像5枚(同上)
00111画像3枚画像3枚(女性・トート・詳細B)

00109と00110では、(92)(104)で使っていた古い背景画像が読み込みに残っていた。そのため、プロンプトで「Picture 3は改札の手前、Picture 4は改札機の詳細」と説明していても、実際の3枚目は古い背景だった。文の説明と画像の並びが1つずれていたことになる。

00111で入れた文(抜粋):

<Picture 3> is the sole reference for the station environment and ticket gate. It defines the green and silver housings, the fully open passage between them, the blue-lit IC reader on the right-hand housing, the illuminated “IC” indicator on its front, and the surrounding station interior.

The central passage shown in Picture 3 is her selected lane. It is fully open and unobstructed from the first frame to the last.

参照の画像は、生成の前に「何枚入っているか」「番号と説明が合っているか」を履歴で確かめる。今回の制作で一番の収穫はこの手順だった。

00111の出来と、残っているところ

  • 通った点: 主役レーンは最初から開いていて、3コマ/秒で全編を見た範囲では、通路をふさぐ板が出ない。女性は近づいて右手を読み取り部に伸ばし、通り抜ける。トートは左肩側。後ろから追う構図が成立している。
  • 冒頭の入り方: 女性が画面の左から入り、最初の数コマは体の一部が切れている。「最初から頭と全身を同時に見せる」という指定は満たしきれていない。
  • 表示の変化: 読み取り面が青から橙に変わり、正面の「IC」表示が一時的に消える場面がある。
  • 時間帯: 出力は実写と同じく明るく人が多い。「夜23時・人は控えめ」の指定は反映されていない。
  • 板の動き: 採用したのは「開いた通路をそのまま通る」絵で、板が回る動きを再現したものではない。
  • 電子音: 音声の参照を外した00111で、電子音とタッチのずれをコマ単位で確かめる作業はこれから。合わせる必要が出たら、タッチのコマに実写の短い音を後から重ねる。その場合は生成された音と二重にならないよう、既存の音を外して環境音をつなぐ。

実行の条件

項目値
機材RTX 5060 Ti 16GB(Windows 11)
サイズ672×928・24fps・124フレーム(5.17秒)
生成時間00109 約580秒/00110 約691秒/00111 約655秒
空きRAM監視した時点で00109は約6.6〜7.2GiB、00111は約6.7〜7.3GiB。メモリ不足や保護停止はなし

空きRAMは監視した時点の値で、全時間の最低値ではない。

全体編集

22カットのうち改札の00108だけを00111に置き換えた。全体は162.458秒・672×928・24fps・3,899フレーム。電車の走行音のミックスと、ほかの21カットの順序と長さはそのまま。全編のデコードとフレーム数の照合で確認した。

今回の結論と限界

  • 参照は「足す」より「整理する」が効いた。閉じた改札が写った画像と古い背景を外し、開いた通路が写った1枚に絞った版が採用になった。
  • ただし単一の変更の比較ではない。00110から00111では、参照の枚数と文の両方が変わっている。どちらがどれだけ効いたかは切り分けていない。
  • 「H3が日本の改札の仕組みを理解できない」とは言えない。参照の番号がずれていた以上、00109と00110の結果をモデルの理解のせいにはできない。
  • 実写の参照は、昼の人混みが写っていても建物と機器の基準として働いた。一方で、時間帯と人の量は実写側に寄った。夜の絵にするには、夜に撮った参照か別の手当てが要る。
  • 白動画なしでも通過の動きは成立した。(104)の白動画ありとの同条件の比較はしていないので、歩きがどちらで良くなるかは述べない。

続報(11月21日): 同じ実写を入口にも使ったら昼の光が入った。看板だけ直す方針に変えて採用 → (115)

関連

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次