生成AI研究室(40) ハロウィン企画(前編)——流行りのダンスを魔女コスプレのAIキャラに踊らせようとして、キャラシートと参照動画までは出来た。参照動画を読ませたらM5 Macが止まった(原因は調査中)

生成AI研究室(40) ハロウィン企画(前編) 流行りのダンスをAIの魔女に踊らせる

ハロウィン当日に、流行りのダンスを自分のAIキャラに踊らせてTikTokに出す。思いついたのが夕方で、キャラシートと参照動画とプロンプトまでは出来ました。生成に入った直後にM5 Mac(32GB)が止まり、当日には間に合いませんでした。前編は「どこまで何をしたか」と「どこで止まったか」の記録です。同じことをやる人が、同じ所で止まらないように。

目次

先に結論

  • TikTokの「ハロウィン ダンス」で動いているのは2つ。毎年恒例の人の独自振付(150万いいね・同じ音源の投稿1万本超)と、ボカロ曲の定番振付(振り解説動画が複数)。真似て出すなら後者。
  • 参照動画は、振り解説動画のお手本の小窓だけを切り出す。下段の鏡は左右が逆で使えない。472×500・24fps・15秒で2.2MB。
  • キャラはZ-Imageで1枚→ChatGPTで4面のキャラシート。帽子のオレンジのリボンと胸のレースアップが「同一人物」の目印。
  • プロンプトは「動きだけ移す(attribute_transfer)」「音はそのまま使う(fully_copy)」。書いた本人が矛盾を1つ入れていた(後述)。
  • M5 Macは20時07分に止まった。 記録には、監視プロセスが93秒応答なし、圧縮メモリの領域が上限、swapfileが97個。参照動画は2.2MBでも、読み込むと約0.95GiBの画像列になる。原因は調査中で、参照動画と決めつけない。
  • 後編は、デスクトップ(RTX 5060 Ti 16GB×2)で生成します。重ければRunPodのRTX PRO 6000。

1. どのダンスにするか

AI動画の今週(2)の観測と同じやり方で、TikTok本体検索「ハロウィン ダンス」「Happy Halloween 踊ってみた 2026」を見ました(10月31日18時40分)。

型数字真似て出せるか
毎年恒例の人のハロウィン(13年目)150万いいね(10/16)。同じ音源を使った投稿が1万本超△ 本人のオリジナル曲+独自振付。音源はTikTokの中でしか使えず、サイト・Xには持ち出せない
ボカロ曲「Happy Halloween」の定番振付振り解説(当日)、踊ってみた2026(2日前)、5.1万いいね(10/20)◎ 毎年「踊ってみた」される定番で、振り解説がある=真似が前提
ボカロ曲の別の定番2.0万(2025)○
10月の流行(ナルトダンス再燃・横揺れ)作り方が数千△ ハロウィン衣装×これらの「ずらし」も可

選んだのは2番目。理由は、衣装(魔女)と曲の文脈が合うこと、そして振りが上半身と手の動きが中心で、足をほぼ置いたまま踊ること。とんがり帽子・透けた袖・長い裾・厚底ヒールは、ジャンプや大きなターンが入るとH3で崩れやすい(帽子が飛ぶ、裾が貫通する、ヒールで足が滑る)。手振り中心なら帽子が残り、袖と裾の揺れが見せ場になります。

2. 参照動画の切り出し

振り解説動画を参照動画にする切り出し方。上のお手本の小窓だけを踊り手の周りで縦長に切り出し、472×500・24fps・15秒(3〜18秒)にする。下の鏡の解説は左右が逆でカメラが動くので使わない。2.2MBでも読み込むと360フレーム×472×500×RGB×float32で約0.95GiB

振り解説動画は、上にお手本(正面・全身・小窓)、下に講師が鏡の前で解説する2段組でした。下段は鏡像で左右が逆、カメラも動くので参照には使えません。上の小窓だけを切り出します。

  • 元: 576×1024・30fps・52.9秒。小窓は約470×250。
  • 切り出し: 小窓の中で踊り手の周りを縦長に(腕を広げても収まる幅)、3〜18秒(0〜2秒は文字が被る)。
  • 出力: 472×500・24fps・15秒。音あり版と音なし版の2本。2.2MB。
  • 音あり版は、プロンプトで音を「そのまま使う」と宣言する用。音なし版は、動きだけ移して曲を後から合わせる用。

H3の参照動画の作法は第25回(512×288の動作参照)と同じで、動きを読む用途なら小さくて足ります。

3. キャラシート

Z-Imageで生成した魔女コスプレのAIキャラの全身1枚。黒のとんがり帽子にオレンジのリボン、黒と紫のコルセットドレス、透けた袖、オレンジのレース、厚底ヒール

Z-Imageで魔女コスプレの全身を1枚作り、それをChatGPTに渡して4面(正面・背面・側面+顔の正面・横)のキャラシートにしました(第3回の線)。

ChatGPTで作った4面のキャラシート。正面・背面・側面の全身と、顔の正面・横

同一人物の目印は、帽子のオレンジのリボン、胸のオレンジのレースアップ、黒のチョーカー、裾の長い透けた尾。プロンプトでは、この4つを「保つ」と名指しします。

4. プロンプトの要点

6セクション(subject_definitions / summary / retention_analysis / detailed_description / overall_soundscape / non_diegetic_music)、約420語。第36回の語数の帯に収めています。要点は3つ。

参照扱い書いたこと
キャラシート(<Picture 1>)fully_preserved顔・髪・帽子・リボン・衣装・ヒールを最後まで保つ。帽子は落ちない・形が変わらない
参照動画(<Video 1>)attribute_transfer動きだけ移す(タイミング・腕と手・肩と頭・体重移動・小さなステップ)。踊り手の見た目・壁・照明・画角は使わない
同期音声(<Audio 1>)fully_copy音をそのまま最終音声にし、動きを拍に合わせる

歯止めは、足は定位置から1歩以内、ジャンプしない、背を向けない、喋らない(口も動かさない)、ワンカット固定カメラ。

矛盾を1つ入れていました。 音の節に「<Audio 1>をそのまま使う」と書きながら、「小さなヒール音を足す」とも書いていた。そのまま使うなら足せません。生成前にChatGPTの点検で指摘され、ヒール音の1文を消しました。書いた本人は気づかない種類の矛盾です。

5. 止まった

参照動画とキャラシートを置き、プロンプトを貼って実行した直後、M5 Mac(32GB)が止まりました。 20時07分13秒のパニック記録に残っていたのは、次の3つ。

  • OSの監視プロセス(watchdogd)が93秒間応答なし
  • 圧縮メモリの領域(segments)が上限に到達
  • swapfileが97個(容量の話ではなく、ファイルの数)

診断には、H3のプロセスと、用途の分からない別のPythonのプロセスに大きなメモリの値が残っていました。ただしこれは診断上の値で、32GBに同時に載っていた量ではありません。合計して「これだけ使った」とは言えない。

参照動画の方は、ファイルは2.2MBでも、読み込むと360フレーム×472×500×RGB×float32で約0.95GiBの画像列になります。さらにH3の側で再デコードし、内部表現に変換し、その上に生成本体が乗る。ビットレートを下げてファイルを小さくしても画像列は減らず、入力のfpsを下げても24fpsに再変換されます。減らすなら解像度と尺です。

それでも、原因は参照動画だと確定していません。 別のPythonが何だったか分からず、どちらが先かも分からない。「調査中」が今の正直な状態です。

同じ日に、プロンプトを「英語を直接貼る/日本語からClaude Codeに書かせる/採用済みの修正案を使う」の3択で切り替えるノードも作っています(単体テスト66件)。ただし生成は未実施なので、こちらの合格は15秒生成の安全とは別の話です。

6. 分かったこと、分からないこと

  • 分かった: ハロウィンのダンスで真似して出せるのは「定番振付」の方。参照動画は小窓だけ切り出して15秒・2.2MBで足りる。キャラシートはZ-Image→ChatGPTで1時間かからない。
  • 分かった: 2.2MBの動画は、読み込むと約0.95GiB。ファイルの小ささでメモリ負荷を判断できない。
  • 分からない: Macが止まった原因。参照動画か、同時に動いていた別の処理か、その両方か。
  • 分からない: この参照動画とプロンプトで、狙いどおり踊るかどうか。まだ1本も焼けていない。

後編の段取り

  1. デスクトップ(RTX 5060 Ti 16GB×2・第39回の構成)で、0.6MP・15秒・8ステップの試し焼き。今日Blenderの参照動画つき15秒が通っている(第25回と同じ線)。
  2. 帽子が飛ぶ・足が滑る・背を向ける、のどれかが出たら、その1点だけ日本語で直す(第35回)。
  3. デスクトップで重ければ、RunPodのRTX PRO 6000(96GB)。以前のダンス系はそちらで焼いていました。
  4. Macは、生成前に重いプロセスを確認する・事前にメモリと入力の規模を検査する・Mac用の低負荷設定を別に持つ、の順で対策を入れてから戻す。どれも未実装。

当日に間に合わせるなら、キャラシートと参照動画を前日までに作っておき、生成はデスクトップで朝に回す。来年はそうします。


環境: MacBook Pro M5 32GB(h3.c・ComfyUI)・デスクトップ RTX 5060 Ti 16GB×2。TikTokの数字は10月31日18時40分の表示値。Macの記録はパニックレポート(10月31日20時07分)。症状から対処を引く表はトラブル早見表に。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次