MiniMax H3 を公式サイトや Seedance 2.5 のような有償APIで使うと、ローカルで焼いたときより動画の表現が豊かになる、と感じていました。カットが変わる、カメラが寄る、人物が台本どおりに動く。同じモデルのはずなのに、なぜか。
当方の仮説はこうです。有償側では、こちらが書いた指示と動画モデルの間に、LLMによる翻訳・書き直しが挟まっている。 MiniMax公式サイトは、リライト専用のモデル(H3-Context-IR)が日本語の意図を構造化された英語プロンプトに直してから生成に回します。ローカルにはそれがない。だから、ローカルでも同じ位置にLLMを置けば、動画の表現は豊かになるはずだ。
この記事は、その仮説を試した記録です。日本語の指示と参照画像を入れると Claude API が H3 公式仕様の英語プロンプトを書く ComfyUI ノードを作り、Sonnet 5 と Opus 5 の2つのモデルで同じ指示を書き直して、同じ seed で動画を焼きました。結論を先に言うと、出来上がった動画は、手で組んでいたときより表現が豊かでした。 ただしプロンプトの調整はこれからで、修正の仕組みもまだノードに入っていません。そこも書きます。
なぜ手で書かないのか
H3 の公式プロンプトは長い。公式ガイドどおりに書くと6つの節で550〜800語。当方は8月からこれを毎回手で組んでいました(第23回で、その1文がずれて手が崩れた話を書いています)。公式の書き直しノード(Context IR)は ComfyUI にもありますが、クレジット課金で、当方の実測知見(語数の上限、否定形の扱い、身体の指示の書き方)を指示文に入れられない。それなら、自分の知見を持たせたLLMに書かせる、というのが今回の形です。
ノードの形
入れるもの: 日本語の指示(複数行)、モード(自動/T2VA/I2VA/FL2VA/L2VA/Ref2VA)、尺(4〜15秒)、参照画像(最大6枚)、参照動画・音声の役割を書く欄、モデルの選択、そして「ロック」。
出てくるもの: 英語プロンプト(H3の動画ノードに直結)、その日本語訳(意図とのずれを目で確認する用)、注記(置いた仮定・曖昧な点・検査結果・語数・費用)。
設計で決めたことを4つ。
- Claudeに画像を実際に見せる。 8月に「風景を人物と思い込んで半日無駄にした」ことがあり、文章だけで書かせない。
- ローカル検査を挟む(費用0)。 節の名前と順序、ラベル(
<Subject N>・<Picture N>)の定義と使用の一致、接続した画像の枚数との整合、ショットの時刻が増えていくこと、尺内に収まること、語数。違反があれば違反一覧をつけて1回だけ書き直させ、それでも残れば注記に明記する。黙って直したことにしない。公式の作例5本が全部通り、わざと壊した12パターンを全部捕まえることを単体テストで確認しています。 - 課金は英語を書く瞬間だけ。 動画の生成とは無関係で、このノードの入力に seed や動画側からの線はない。同じ入力なら保存済みの英語を返してAPIを呼ばない(キャッシュ)。ロックをONにすると、日本語や画像を直しても前回の英語を固定できる。
- 否定形は原則使わない。 第23回の結論(H3では「〜しない」が崩れを招きやすい)を指示文に入れた。否定を使うのは、台詞の抑止と小物の型の固定だけ。
ComfyUI の中ではノードが質問を返せないので、曖昧な点は仮定を置いて書き、注記に列挙します。直すときは日本語を直して再実行。
同じ指示を、2つのモデルで書かせる
日本語の指示は1文。ゴルフ場のグリーンで、参照画像の女性がパターを持って片膝をつき、カップまでのラインを読む。参照画像は、人物のキャラクターシートと、グリーンの風景の2枚。モードは Ref2VA、尺は10秒。書き直しは、ノードと同じ処理をするコマンドライン版で各1回実行しました。
| Sonnet 5 | Opus 5 | |
|---|---|---|
| 費用(1回・キャッシュなし) | $0.15 | $0.29 |
| 所要時間 | 118秒 | 94秒 |
| 出力トークン(思考込み) | 9,809 | 6,280 |
| 語数(全体) | 715 | 856 |
| 書式検査 | 1回で合格 | 1回で合格 |
| 画像の読み取り | 服装・小物は正確 | 加えて「全身図は顔がぼかし→顔はアップに従う」と書き分けた |
| 依頼への忠実さ | 範囲内(しゃがむ→読む→うなずく) | 依頼にない動作を足した(パターを垂直に立てて距離を測る、最後に立ち上がる) |
| 気になった点 | 注記に韓国語が1語混入。カメラの「静止」と「前進」が矛盾 | 語数が当方の実績上限(768語)を超えた |
費用は設計時の見積もりより高く、ここは訂正しています。
同じseedで、5秒と10秒を焼く
出てきた英語プロンプトを、そのまま H3 のワークフローに貼って焼きました。Mac(M5・32GB・h3.c)で、0.6MP縦長(672×928)・8ステップ・同じseed・LoRAなし。2つのプロンプトで、5秒と10秒を1本ずつ、計4本。
| 尺 | モデル | 所要時間 |
|---|---|---|
| 5秒 | Sonnet 5 | 32分19秒 |
| 5秒 | Opus 5 | 32分35秒 |
| 10秒 | Sonnet 5 | 75分38秒 |
| 10秒 | Opus 5 | 76分11秒 |
4本とも通りました。人物は1人で二重像なし。服装・バイザー・ポニーテール・グローブ・靴は、キャラクターシートどおり。
10秒(台本どおりの尺)での再現
| 台本の要素 | Sonnet 5 | Opus 5 |
|---|---|---|
| 開始の状態 | 立った状態から約2秒でしゃがむ(画面は台本より引き) | すでにしゃがんで斜め後ろ向き——台本どおり |
| カットの時刻 | 約6秒(台本6.0秒)。ボール越しの低いアングルは台本どおり | 約6秒(台本5.5秒)。横顔のアップ・背景ぼけは台本どおり |
| 後半 | 両膝をついて座ったように見える(台本は片膝) | 8.5〜9秒で立ち上がり、9.3〜9.7秒に右手をバイザーへ——台本どおり |
| ボール | 打たれないまま手前へ転がり続けた | 動かない |
上のコマを見てください。Opus 5 版は、引きの構図から横顔のアップに切り替わり、立ち上がって手をバイザーにやる、という3つの違う画が10秒に入っています。手で組んでいたときの当方の動画は、1つの構図で人物が動くだけになりがちでした。仮説のとおり、間にLLMを置くと、カット・カメラ・動作の指定が英語プロンプトに細かく書き込まれ、それが動画に出る。ここが今回いちばん確認したかったことです。
5秒で焼いたときは、どちらも10秒向けの台本を5秒に詰め込む形になり、カットが前倒しになりました(Sonnet 5版 6.0秒→約3.7秒、Opus 5版 5.5秒→約2.7秒)。尺の不足が原因です。
分かったこと
- 間にLLMを置くと、動画の表現は豊かになる。 カット・カメラ・動作の指定が英語プロンプトに書き込まれ、10秒ではその時刻どおりに出た。
- 書き直すときは、焼くときと同じ尺を指定する。 5秒に縮めると前倒しになる。
- 書き直すときは、焼くときと同じ参照画像を渡す。 今回、書き直しと焼きで風景の画像が違っていて(赤い旗・松林・曇天 vs 黄色い旗・松林なし)、4本とも文章のほうが勝ち、書き直し時の風景が出ました。プロンプトの文章は、参照画像より強い。
- Opus 5 版は台本の再現度が高いが、依頼にない動作も足す。Sonnet 5 版は安くて忠実だが、ボールが勝手に転がった。 ボールのほうは、手書きプロンプトの試験でも同じ症状が出ており、ボールを画面手前に大きく置く構図で起きやすい可能性がある。1本ずつなので、まだ傾向とは言えない。
- 語数の実績上限を 856語 に更新(5秒・10秒とも完走)。これまでは768語。
まだやっていないこと
- ノードを ComfyUI のフローに組み込んで焼く。 今回の4本は、コマンドライン版で書いた英語を貼って焼いた。Mac での検証はこれから。
- プロンプトの調整。 依頼にない動作を足さない指示、「打たない」「動かない」物の扱い(否定形の方針との兼ね合い)、語数上限の見直し(768→856)。
- 修正の仕組み。 出てきた英語を見て直したいとき、今は日本語を直して再実行するしかない。「ここだけ直す」をノードに入れていない。
- 既定モデル。 安くて忠実な Sonnet 5 か、約2倍の費用で再現度が高い Opus 5 か。設定1行で切り替わるので、用途で使い分ける形になりそう。
- デスクトップ(Windows・16GB×2枚)への展開。
まとめ
- 有償APIの動画が豊かなのは、間にLLMの書き直しがあるから——という仮説で、ローカルH3の前にClaudeを置くノードを作った。
- 日本語1文と参照画像から、H3公式仕様の英語プロンプト(700〜850語)が出る。ローカル検査とキャッシュつき。書き直し1回 $0.15(Sonnet 5)/ $0.29(Opus 5)。
- 同じseedで4本焼き、10秒ではカット・カメラ・動作が台本どおりの時刻に出た。表現は豊かになった。
- 書き直しと焼きで、尺と参照画像を揃える。文章は画像より強い。
- 微調整と、フローへの組み込みは、これから。
症状から対処を引く表はトラブル早見表に、機材ごとの所要時間は実測早見表にまとめています。
本記事の数値は2026年10月19日〜20日の当方環境(M5 MacBook Pro・メモリ32GB・h3.c / Claude API)の記録です。人物はAI生成です。
コメント