生成AI研究室(77) H3-Imageは何に使われているか——公開48時間でXに出た実例7型と、当方の使いどころ

生成AI研究室(77) H3-Imageは何に使われているか アイキャッチ

(73)で「何者か」、(75)で「どの形式がどのGPUに載るか」を書いた。公開から48時間、Xには「で、何に使うのか」の報告が並んだ。7つの型に分けて、当方の走る女性の工程でどこに使えるかを添える。数字はいずれも投稿者の環境で、11月12日 05:00取得。

図1: 7つの型。入力(参照の枚数・種類)と出力(1枚か、動画の元か、編集か)で分けた
目次

先に結論

  1. 一番伸びたのは「動画のカット元画像」の使い方。 H3-Imageで1枚作り、LTX-2.5で動かす。RTX 5090で1カット5分弱、完全ローカル(@Noukin_Camera、10.3万表示)。同じ投稿者は「H3-Imageは1枚絵でなく映像を切り出した1枚が出るので、動画化しても予定調和の動きになりにくい」とも。
  2. 編集はP-H3-Imageと棲み分け。 同じ1枚に同じ編集13通りをローカルで並べた比較では「アニメ絵はP-H3の方が絵柄と雰囲気を保つ、光もアニメっぽく処理する」(@yu_ichi_suzuki)。別の報告では4080で参照1枚のときP-H3 110秒・H3-Image 50秒、文字入れと画風変更はH3-Imageが優位。
  3. キャラを保つなら動画版H3を画像生成に使う手がある。 3DLo→H3-Image(画像版)→H3(動画版を画像生成として使用)の3段比較で「キャラ造形と絵柄の維持は動画版が圧倒的、背景はゆるい」(@craftcapitallab)。
  4. 複数人の参照は「人数分の顔写真」で業務っぽい出力が出る。 6人の顔写真を参照に、服と値段と並びを書くだけで雑誌風のセールチラシ。同じ6枚で浮世絵の役者絵に画風変更、撮影の悪い料理写真を補正してランチメニューに(@aoarashi_web)。一方、16枚参照で過去のキャラ16人を出すと「混ざる・増殖する、ただし誰が何をするかの指示は通る」という報告もある。
  5. 着せ替えは参照に服と小物を入れる。 同じキャラで7コーデ、服・小物・アクセサリーをそれぞれ参照画像に。従来この用途で別モデルを使っていた人が「H3-Imageでも綺麗に着せ替わる」と。
  6. 設計図・分解図・CAD風が得意という報告が海外に複数。 重機の部品分解を1枚に、ゲーム画面→誌面→分解図→CAD図の4種を1モデルで。(75)で触れた「看板の文字・配置が最良」という評価と同じ方向。
  7. アップスケーラ・リファイン代わり。 レトロアニメの4Kアップスケールに使う、ざらつき除去とポーズ変更を1回で、という使い方。動画H3のLoRAが画像版でも動くが代用にはならない、という報告も。

学習側では、sd-scriptsの作者が「guidance蒸留だけでなくstep蒸留もされているので学習が面倒、training adapter以外の仕組みが要る」と(@kohya_tech)。LoRAが出そろうまでは時間がかかる見込み。

7つの型

型入力出力報告当方の工程での位置
1 動画のカット元画像文章(+参照)1枚→動画モデルへ5090でH3-Image→LTX-2.5が1カット5分。「映像を切り出した1枚」が出る走る女性の各カットの最初のフレーム。今はキャラシート+Blender背景を直接H3に渡している
2 編集(P-H3と比較)1枚+指示編集後1枚13通りの比較。アニメ絵はP-H3、文字入れ・画風変更はH3-Image(55)のキャラシート12枚をH3-Imageで再現(E・デスクトップ依頼済み)
3 動画版H3を画像に参照+文章1枚キャラ維持は動画版が上、背景はゆるい当方は動画版を既に回しているので、1フレーム生成でキャラシートを増やす手に使える
4 複数人参照顔写真N枚+文章チラシ・メニュー・集合絵6人で顔を保ったままチラシ。16人は混ざる使いどころは少ない。走る女性は1人
5 着せ替え人物1枚+服・小物の参照1枚7コーデ。参照に服と小物(74)のトートの設定画と同じ考え方。衣装替えのキャラシートに
6 設計図・分解図文章図面風1枚重機の部品分解、CAD図(74)の家具の設定画(ソファ・テーブル)をこの型で作れる可能性
7 アップスケール・リファイン低解像度1枚高解像度1枚4K化、ざらつき除去+ポーズ変更Blenderの簡易背景を「現実味のある背景」に整える用途。動画の2倍化はRelayVSRと比較

型1: 動画のカット元画像

一番表示が多かった報告。H3-Imageで実写風の1枚を作り、LTX-2.5で動かす。RTX 5090で1カット5分弱、全部ローカル。同じ投稿者が後に「H3-Imageは1枚の画像でなく、映像を切り出した1枚を出力してくれるので、映像化しても突っかかりや予定調和な動きをしづらい」と書いている。動画モデルの音声層を外した画像モデルなので、映像の途中の1コマのような構図が出やすい、という見方。

当方の走る女性では、各カットの参照にキャラシートとBlenderのカメラ画像を直接渡している。H3-Imageで「そのカットの最初の1コマ」を先に作り、それを動画H3に渡す経路は、(74)で残っていた「頭の見切れ」「バッグの口」のような静止画で潰せる問題に効く可能性がある。

型2: 編集——P-H3-Imageとの棲み分け

同じ1枚に同じ内容の編集を13通り、どちらもローカル・LoRAなしで並べた比較(@yu_ichi_suzuki、2.1万表示)。本人評価は「個人的にはP-H3-Imageの方が好み。アニメ絵だとP-H3-Imageの方が絵柄とか雰囲気の維持が上手く感じ、光もよりアニメっぽく処理してくれる」。別の報告では、4080で参照1枚・プロンプト補完なしのとき、P-H3が110秒、H3-Imageが50秒。「時間を除けば基本はP-H3でいい、文字入れと画風を変えるときはH3の方が優位」。

(55)で当方がP-H3-Imageに出した12枚(背面・左右・表情・動作・衣装・背景)をH3-Imageで同じ言葉で出す実測は、デスクトップに依頼済み。

型3: 動画版H3を画像生成として使う

3DLo(白素体の3D)→H3-Image(画像版)→H3(動画版を画像生成として使用)の3段を並べた比較(@craftcapitallab)。「キャラ造形、絵のスタイルの維持は、圧倒的に動画版の方がいい。ただ背景はちょっとゆるくなる。使い分けが必要」。

当方は動画版を常に回しているので、キャラシートの追加ビュー(たとえば横向きの顔、歩きの中割り)を「1フレームだけ生成」で作る手がある。背景のゆるさは、Blenderのカメラ画像を参照に足すことで補える見込み。

型4: 複数人の参照

6人のAIモデルの顔写真を参照に入れ、服と値段と並びを書くだけで、6人とも顔を保ったまま雑誌風のセールチラシ(@aoarashi_web、PR表示あり)。同じ6枚のまま「画風だけ江戸の木版画に」で浮世絵の役者絵、撮影の悪い料理写真を「補正してメニューに」でランチメニュー。参照が顔写真なら、人数が増えても誰か分かる。

一方、過去に作ったAI動画のキャラ16人を16枚参照で出した報告では「混ざったり増殖したりする。ただ誰が何をしているかの行動は指示通りで、追従性は良い」。16枚の上限は、顔の同一性より配置の指示に効くということになる。

型5: 着せ替え

同じキャラで7つのコーデ。服・小物・アクセサリーをそれぞれ参照画像にして、近未来風からカジュアルまで。別の投稿者は「これまで服装の変更は別モデルを使うことが多かったが、H3-Imageも綺麗に着せ替えてくれる」。(74)でトートの設定画を参照に足したのと同じ考え方で、衣装違いのキャラシートをこの型で作れる。

型6: 設計図・分解図・CAD風

重機の部品分解を正面・側面・分解図つきの1枚に。ゲーム画面、誌面、分解図、CAD図の4種を1つのモデルで。海外の複数の投稿で、いずれも「文字と配置が崩れない」点を評価している。(75)の4モデル比較で「看板の文字・配置はH3-Imageが最良」だった評価と同じ方向。

当方では、(74)の家具の設定画(ソファ・テーブルの4面図)をこの型で作れる可能性がある。今はP-H3-Imageで写真から起こしているが、「4面図・寸法線つき」の注文はH3-Imageの方が通るかもしれない。

型7: アップスケール・リファイン

レトロアニメの4Kアップスケールに使う(動画H3用の自作アップスケーラを元に)。ホログラム風の画像を「元の絵を維持しながらざらつきを除去し、ポーズを変える」。動画H3のLoRAが画像版でも動くが「代用とは言えない」という報告も。

当方では、Blenderの簡易背景(灰色の箱と板)を「現実味のある部屋」に整える用途が考えられる。動画の2倍化はComfy-Orgが11月11日に出した動画超解像RelayVSR(x2/x4、int8 5.2GB)と比べる。

当方の次の一手

工程今H3-Imageで試すこと
キャラシートP-H3-Imageで5ビュー同じ注文をH3-Imageで(E・依頼済み)。動画版H3の1フレーム生成も比較
持ち物・家具の設定画P-H3-Imageで写真から型6の「4面図・寸法線つき」で注文
各カットの最初の1コマなし(動画H3に直接)型1。1コマを先に作って動画H3に渡す
Blender背景簡易家具のまま型7で現実味のある部屋に整える
動画の解像度672×928のままRelayVSR x2(E・1本だけ依頼済み)

関連

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次