生成AI研究室(68) 画像1枚から3Dの「Idol」を16GB GPUで動かした——キャラシート正面1枚が37秒で26万粒のガウシアンスプラットに。Blender 5.3はアドオンなしで読んで撮れた

生成AI研究室(68) Idolを16GBで動かした アイキャッチ

(48)で一次情報を整理して「当方は試す予定」と書いたIdolを、走る女性のキャラシートの正面1枚で動かした。16GB GPUで37秒、出た.plyをBlender 5.3がそのまま読み、正面・側面・背面と360度のターンテーブルまで撮れた。

図1: Blender 5.3で撮った正面・右側面・背面。60mm・距離5.1m・カメラ高0.85m・身長1.7mに合わせた
目次

先に結論

  1. 16GBで完走、37秒。 history所要36.7秒(初回41.6秒)、GPU0のピーク4,662MiB、RAMの実使用約5.7GiB。262,144粒で.plyは17.8MB。(48)で引いた配布元の「VRAM 7.2GB」より当方のピークは小さい。
  2. ComfyUI本体は更新せずに動いた。 0.44.0に標準のTripoSplatノードが入っていて、公式モデル5つ(DiT・デコーダ・DINOv3・FLUX.2 VAE・BiRefNet)を所定のフォルダに置くだけで公式テンプレートどおりに動いた。
  3. Blender 5.3 RCは標準のPLY読み込みでガウシアンスプラットとして認識した。 アドオンなし。原点に置いて身長1.7mに合わせ、60mmで3方向の静止画と、24fps・120コマの周回を書き出した。
  4. 全身の服・体形・前後左右の配置を確かめる静的なカメラ基準としては候補になる。 一方で、顔は目鼻は残るが輪郭と細部が軟化し、元画像どおりの精度ではない。背面・靴裏・髪の奥は正面1枚からの推定で、髪の束には薄い板や筋、靴のかかとには模様の歪みがある。
  5. 骨格も走る動きもない。 白素体(Mixamo)を置き換えるリグ付きモデルになったわけではない。H3の参照動画に入れる下見(D)は未実施で、容姿が改善するかは未検証。本人評価も未取得。

条件

項目値
入力キャラシートの正面全身1枚(768×1024・白背景)をそのまま。手動の切り抜き・拡縮・顔の加工なし
前処理公式どおりBiRefNetで背景除去→TripoSplatの前処理(1024)。内部の正方形化はモデル標準
ComfyUI0.44.0のまま。標準のTripoSplatノード。公式モデル5ファイルはSHA256を配布元と照合
生成dpmpp_2m / simple、20ステップ、CFG 3、seed固定、num_gaussians=262,144
GPURTX 5060 Ti 16GB×2。GPU0主体で、GPU1の378MiBは背景使用(2枚に分散した証拠ではない)
設定既存のモデルパス・lowhost・メモリ保護の閾値は変更なし

実測

試験粒数所要GPU0ピークGPU1ピークRAM実使用ピーク.ply
A 初回262,14441.6秒4,658MiB378MiB未取得17.8MB
A 再測定(採用)262,14436.7秒4,662MiB378MiB約5.7GiB17.8MB(初回とSHA256一致)
B 粒数2倍—未実施(任意)————

所要はhistoryの開始→成功。モデルの取得やBlenderの描画は含まない。再測定の前にComfyUIの通常の解放機能でモデルとキャッシュを解放したが、OSのファイルキャッシュは残り得るので、コールド起動の計測とは呼ばない。初回はRAMの監視が権限不足で取れず、権限を整えて同条件で測り直した(初回の記録は経緯として保存)。VRAMはnvidia-smiの約1秒間隔で、瞬間の最大値は保証しない。

配布元が載せている他GPUの秒数(RTX 3080で46秒など)と当方の数値は条件が違うので並べない。

Blender 5.3での撮影

項目値
Blender5.3.0 Release Candidate(11月8日ビルド)。既存のBlenderとは別のポータブル配置
読み込み標準のPLYインポート。262,144点、POINTCLOUD / GAUSSIAN_SPLATとして認識。メッシュ化なし
向き.plyのY下向き・正面+Xを、BlenderのZ上向き・正面−Yにオブジェクト回転で合わせた。スプラット属性を壊すApply Transformはしない
配置床Z=0、水平中心を原点、身長1.7m
カメラ60mm、センサー縦24mm、距離5.1m、高さ0.85m、672×928。正面・人物の右側・背面
描画Cycles CPU、16サンプル、デノイズあり
周回24fps・120コマ・5秒。人物は静止、カメラが1コマ3度ずつ回る。最後は357度で次の0度へつながる
ターンテーブル5秒(Blender 5.3・Cycles)

見え方(デスクトップ側の画像観察。本人評価とは別)

方向観察
正面白T、黒い膝上丈のボトム、白ソックスと靴。全身の輪郭は連続した面として読める。顔は目鼻が残るが輪郭と細部が軟化し、元画像どおりの精度ではない
側面胸・腹・腕・脚・靴の厚みが成立。手指・肩口・靴底の細部は粗く、髪の束に薄い板・筋のような部分
背面シャツ背面・後頭部・ポニーテール・臀部と脚が推定で補われている。髪の一部に明るい縁や透けた筋、靴のかかとに黒白の模様の歪み
靴裏下からの追加視点で両足に黒い靴底がある。溝の模様は細かなノイズ状で、正確な構造とは言えない

この解像度では主に面に見えるが、細い髪や輪郭には不安定な部分がある。構造はあくまでガウシアンスプラットで、編集できる連続面のメッシュではない。

図2: ComfyUI側の3方向プレビュー(正面・右・背面)

(48)の線はどこまで進んだか

(48)で書いた線は「キャラシート1枚→3D→参照動画」だった。今回で、キャラシート1枚→3D→Blenderで置いて撮る、までが通った。残りは、この周回や任意のカメラ軌道で撮った動画を、H3の参照動画(白動画の代わり)として入れること。

段階状態
画像1枚→.ply通った。37秒・VRAM約4.7GB
.ply→Blenderで撮る通った。アドオンなし、60mmで3方向+周回
撮った動画→H3の参照未実施。既存の白素体版と同seed・同設定で比べる必要がある

白素体は動きとカメラの基準として数値で縛れる((61)のドローン接近など)。本人の3Dは服と体形と前後左右の配置が本人のものになる一方、動きがない。使い分けるなら、カメラの軌道と人物の収まりを決めるのに本人の3Dで下見をして、動きは白素体かプロンプトで書く、という形が考えられるが、これは次の検証で確かめる。

分けられないこと

  • 各条件1回の計測。粒数を増やしたときの画質や所要は測っていない(B未実施)。
  • 背面・靴裏・髪の奥はモデルの推定。実物の裏側を計測したものではない。
  • 16GBで今回の設定が完走した事実と、あらゆる入力・粒数での動作は別。
  • 本人評価は未取得。上の観察はデスクトップ側の画像確認。

関連

続き: 生成AI研究室(69) P-H3-Imageとは何か——動画モデルMiniMax H3から作った静止画モデル。なぜ画像なのに本体55GBなのか、頑張って買えるGPUでどこまで使えるか

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次