第51回で「VAEデコーダを差し替えるだけで絵が変わる」と整理したSeamless Anime VAEを、デスクトップ(RTX 5060 Ti 16GB×2)で試しました。題材はアニメではなく、第52回の実写風ジョギング(正面)です。同じlatentを3つのデコーダで戻して、同じコマを並べました。
結果を先に。空の大きな格子状の濃淡は弱まる。路面の細かい反復模様は残る。顔の目元・口元・表情は変わる。 実写風は保たれ、セル画にはなりません。int8のデコードは公式の半分の時間でした。
目次
やったこと
第52回の正面(10ステップ版)の元のlatentは残っていなかったので、同じseed・同じ参照(白い素体の動画+キャラシート)・同じ設定で1回だけ生成し直し(475秒)、サンプリングの出力をlatentのまま保存しました。ComfyUIは0.44.0に更新した後です。
そのlatent1本を、3つのVAEでデコードだけしました。参照のエンコードは公式VAEのまま、音声も共通です。
| デコーダ | ファイル | デコード | ジョブ全体 | GPU1ピーク | RSS |
|---|---|---|---|---|---|
| 公式H3 VAE(fp16) | 5.6GB | 34.3秒 | 45.2秒 | 6.14GiB | 13.0GiB |
| Seamless int8 | 2.8GB | 17.3秒 | 20.7秒 | 3.81GiB | 6.3GiB |
| Seamless fp16 | 5.2GB | 34.7秒 | 44.9秒 | 6.14GiB | 13.3GiB |
デコードはノード開始から次ノード開始までで、モデルのGPU転送を含みます。各1回・順番は公式→int8→fp16なので、厳密なベンチマークではありません。それでも、Seamless fp16は公式と同じ時間、int8はその半分、という第51回の読み(公式の追加学習なので構造も速さも同じ)は、そのまま出ました。
見た目
| 見るところ | 公式 | Seamless(int8・fp16) |
|---|---|---|
| 空の平らな部分 | 電柱まわりに大きな矩形の濃淡 | 矩形が弱まり、均一に近い |
| 路面 | 細かい反復模様 | 残る。全部は消えない |
| 顔・肌 | 目口・頬に強い細部、走っている表情 | 細部が滑らかになり、目元・口元の形と表情が変わる |
| 電線・建物 | ざらつき | 空との境界は整理され、細部は柔らかくなる箇所も |
| 全体 | 実写風 | 実写風のまま。セル画にはならない |
int8とfp16の見た目は、この比較ではほぼ同じでした。
読み
- 配布元の「16×16の圧縮の格子を消す」は、空の平らな部分では当たっています。路面のような細かい模様には効きません。縞(格子)と細粒は別物、という第54回の読みと同じです。
- 顔が変わるのは、実写風の人物では代償です。背景だけを直す無害なフィルターではありません。Seamlessの学習データは2Dイラスト6割・3Dレンダー2割・実写2割なので、実写の顔の細部が「均一」に寄るのは筋が通っています。
- int8がfp16と同じ見た目で半分の時間・6割のVRAMなら、実写風でも「背景の格子だけ取りたい」場面ではint8が選択肢です。ただし顔のあるカットでは、顔を見てから決めます。
- 本来の用途(イラスト・アニメ調)では未検証です。キャラシート(イラスト)を参照にした動画で、もう1回やります。
まとめ
- 同じlatentを3デコーダで復元。空の格子状のむらは弱まる、路面は残る、顔は変わる。
- 公式34.3秒・Seamless int8 17.3秒・fp16 34.7秒。int8はVRAM 3.8GiB。
- 実写風の人物では、背景の改善と顔の変化を天秤にかける。
- アニメ調での比較は次。
本記事の動画・画像は当方の生成物で、人物は当方の参照画像から作ったものです。実在の人物ではありません。Seamless Anime VAEはdully3865の配布物(MiniMax H3 Community License)です。
コメント