生成AI研究室(102) MiniMax H3を「アプリ1本」で動かすFreeVideo——8GB VRAMから、Windows/Mac/Linux。中身はVDN-H3の8ステップと、重みの置き場を自動で決める仕組み

生成AI研究室(102) FreeVideo

当サイトのH3記事は、ComfyUIにモデルとワークフローを手で入れる前提で書いてきた((93)(94)(97))。その入口を丸ごと省く単体アプリが、GitHubで★3,200まで伸びている。FlashML-orgのFreeVideo。本日(11月17日)v0.6.1が出たので、何をどう動かしているかを文書から読んだ。当方は動かしていない。

目次

先に要点

  1. 起動ツール1本で、ComfyUI・実行環境・モデルまで入れる。WindowsはFreeVideo.exe、Macは.dmg、Linuxは.AppImage。既存のComfyUIやモデルフォルダがあれば再利用する。オフライン用のパッケージも配布。
  2. 中身はH3そのものではなく、VDN-H3。OpenVDNが公開した8ステップの蒸留モデルで、Video DeltaNetの混合注意(hybrid attention)を使う。配信向けに作られた系統で、(99)のT8パックが別配布しているOpenVDNと同じ出所。
  3. 重みの置き場と精度を、機械ごとに自動で決める。50層の変換器ブロックをVRAM・固定RAM・ディスクに振り分け、GeForce(Ampere/Ada/Blackwell)はint8、業務用・データセンター向けカードはFP8。注意カーネルはSageAttention 2→PyTorch flash→cuDNN→FlashAttention 2→4の順に試す。これで8GB VRAM・16GB RAMから動く。
  4. 公式の実測(Windows・1344×768・10秒・2段サンプリング): RTX 5090 122秒、RTX 5060 Ti 16GB 486秒、RTX 4060 Ti 16GB 558秒、RTX 4060 Ti 8GB 603秒(利用者報告)。
  5. 利用者の報告が約60台分、表で公開。8GBノート(RTX 3070 Laptop・4060 Laptop・5050 Laptop)から、RTX 3060 12GB、5080、M4/M5 Macまで。5060 Ti 16GBの行は複数あり、1344×768・10秒Lightで465〜508秒。
  6. Macは「実験的」。M5・24GB(空き約14GB)で1344×768・10秒が約42分、960×544・10秒が約22分。M5以降はMetal 4のint8を使い、それ以前はBF16に戻すので遅い。
図1: FreeVideoの構造。起動ツール→ComfyUI→VDN-H3、重みの置き場(VRAM/固定RAM/ディスク)、精度の自動選択、公式実測3機種

何を公開しているか

項目中身
リポジトリFlashML-org/FreeVideo(Apache 2.0、2026年9月13日作成、★3,203・fork 415)
最新版v0.6.1(2026年11月17日)。「ComfyUIを乗っ取らない(起動ツールから開いた時だけFreeVideo画面)」「画像生成の失敗理由を表示」「人物作成の改善」など。v0.6.0で画面刷新・プライバシー強化(作品削除で入力画像とプロンプトも削除、共有時はプロンプトを既定で除外)
基盤モデルOpenVDN/vdn-minimax-h3(VDN-H3、8ステップ、Video DeltaNetの混合注意)。重みのライセンスはMiniMax H3 Community License(地域・用途の制限あり)
対応Windows、macOS 14以降(Apple silicon、実験的)、Linux(デスクトップ/サーバー)。既存ComfyUIにはcustom_nodeとして追加も可
入力テキスト、先頭・末尾フレーム、画像・動画・音声の参照、コミュニティLoRA
付属機能品質4段階(Light/Medium/High/Max)、半解像度のプレビュー先行、2段サンプリング、1分超の動画、タイムライン編集、H3 Image(16MP、v0.5.0)、AIエージェント(Claude CodeやCodex)からの操作(v0.4.0)、字幕(sherpa-onnx)、吹き替え(CosyVoice)、音楽(ACE-Step 1.5)、音声分離(Bandit Plus、非商用)
開発Bowen Xue、Shuo Yang、Haocheng Xi、Xiaoze Fan、Chenfeng Xu。Video DeltaNet論文(arXiv 2609.20744)の著者と重なる

重みの置き場を決める仕組み(docs/execution-planning.md)

項目文書の記述
VRAMの予算空きVRAMから2.5%(0.5〜1GiB、Windowsは0.25GiB)を引いた分
RAMの予算空きRAMから5%(1〜4GiB、Windowsは2〜4GiB)を引いた分。Windowsのページファイルは数えない
変換器の常駐常駐ブロック数 = min(⌊(VRAM予算 − 活性化の作業領域) / 432.5MB⌋, 44)。残りは固定RAM(最大22GB)に置き、毎ステップGPUへ転送。それでも足りなければディスクから読む
転送VRAM予算14GiB以上で2本の先読み、それ未満は1本(Windows Blackwell/Ampereは閾値を下げる)
精度GeForce Ada・Blackwellと全Ampereはint8(ConvRot回転+行ごとのスケール)。それ以外はFP8(Blackwell SM120はテンソルごと、Ada SM89・Hopper SM90はチャネルごと)
VAEデコーダVRAM予算20GiB未満では、36ブロックのうち⌊(予算 − 3.25GiB) / 268.6MB⌋だけ常駐、残りはストリーミング
2段サンプリング半解像度の1段目は別の計画。1段目で転送したブロックは空きVRAMに残す

H200でVRAM 8〜32GiB×RAM 8〜32GiBの組み合わせを測った「容量格子」の図も公開されている。

公式の実測と、利用者の報告(5060 Ti 16GB・Macを抜粋)

機材条件時間出所
RTX 5090 32GB + RAM 64GBWindows、1344×768、10秒、2段122秒公式
RTX 5060 Ti 16GB + 32GB同486秒公式
RTX 4060 Ti 16GB + 32GB同558秒公式
RTX 4060 Ti 8GB + 64GB同603秒利用者(#22)
RTX 5060 Ti 16GB + 64GB1344×768、10秒、Light、v0.3.20→0.3.21471→465秒利用者
RTX 5060 Ti 16GB + 32GB768×1344、15.1秒、Light、v0.3.24847秒利用者
RTX 5060 8GB + 16GB1344×768、15秒、Light、v0.3.1→0.3.61,367→1,160秒利用者
RTX 3060 12GB + 64GB1184×672、10秒、Light、v0.3.22→0.3.23604→565秒利用者
M5 24GB(空き約14GB)1344×768、10秒、Light約42分公式(Mac guide)
M5 24GB960×544、10秒、Light約22分公式(Mac guide)
M4 Pro 24GB960×544、10秒、Light3,457秒利用者

利用者の表は、報告→版の更新→改善後の時間、の3列で書かれている(例: 4060 Ti 16GBのMax・15秒が9,829秒→2,890秒)。

当方の見方

  • 入口を省く価値は大きい。(76)で「自宅PCをMuseから使う人が増えた」と書いたが、その手前の「ComfyUIとモデルを入れる」で止まる人のための1本。既存ComfyUIにcustom_nodeとして足す道もあるので、当方の環境を壊さずに試せる。
  • ただし動くのは「VDN-H3」。H3本体の重みではなく、8ステップの蒸留モデルで、注意の仕組みも違う。(93)で見た高速化LoRA(本体+LoRA)とは別の系統。顔の一貫性や台詞の口型が本体と同じかは、文書には書かれていない。
  • 5060 Ti 16GBの486秒は、当方の(97)の192秒と条件が違う。(97)は4080 Super 16GB・ネイティブ1080p・10秒・INT8 pruned+3-step LoRA。FreeVideoの数字は1344×768・8ステップ・2段。並べて比べる数字ではない。
  • Macは今は待ち。M5 24GBで10秒が42分と公式が書いている。短い確認(512×512・1.6秒で約3分)までが現実的な範囲。
  • 付属機能が多い分、ライセンスは混在。音声分離のBandit Plusは非商用、Qwen-Image 2.1は研究ライセンス。商用で使うなら各自で確認。

書いていないこと・確かめていないこと

  • 当方は動かしていない。数字はすべて公式文書と利用者報告の表から。
  • VDN-H3と本体H3の画質・一貫性の差は文書にない。
  • 日本語台詞の生成は書かれていない((95)の整理どおり、台詞は外で作る前提で見るのが安全)。
  • オフライン配布はQuark(中国のクラウド)経由。

出典

  • GitHub: FlashML-org/FreeVideo(README.md、docs/execution-planning.md、docs/community-results.md、docs/Mac.md、THIRD_PARTY_NOTICES.md、freevideo_engine/release_notes.json、2026年11月17日時点)
  • Hugging Face: OpenVDN/vdn-minimax-h3
  • arXiv 2609.20744: Video DeltaNet

関連

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次