生成AI研究室(111) H3-Tiny——MiniMax H3(Ref2VA)を枝刈りで33B→17B→14Bに。17Bは「学習なし」、6stepの少step版も。(108)「基盤は不変」の続報

生成AI研究室(111) H3-Tiny

(108)で「基盤の重みは8月5日から変わっていない。増えているのは周辺」と書いた。その翌日の11月19日に、基盤そのものを削って小さくするプロジェクトが公開された。GitHubのREADMEとHugging Faceの配布から整理する。当方未検証。

目次

先に要点

  1. 何をしたか: MiniMax H3のRef2VA(参照画像→動画+音声)側のトランスフォーマー33.1Bを、構造枝刈りで17.1Bと14.0Bに。作者はfuyi25、コードはApache-2.0、重みはMiniMax H3 Community License(派生モデル扱い。地域条項も引き継ぐ、(107)参照)。MiniMaxとは無関係の独立プロジェクトと明記。
  2. 17Bは「学習なし」で動く(README)。手順は2つ。①各ブロックのAdaLN投影(33.1Bのうち13.0Bを占める)は入力が時刻の固定関数なので、データなしでrank 8に近似。②各ブロックが動画・音声トークンをどれだけ変えるかを測り、音声が頼るブロックを守って50ブロック中8(6〜11・13・15)を除去。
  3. 14Bは絞って蒸留で回復。FFNを14336→9792チャネルに絞り、出力投影を合わせ直し、33Bを教師にした短い回復学習(OKD)。
  4. 少step版: 17Bに少step蒸留をかけた 17B-FewStep-v0.1(既定6step、4以上)。14Bの少step版は「近日」。
  5. 配布と要件: Hugging Face H3-Tiny/ に3本(17B-Pruned 34.2GB、17B-FewStep 34.2GB、14B-OKD 28GB)。推論には公式H3のエンコーダ・VAE・プロセッサが別途必要。--offload で「約110GB未満のGPU」に入る、という書き方なので、16GBでそのまま動く想定ではない。枝刈り(33B→17B)は約80GBのGPU1枚、校正24クリップ+調整8クリップ。
  6. 公開されているもの: 枝刈りコードと推論コード。回復(OKD)と少step蒸留の学習コードは「後日」。arXivも「近日」。
図1: 33B→17B→14Bの手順と、配布・要件

手順(READMEの「Method」から)

段階何をするか結果
① AdaLN低ランク各ブロックのAdaLN投影(33.1B中13.0B)の入力は時刻の固定関数。その入力に対してrank 8の近似を直接当てる。データ不要パラメータの大半を削る
② ブロック除去各ブロックが動画・音声トークンをどれだけ変えるかを測る。音声が最も依存するブロックは守る。50ブロック中8(6〜11、13、15)を除去17.1B(学習なし)
③ FFN絞り込み各FFNを14336→9792チャネルに。出力投影を合わせ直し、33Bを教師に短い回復学習(OKD)14.0B
④ 少step蒸留17Bに適用。既定6step(4以上)17B-FewStep-v0.1

READMEの図は「ブロックごとの動画・音声トークンへの影響」を示し、除去した8ブロックに印がある。音声側の依存が大きいブロックを残す判断は、H3が動画と音声を1つのトランスフォーマーで同時に出す構造((108)参照)だから必要になる。

配布(Hugging Face、11月20日取得)

チェックポイントパラメータ作り方サンプリング容量
H3-Tiny-17B-Pruned17.1BAdaLN rank 8 + 8ブロック除去、学習なし50 step34.2GB
H3-Tiny-17B-FewStep-v0.117.1B17B + 少step蒸留6 step既定(4以上)34.2GB
H3-Tiny-14B-OKD-v0.114.0B17B + FFN絞り + OKD回復50 step28GB
H3-Tiny-14B-FewStep14.0B14B + 少step蒸留6 step既定近日

いずれも11月19日公開、ダウンロード数はまだほぼ0。

動かす側の要件(READMEから)

  • pip install -e .(torch≥2.6、diffusers≥0.42 ほか)。公式MiniMax H3のdiffusers形式のチェックポイントがテキストエンコーダ・VAE・プロセッサのために必要(自分で枝刈りするなら33Bのトランスフォーマーも)。
  • 推論スクリプトは公式diffusersのH3ワークフローにH3-Tinyのトランスフォーマーとstepスケジュールを差したもの。--offload で「約110GB未満のGPUに収まる」。FlashAttention-3はHopper、ほかはSDPA。
  • 枝刈り: 校正クリップ(音声つきの正解動画が要る)を公式ref2vaワークフローで符号化し、ノイズ除去ループを「トランスフォーマー入力と正解の潜在を保存する」工程に置き換える。33B→17Bは約80GBのGPU1枚。公開済みの除去計画(--drop 6 7 8 9 10 11 13 15)を使えばクリップなしで再現できる。

当方の見方

  • (108)の「周辺」に、基盤を削る種類が加わった。これまでの派生は「LoRAを足す」「量子化で軽くする」「少stepで速くする」だったが、H3-Tinyはブロックとチャネルを物理的に減らす。17Bが学習なしで動くという主張は、AdaLNが13.0Bも占めていたという構造の指摘と合わせて読むと筋が通る。
  • 16GBの当方にはまだ遠い。17Bのbf16で34.2GB、推論の記述は「110GB未満はoffload」。(108)の量子化勢(GGUF・nvfp4)がH3-Tinyに乗ると、16GBで「H3の半分」が動く可能性がある。ここが次の関心。
  • 品質は見ていない。READMEのサンプルは作者の提示。33Bとの比較数値もまだない(arXiv近日)。「学習なしで動く」と「33Bと同じ出来」は別の話。
  • ライセンスは本家と同じ。重みはH3のCommunity Licenseの派生モデルで、(107)で書いた地域条項(EU・英国・韓国・米国は対象外)がそのままかかる。READMEもそう書いている。

書いていないこと・確かめていないこと

  • 当方では動かしていない。生成物も見ていない。
  • 33Bとの品質比較の数値は公開されていない(11月20日時点)。
  • 16GB級での動作は、量子化版が出るまで不明。

出典

  • GitHub: fuyi25/H3-Tiny(README「News」「Checkpoints」「Method」「Inference」「Pruning」「License」、2026年11月19日公開)
  • Hugging Face: H3-Tiny/H3-Tiny-17B-Pruned、H3-Tiny-17B-FewStep-v0.1、H3-Tiny-14B-OKD-v0.1(容量はAPIのファイルサイズ合計、11月20日取得)
  • 当方の取得(2026年11月20日 04:30 JST)

関連

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次