生成AI研究室(85) オープンソースのAIモデルに仕込まれる「悪い仕掛け」——2024〜2026年の事例を時系列で整理し、当方のMacと自宅GPU機のComfyUIを読み取りだけで点検した

生成AI研究室(85) モデルに仕込まれる悪い仕掛け

モデルの重みやComfyUIのカスタムノードに、情報を盗むコードや採掘プログラムを混ぜる手口が、この2年で何度も報告されている。当サイトはMiniMax H3 / H3-Imageの重みをHugging Faceから、ノードをGitHubから取ってきてローカルで動かしているので、他人事ではない。本記事は、セキュリティ会社と配布元が公表した範囲で事例を時系列に並べ、手口を4つの型に整理し、当方の2台(MacのM5と自宅GPU機)を何も変更せずに点検した結果を載せる。攻撃の再現手順は書かない。確認の手順だけ書く。

目次

先に要点

  1. 手口は4つの型に分かれる。①重みファイルの形式(pickle系は読み込んだ瞬間にPythonが走る)、②同梱スクリプト(重みは無害でも、添付のloader.pyやstart.batを実行させる)、③カスタムノード(見た目は素通しのノードが裏で別のものを取り込む)、④配布経路の乗っ取り(PyPI・npm・消えたユーザー名の再取得)。
  2. 当方が使うMiniMax H3 / H3-Imageの公式重みはsafetensors形式。この形式の重み自体はコードを持てない。危ないのは重みの周り——第三者のGGUF・LoRA・ノード・同梱スクリプト。
  3. 2台の点検結果: どちらも待ち受けは127.0.0.1のみ、実行時のpipは初期設定の1か所だけ。本物のeval/execはMac 0件、自宅GPU機は顔処理系ノードに3件(モデル構成の文字列評価)。pickle系の実重みはMac 2件・自宅GPU機 3件で、いずれも顔検出・顔復元の.pt/.pth。ここだけ出所の再確認が要る。
  4. ComfyUIを外から触れる構成((76)のMuse×Tailscale)は、2026年3〜4月の採掘ボット事例とは前提が違う(あちらは認証なしでインターネットに公開)。ただしTailscaleの先の端末が乗っ取られれば同じ入口になる。

事例の時系列(報告元の公表範囲)

時期事例型手口と規模報告元
2024年2月Hugging Face上の悪性モデル①任意コードを実行できるpickle形式のモデルが100件超JFrog
2024年6月ComfyUIのカスタムノード③依存パッケージに情報窃取を仕込む。ComfyUI公式が名指しで注意喚起ComfyUI公式ブログ(2025年1月)
2024年12月ultralytics(PyPI)④配布経路の乗っ取りで、正規パッケージの更新に採掘プログラムが混入同上
2025年1月ComfyUI公式の対策発表—Registryでeval/exec・実行時pip・難読化を段階的に禁止。自動スキャンと公開レビューComfyUI公式ブログ
2025年2月「nullifAI」①pickleを7z形式で圧縮し、Hugging Faceの検査(picklescan)をすり抜けReversingLabs
2025年10月〜2026年1月Comfy Registryの偽アップスケーラー③画像を素通しするノードが、裏でpip installと外部スクリプトの取得を実行。Windows向けの情報窃取(Akira Stealer)Comfy-Org issue #11791
2026年3〜4月公開ComfyUIサーバーの採掘ボット化③+公開認証なしで公開されたComfyUIに、Pythonを実行できるノードやManagerのpip経由で侵入。露出1,000台超、1サイクル約6,400標的のうち97台で成功。Monero/Conflux採掘とプロキシ化Censys(4月6日)・CSA(4月8日)
2026年3〜4月LiteLLM(PyPI)・PyTorch Lightning・Bitwarden CLI(npm)④配布経路の乗っ取り。LiteLLMは最大50万件の認証情報が露出した可能性TNW(5月8日)の集計
2026年5月Hugging Face「Open-OSS/privacy-filter」②OpenAI公式のモデルカードを丸写しした偽リポジトリがトレンド1位。18時間で約24.4万DL・667いいね(水増しの疑いあり)。重みでなく同梱のloader.py / start.batを実行させて情報窃取。同じ作りのGGUFリポジトリが6件HiddenLayer・The Hacker News(5月11日)
図1: 4つの型と、2024〜2026年の主な事例。重みの形式(①)から始まり、2026年は同梱スクリプト(②)と公開サーバー経由(③)に重心が移っている

4つの型を、当方の環境に当てはめる

① 重みファイルの形式

  • pickle系(.pt / .pth / .bin / .ckpt / .pkl): Pythonのオブジェクトをそのまま保存する形式で、読み込み時に任意のコードが走り得る。2024〜2025年の事例はほぼこれ。
  • safetensors: 数値の配列と見出しだけの形式で、重み自体はコードを持てない。MiniMax H3 / H3-Image / Comfy-Org版 / Woovee版はすべてこの形式。
  • GGUF: 量子化した重みの形式。重み自体はコードを持たないが、読み込み側(llama.cppやComfyUI-GGUF)の解析処理に穴があれば細工したファイルで突ける。過去に読み込み側の修正が複数ある。第三者が量子化したGGUF(当方ならHyperFlowのQ4など)は「誰が作ったか」を見る対象。
  • PyTorch 2.6以降はtorch.loadが既定でweights_only=Trueになり、pickle内のコード実行を標準では止める。ただしノードが自前の読み込みをしていれば効かない。

② 同梱スクリプト

2026年5月の偽OpenAIリポジトリは、重みではなく「動かすために実行してください」と添えたスクリプトが本体だった。H3-Imageでも「ワンクリックで動くセットアップ」を配るリポジトリが増えている。重みの形式がsafetensorsでも、添付の.bat / .sh / .pyは別物として見る。

③ カスタムノード

ComfyUIのノードはPythonそのもので、ComfyUIと同じ権限で動く。2025年1月以降、Registry経由のノードは自動スキャン(eval/exec・実行時pip・難読化)を通るが、GitHubから直接cloneしたノードは通らない。当方のMacは14個すべて直clone、自宅GPU機は13個のうちGitHub出所を確認できたのが10個(下の点検結果)。

④ 配布経路の乗っ取り

PyPI/npmのパッケージ更新、消えたユーザー名の再取得(モデルの名前空間が丸ごと別人のものになる)など。利用者側で防ぎにくい型で、できるのは「依存パッケージの更新を急がない」「固定した版から動かさない」程度。

当方の2台のComfyUIを点検した結果(11月14日・読み取りのみ・変更なし)

Mac(M5、画像生成用)は11月14日20時台に当方が、自宅GPU機(Windows、動画生成用)は同時刻にデスクトップ側が、同じ手順で点検した。どちらも生成キューが空の状態で、モデルの読み込み・生成・削除・更新・設定変更は一切していない。件数はPythonソースの静的な数え上げで、実際に実行された回数ではない。

項目Mac(M5)自宅GPU機(Windows)見方
本体ComfyUI 0.33.0、torch 2.13、safetensors 0.8、gguf 0.19ComfyUI 0.45.0、torch 2.13(cu130)、safetensors 0.8、gguf 0.19どちらもtorch 2.6以降でtorch.loadはweights_only既定
待ち受け--listen 127.0.0.1 --port 8188(起動スクリプトで固定)実プロセスの引数もOSの実待ち受けも127.0.0.1:8188。portproxy・トンネル・SSHの該当プロセスなしインターネットにもLANにも出ていない。Censys事例の前提に当たらない(ルーター側の転送は未確認)
ComfyUI-Managersecurity_level = normal、network_mode = publicManagerは未導入(設定ファイルなし)Mac側のnormalは「Manager経由の任意pipは不可、登録ノードの導入は可」の中間
重みの形式safetensors 71、GGUF 4、pickle系の実重み2(顔検出、約50MB×2)safetensors 55(約233GB)、GGUF 12(約132GB)、pickle系は.pth 3(顔検出104MB・顔領域81MB・顔復元359MB)pickle系だけが「読み込みでコードが走り得る形式」。2台とも顔処理の補助モデルに集中
実験フォルダ第三者LoRAの互換実験(9月)に小さな.bin 7件・.pkl 1件対象外(標準モデル領域とVAE領域のみ数えた)使っていないものは片付け対象
カスタムノード14個、全てGitHubから直接clone13個。GitHub出所を確認できたもの10、Gitメタデータなし3。Registryの追跡マーカー0Registryの自動スキャンを通っていないものが大半
実行時のpip実際に実行するのは1か所(H3系ノード同梱のinstall.pyがrequirementsを導入)同じく1か所(同じ種類の初期設定処理)。他10件はメッセージ内の文字列通常の初期設定
本物のeval/exec0件(文字列検索の28件は全てmodel.eval()等の誤検出)3件(eval 2・exec 1)。顔処理系ノード1個に集中。モデル構成に書かれたモジュール名の文字列評価と、セットアップ補助の版読み込み悪意の判定ではない。ただし「文字列をそのまま評価する経路」は確認対象
subprocessffmpeg・ffprobe・git・nodeのみ61か所(テスト・ビルド補助を含む)。呼び出し先はffmpeg/ffprobe・gifski・nvidia-smi・Pythonワーカー・pip・node・git・taskkill等動画系ノードが多い分、呼び出し先も多い。呼び出し先が動的なものは網羅していない

この点検が示すこと・示さないこと: 形式と設定と呼び出しの有無を数えただけで、マルウェアに感染していないことの証明ではない。pickle系は拡張子で分類しただけで中身は開いていない。配布元とのハッシュ照合・脆弱性データベースの照会・通信の監査はしていない。2台でノード構成も版もモデル数も違うので、どちらが安全かという比較はしない。

残った宿題: 顔処理系の.pt/.pth 計5件の入手元とハッシュの照合、自宅GPU機の顔処理系ノードの文字列評価の経路、Mac実験フォルダのpickle系の片付け。進めたら追記する。

16GB勢向けの確認手順(変更を伴わないものだけ)

  1. 形式を見る: models/配下で.pt .pth .bin .ckpt .pklを数える。あればどのノードが使うのかを確認する。safetensorsとGGUFは「重み自体は安全な形式」として扱ってよいが、GGUFは量子化した人を見る。
  2. 同梱スクリプトを分けて見る: モデルのリポジトリに.bat .sh .pyが添えてあれば、重みとは別に中身を読む。読めないものは実行しない。
  3. ノードの出所を見る: custom_nodes/の各フォルダでgit remote -v。Registry経由かGitHub直cloneかを分ける。直cloneは作者と更新履歴を見る。
  4. 待ち受けを見る: 起動オプションの--listenが0.0.0.0なら、LANやインターネットから届く。家の外から使うならVPN(Tailscale等)の内側に置き、ComfyUIそのものは公開しない。
  5. Managerの設定を見る: security_levelがweakなら、Manager経由で任意のpipが通る。
  6. PyTorchの版を見る: 2.6未満ならtorch.loadがpickle内のコードを止めない。

書いていないこと

  • 攻撃の再現手順、悪性コードの中身、投稿者のアカウント名。
  • 「どのノードが危ない」という個別の評価。上の点検は形式と設定の確認であって、ノードの良し悪しの判定ではない。

出典

  • The Next Web(2026年5月8日): JFrog・ReversingLabs・Protect AIの集計、PyPI/npmの乗っ取り事例
  • Comfy-Org/ComfyUI issue #11791(2026年1月): Registryの偽アップスケーラー
  • Censys(2026年4月6日)・Cloud Security Alliance(4月8日): 公開ComfyUIの採掘ボット化
  • HiddenLayer・The Hacker News(2026年5月11日): Open-OSS/privacy-filter
  • ComfyUI公式ブログ「ComfyUI 2025 Jan Security Update」(2025年1月3日)
  • Rapid7「From .pth to p0wned」: pickle形式の仕組み

関連

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次