普通のWindows PCでComfyUIを動かし、画像・動画・音楽生成をローカル検証した記録

AI画像生成、AI動画生成、AI音楽生成を自分のPCでどこまで動かせるのかを検証しました。
今回は、ComfyUIをWindows環境に導入し、CPU中心の環境で画像・動画・音楽のスモークテストを行いました。
結論から言うと、画像と短い音楽生成は現実的、動画は短い検証用クリップなら可能、長尺動画はかなり厳しいという結果でした。
この記事では、導入手順だけでなく、実際に詰まった点、モデル選定、PCスペックの考え方も初心者向けに整理します。
これからローカルAI制作環境を作りたい人の、最初の判断材料になれば幸いです。

この記事でわかること

• ComfyUIとは何か、なぜローカルAI制作で使われるのか

• Windows PCにComfyUI環境を作る基本的な流れ

• 画像生成モデルを入れて動作確認する考え方

• AnimateDiffを使った短い動画生成の現実的な限界

• MusicGen smallを使ったCPU音楽生成の現実性

• CPU環境、メモリ32GB環境で何ができて何が厳しいか

• 8GB、12GB、16GB、24GB以上のGPUで何が変わるか

• ComfyUI画面を開かず、コマンドだけで検証する運用方法

• 初心者が最初に避けた方がよい失敗パターン

はじめに

AI制作環境を作るとき、多くの人が最初に迷うのは「どのツールを使えばよいのか」「自分のPCで本当に動くのか」という点だと思います。特に画像生成だけでなく、動画生成や音楽生成まで試そうとすると、必要なモデル、必要なファイル、PCスペック、GPUの有無、VRAM容量など、急に確認すべきことが増えます。

今回の作業では、ComfyUIを中心にして、ローカルPC上で画像・動画・音楽生成を一通り検証しました。単に「インストールできた」だけではなく、実際にモデルを配置し、コマンドから動作確認し、生成ファイルが出力されるところまで確認しています。

ただし、この記事で扱う環境は、ハイエンドGPUを搭載した本格AI動画制作用PCではありません。むしろ、CPU中心の環境で「どこまで現実的に試せるか」を確認したものです。メモリは32GBありますが、動画生成に重要なGPU/VRAMは十分とは言えません。そのため、結果はかなり現実的です。画像と音楽はある程度試せる。動画は短いスモークテストなら動く。本格的な10分、20分の動画をローカルで一気に生成するのは難しい、という結論です。

ComfyUIとは何か

ComfyUIは、画像生成AIや動画生成AIなどをノード形式で組み合わせて使える制作環境です。公式リポジトリでは、画像、動画、3D、音声など幅広いAI制作を扱えるモジュール型のエンジンとして説明されています。画面上では、モデルを読み込むノード、プロンプトを入力するノード、サンプラー、VAE、保存ノードなどを線でつなぎ、ワークフローとして実行します。

Automatic1111のようなWeb UIと比べると、ComfyUIは少し難しく見えるかもしれません。しかし、慣れてくると「どのモデルを読み、どの処理を通し、どこへ保存するか」が見えるため、複雑な制作や検証に向いています。また、ComfyUIはAPI的にも使えるため、画面を開かずにコマンドから処理を走らせることもできます。

今回の作業では、初心者がいきなりGUI操作に依存しないように、まずコマンドで環境確認、モデル確認、動画スモークテスト、音楽スモークテストを実行できる形を作りました。これは非常に重要です。GUIだけで動かしていると、エラーが出たときに「ボタンを押しても反応しない」「どこで止まったかわからない」という状態になりやすいからです。

今回作ったローカル環境の概要

今回の作業フォルダでは、ComfyUI本体、Python仮想環境、モデル管理用CLI、CPU起動用バッチ、動画スモークテストCLI、音楽スモークテストCLIを用意しました。

主なコマンドは次の通りです。

.\manage_models.bat doctor
.\manage_models.bat list
.\smoke_video.bat
.\smoke_music.bat
.\run_cpu.bat

`doctor` は環境診断です。Python仮想環境、ComfyUI本体、モデルフォルダ、Gitなどが存在するかを確認します。`list` はモデル状態の確認です。どのモデルが入っているか、どのモデルがブロック扱いか、どのモデルが未導入かを表示します。

`smoke_video.bat` は動画生成の最小確認用コマンドです。ComfyUIを必要に応じて起動し、AnimateDiffを使って小さなGIFを作り、生成ファイルが正常に開けるかまで確認します。`smoke_music.bat` はMusicGen smallを使って短いWAV音声を生成する確認用コマンドです。どちらも、ComfyUIの画面を開かずに実行できます。

`run_cpu.bat` はComfyUIをCPUモードで起動するコマンドです。画面でワークフローを見たいとき、手動で調整したいときだけ使います。

ComfyUI導入の基本的な流れ

初心者向けに、ComfyUI導入の流れをかなり単純化すると、次のようになります。

1. 作業フォルダを作る
2. ComfyUIを取得する
3. Python仮想環境を作る
4. PyTorchと依存ライブラリを入れる
5. モデルを正しいフォルダに配置する
6. 起動確認をする
7. 小さな生成テストをする
8. 問題がなければ本番用の設定に進む

今回の環境では、ComfyUI本体は `ComfyUI` フォルダに配置し、Python仮想環境は `venv` に作成しました。起動は次のようなバッチファイルで行います。

.\run_cpu.bat

起動すると、通常は次のURLでComfyUIにアクセスします。

http://127.0.0.1:8188

ただし、今回の方針では、最初から画面操作に頼りません。まずはコマンドで診断します。

.\manage_models.bat doctor

ここで `[OK]` が並ぶことを確認します。もしPythonがない、ComfyUI本体がない、モデルフォルダがない、という状態であれば、先にそこを直します。AI生成では、いきなり大きなモデルをダウンロードしたり、重いワークフローを試したりするより、まず環境が正常かどうかを切り分けることが大切です。

モデル管理をコマンド化した理由

AI制作で初心者がつまずきやすいのは、モデルファイルの置き場所です。画像生成モデル、動画用モーションモデル、音楽生成モデル、VAE、CLIP、text encoderなど、モデルの種類によって置く場所が違います。

たとえば、今回の画像生成では、最初にLCM DreamShaper系のファイルを試しました。しかし、そのファイルは通常のComfyUIチェックポイントとしてはCLIP/VAEを含まない形で、`CheckpointLoaderSimple` から使うと失敗しました。エラーとしては、CLIPがない、VAEがない、という問題です。

そこで、画像生成の実用チェック用には `DreamShaper_8_pruned.safetensors` を導入しました。これは通常のSD1.5系チェックポイントとして扱いやすく、画像生成スモークテストに成功しました。

このような経緯があるため、モデル管理を `models.json` と `manage_models.bat` にまとめました。モデルごとに、次の情報を記録しています。

モデルID
種類
状態
配布元
配置先
最低サイズ
注意点

これにより、次のコマンドで一覧確認できます。

.\manage_models.bat list

このコマンドを見るだけで、どのモデルが使えるか、どれがブロック扱いか、どれが未導入かがわかります。手作業でファイルを探し回るより安全です。

画像生成について

画像生成は、今回の環境でも現実的に扱えます。もちろんCPUだけだと遅いですが、短いテストや小さめの画像であれば動作確認は可能です。今回の検証では、DreamShaper 8 prunedを使って、256x256の画像生成に成功しました。

画像生成で重要なのは、モデルが「通常のチェックポイントとして使えるか」です。拡散モデル単体、LoRA、VAE、CLIP、text encoderなどは、それぞれ役割が違います。初心者のうちは、まず「全部入りに近い通常チェックポイント」を使う方が楽です。今回使ったDreamShaper 8 prunedは、その意味で検証用に扱いやすいモデルでした。

画像生成は、プロンプトの工夫で結果が大きく変わります。ユーザーが話していたように、掃除機画像や商品画像のような具体的な画像設定は、ChatGPTなどでプロンプトを作り、それをComfyUIへ渡す方が速い場合があります。画像生成そのものはComfyUI、プロンプト設計はChatGPT、という役割分担はかなり実用的です。

今後さらに使いやすくするなら、動画や音楽と同じように、画像生成も次のような専用コマンドにできます。

.\smoke_image.bat

あるいは、プロンプトを引数で渡して画像を作るコマンドも作れます。

.\generate_image.bat "white cordless vacuum cleaner on a clean floor"

このようにしておくと、ComfyUI画面を開かなくても画像生成を実行できます。

動画生成について

動画生成は、今回もっとも慎重に扱った部分です。理由は、動画生成は画像生成よりはるかに重いからです。

動画生成とは、単純に言えば、画像を何枚も連続して生成し、それらに時間的な一貫性を持たせる処理です。1枚の画像を作るだけでも重いのに、それを何十枚、何百枚、場合によっては何千枚も作る必要があります。さらに、各フレームがバラバラにならないように、動きや見た目をそろえる必要があります。

今回最初に検討したのは、LTX-VideoやStable Video Diffusionなどの本格動画モデルでした。しかし、これらはモデルサイズが大きく、追加のtext encoderやVAEが必要になる場合があります。CPU中心で、ネット回線も不安定な環境では、いきなり大容量モデルを入れても、ダウンロード途中で失敗したり、導入できても実行が現実的でなかったりします。

そこで、今回の動画生成はAnimateDiff系に絞りました。AnimateDiffは、既存の画像生成モデルにモーションモデルを組み合わせて短いアニメーションを作る方式です。今回使った構成は次の通りです。

画像チェックポイント: DreamShaper_8_pruned.safetensors
動画用モーションモデル: mm_sd_v15_v2.ckpt
ComfyUIカスタムノード: ComfyUI-AnimateDiff-Evolved
動画保存補助: ComfyUI-VideoHelperSuite

最終的に、次のコマンドで動画スモークテストを実行できるようにしました。

.\smoke_video.bat

このコマンドは、ComfyUIが起動していなければ自動で起動し、短い動画生成を行い、GIFとして保存し、出力が読み取れるか確認してから、起動したComfyUIを停止します。検証済みの結果は、256x256、4フレームのGIFです。

ここで重要なのは、これは「本格動画制作」ではなく「動画生成パイプラインが動くかの確認」だということです。10分や20分の動画をこの構成で一気に作ることは現実的ではありません。

長尺動画を作りたい場合、通常は次のように考えます。

1. 短い動画クリップを複数作る
2. 良いものだけを選ぶ
3. 動画編集ソフトでつなぐ
4. 音楽、効果音、字幕を後から入れる
5. 必要ならアップスケールや補間を行う

つまり、AI動画生成は「完成動画を一発で出す道具」というより、「素材を作る道具」と考える方が現実的です。

音楽生成について

音楽生成は、今回のCPU環境でもかなり現実的に動きました。使用したのは `facebook/musicgen-small` です。MusicGenは、テキストから音楽を生成するモデルで、Hugging Face Transformersから利用できます。

今回の環境では、ComfyUI標準のStable Audio系ノードも確認しました。ただし、Stable Audio Openはアクセス承認が必要なモデルで、すぐに誰でもダウンロードして使える状態ではありませんでした。そのため、今回はComfyUIのネイティブ音楽ノードではなく、TransformersからMusicGen smallを直接呼び出すCLI方式にしました。

この判断は、初心者向けにはかなり重要です。最初から「ComfyUIの画面内で全部やる」ことにこだわると、モデルの権限、ノードの対応、依存関係、ワークフローの組み方で詰まりやすくなります。まずは、音楽生成の中核部分が動くかをCLIで確認した方が安全です。

今回作った音楽生成コマンドは次の通りです。

.\smoke_music.bat

軽い設定では、短いWAVファイルを生成します。検証済みの結果は、サンプルレート32000HzのWAVファイルです。

もう少し長く生成したい場合は、次のようにします。

.\smoke_music.bat --max-new-tokens 32

ただし、CPU生成では長くするほど時間がかかります。最初は8、16、32程度で試すのが安全です。メモリ32GBがあれば、MusicGen smallの短い生成は十分現実的です。動画よりも音楽の方が、今回のPC環境では扱いやすいと感じました。

ComfyUIを開かずに使えるのか

今回の構成では、動画と音楽はComfyUI画面を開かずにコマンドで実行できます。

動画は次です。

.\smoke_video.bat

音楽は次です。

.\smoke_music.bat

ComfyUI画面を開く必要があるのは、ワークフローを視覚的に調整したいとき、ノード構成を確認したいとき、プロンプトや設定を手動で変えながら試したいときです。その場合は次のコマンドで起動します。

.\run_cpu.bat

そしてブラウザで次を開きます。

http://127.0.0.1:8188

初心者におすすめなのは、最初にGUIを触りすぎないことです。まずは診断コマンド、モデル一覧、スモークテストを実行します。これらが通ってから、必要に応じてComfyUI画面を開く方が、問題の切り分けがしやすくなります。

PCスペックの考え方

AI生成で重要なのは、CPU、メモリ、GPU、VRAM、ストレージ、回線です。特に画像・動画ではGPUとVRAMが非常に重要です。

今回のようにCPU中心でも、画像の小さなテストや短い音楽生成は可能です。メモリ32GBがあれば、MusicGen smallの短い生成やComfyUIの基本起動にはかなり余裕があります。ただし、CPUだけでは処理時間が長くなります。画像1枚でも遅く、動画になるとさらに厳しくなります。

GPUの目安は次のように考えるとわかりやすいです。

GPUなし / CPUのみ:
  小さな検証用。画像や音楽の短いテストは可能。動画はかなり厳しい。

VRAM 8GB:
  ローカルAI入門ライン。画像生成はかなり試せる。動画は軽量モデル、低解像度、短時間なら可能性あり。

VRAM 12GB:
  画像生成はかなり扱いやすい。短い動画生成も現実的になりやすい。

VRAM 16GB:
  ローカルAI制作を本格的に触るなら安心感が出るライン。動画検証の幅も広がる。

VRAM 24GB以上:
  ComfyUIで画像、動画、複数モデル、アップスケールなどを試しやすい。かなり実用的。

VRAM 48GB以上:
  高解像度、長めの動画、重いモデルを扱う業務寄りのライン。

よく「8GBあれば大丈夫ですか」と聞かれますが、答えは「画像生成ならかなり試せるが、動画生成では余裕は少ない」です。AI動画はVRAMを非常に使います。短い動画なら工夫で動く場合がありますが、10分、20分の本格動画をローカルで一発生成する用途には向きません。

長尺動画を作る場合は、ローカルPCだけにこだわらず、クラウドGPUや動画生成サービスを併用した方が現実的です。ローカルでは短い素材やテストを作り、本番の長尺動画は編集ソフトやクラウドを組み合わせるのがよいと思います。

今回の作業で得られた現実的な結論

今回の検証でわかったことは、かなりはっきりしています。

画像生成は、モデルさえ正しく選べばローカルでも動きます。CPUでは遅いですが、検証は可能です。プロンプト作成はChatGPTなどを使うと効率的です。

動画生成は、動作確認レベルなら可能です。AnimateDiffを使って短いGIFを作るところまでは確認できました。しかし、10分、20分の動画生成は現在の環境では現実的ではありません。動画は短い素材を作るものとして考えるべきです。

音楽生成は、今回の環境でも比較的現実的です。MusicGen smallを使い、CPUで短いWAV生成に成功しました。メモリ32GBがあるため、短い音楽素材や効果音の試作には十分使えます。

また、GUIより先にCLIを整備したことも重要でした。`doctor`、`list`、`smoke_video`、`smoke_music` のようなコマンドがあると、環境が壊れていないか、モデルがあるか、生成が通るかを順番に確認できます。これは初心者にとっても、トラブルシューティングにとっても大きな助けになります。

初心者におすすめの運用手順

最初は、次の順番で進めるのがおすすめです。

.\manage_models.bat doctor
.\manage_models.bat list
.\smoke_video.bat
.\smoke_music.bat

この4つが通れば、環境、モデル、動画、音楽の最低限の確認ができます。その後でComfyUIを起動します。

.\run_cpu.bat

ComfyUI画面を開いたら、いきなり複雑なワークフローを作るのではなく、まず既に動いたモデルや設定を少しずつ変えるのが安全です。画像サイズを少し上げる、ステップ数を少し増やす、プロンプトを変える、音楽のトークン数を少し増やす、というように一つずつ変更します。

一度に多くを変えると、失敗したときに原因がわからなくなります。AI制作環境では「小さく試す」「成功したら記録する」「失敗したらそこで止める」がとても大切です。

参考リンク

• ComfyUI公式GitHub: https://github.com/Comfy-Org/ComfyUI

• MusicGen small: https://huggingface.co/facebook/musicgen-small

• ComfyUI-AnimateDiff-Evolved: https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

• ComfyUI-VideoHelperSuite: https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

• AnimateDiff論文: https://arxiv.org/abs/2307.04725

• MusicGen論文: https://arxiv.org/abs/2306.05284

まとめ

今回、Windows PC上にComfyUI環境を作り、画像・動画・音楽生成をローカルで検証しました。
画像生成は、正しいチェックポイントを選べばCPU環境でも動作確認できました。
動画生成は、AnimateDiffで短いGIFを作るところまでは成功しましたが、長尺動画は現在の環境では厳しいです。
音楽生成は、MusicGen smallを使えばCPUと32GBメモリでも短いWAV生成が可能でした。
本格運用では、GPUとVRAMが重要になります。特に動画生成では、最低8GB、できれば12GBから16GB以上、余裕を見るなら24GB以上のVRAMが欲しいです。
一方で、すべてを高性能PCで完結させる必要はありません。ローカルでは短い素材や検証を行い、長尺動画や高品質化はクラウドや編集ソフトを併用するのが現実的です。
初心者は、まずGUIよりも診断コマンドと小さなスモークテストを整えるのがおすすめです。
小さく動かし、成功したら記録し、エラーが出たらそこで止める。この進め方が、ローカルAI環境づくりでは一番安全だと感じました。

#ComfyUI #画像生成AI #動画生成AI #音楽生成AI #ローカルAI #StableDiffusion #AnimateDiff #MusicGen #生成AI #AI制作