見出し画像

ComfyUI_CogView4_Wrapperを試す（VRAM 12GB、16GBを推奨）

まゆひらa

Last update 3-20-2025
※ 前回の記事は、不具合のあるバージョンを使用していたので削除しました。現在のバージョンは問題ありません。
※ カスタムノードの初期値における生成時間は、1枚あたり10～14分程度です（RTX 3060/12GB、1536x832、30steps） 。
※ インストールの途中で、dev版のDiffusersパッケージが導入されます。



■ 0. 概要

▼ 0-0. はじめに

　本記事で紹介する「CogView4」は3-3-2025頃に中国のTHUDM（精華大学のData Mining team）が発表した、新しい画像生成AIです。モデルとコードが公開されていて、本記事ではComfyUI上の拡張機能を利用して生成します。

　なお、THUDMとTHUKEG（同大学の Knowledge Engineering Group）により、CogViewシリーズの他にもChatGLM、CogVLM、CogVideoX等がリリースされています。

▼ 0-1. CogView4について

　CogView4が掲載されたURLの記載内容や、これにくわえてCogView3の論文をGoogleのNotebookLMに取り込んで、対話により得られた情報を簡潔に紹介します。

  • ベースにLLMのGLM-4-9Bを使用。モデルは6Bのパラメーター数を持ち、中国語と英語のプロンプトに対応。

  • 出力画像の両辺は512pxから2048pxの間で、32の倍数、ピクセル数は2M（2^21）以下の制限（となっていますが、4M=2048x2048の記述もあります）。

  • 最大トークン数は1024。長文で訓練しているため、LLMにて最適化したプロンプトを推奨。
    参考：github.com/…/CogView4/…/prompt_optimize.py 

　HuggingFaceのSpacesにてお試しができます。
→ huggingface.co/spaces/THUDM-HF-SPACE/CogView4 

　Google Colabでの生成は、下記の記事を参照してください。Diffusersのpipelineを用いているため、コードは非常にシンプルです。

▼ 0-2. 関連情報


■ 1. インストール

▼ 1-1. 補足

　利用する拡張機能（カスタムノード）ではモデル等が自動的にダウンロードされます。

▼ 1-2. 拡張機能のインストール

　パッケージ込みでインストールする場合の、標準的な手順となっています。コマンドプロンプトでカスタムノードのディレクトリに移動してから、下記のコマンドを実行してください。

git clone https://github.com/chflame163/ComfyUI_CogView4_Wrapper 
..\venv\Scripts\activate
pip install -r ComfyUI_CogView4_Wrapper/requirements.txt

　ポータブル版の場合は、コマンドが少し異なります。たぶん合っていると思いますが、動作確認をしていませんのでご了承ください。

git clone https://github.com/chflame163/ComfyUI_CogView4_Wrapper 
..\..\python_embeded\python.exe ..\..\python_embeded\Scripts\pip.exe install -r ComfyUI_CogView4_Wrapper\requirements.txt


■ 2. 生成

▼ 2-1. ワークフローの例

　カスタムノードは一つで、画像の生成まで行ってしまうため、非常に単純な構成となっています。入力も無いため、i2iを行うことはできません。

最小限のワークフロー

　最下部の「cache_model」は、リソースが不十分な場合はどちらを選んでもほとんど変化がありません。動作的には、「True」の場合は生成後にDiffusersのパイプラインを保持、「False」の場合は生成後にオフロードされるので実行のたびにモデルをロード、となっているようです。

▼ 2-2. ワークフローのサンプルと出力

　動作検証を兼ねたワークフローを提供します。実行すると、掲載したのと同じ画像が生成できるはずです。Stepsはデフォルトの30にしてあるので、時間優先の方は20程度に下げてみてください。

▼ 2-2a. サンプル1（アニメ、タグ形式）

　まずはシンプルなプロンプトを使用しました。なお、0-1.に記載したとおり、LLMにて最適化したプロンプトが推奨されています。

anime style, child 1girl, waist up, long wavy blue hair, turquoise sundress, white butterflies, blurred forest and lake background, sunlit skin, flower crown, necklace and earrings, blue sky, white clouds

▼ 2-2b. サンプル2（アニメ、英語）

　Claudeに作り直させたプロンプトを使用しました。そのときの指示は、「下記の画像生成用プロンプトを最適化して、英文のプロンプトとして出力してください。」のみの簡単なものです。

Anime-style close-up portrait of a shy Japanese girl with joyful smile looking directly at viewer. Long flowing silver-gray hair styled with small double chignons tied with red ribbons. She wears a flowing white dress while elegantly playing violin. Shimmering musical notes float around her. Scene set at night under a full moon with stars scattered across sky. Soft moonlight illuminates her figure and the surrounding Japanese silver grass (susuki) with their distinctive bushy seed heads. Distant mountains visible in background. Wind creates gentle movement in her hair and dress.

▼ 2-2c. サンプル3（アニメ、日本語）

　CogView4は中国語と英語のプロンプトに対応していますが、LLMのGLM-4を利用しているため日本語も通じます。ただし、プロンプトの忠実さでは劣ると考えられるため非推奨です。

アニメスタイルの水彩画。ロングヘアーの女の子が、白いドレスとサンダルの姿で微笑んでいます。女の子の隣には黒い猫がいます。周囲に花が咲く自然の断崖で、そのむこうに海と島が見えます。

▼ 2-2d. サンプル4（アニメ、中国語）

　中国語も試しておきました。サンプル3と同様、水彩スタイルは反映されないようです。

日本平面色块动画风格。一位可爱的幼年魔法少女，长着深棕色的长发，穿着粉色和白色的荷叶边服装，上面点缀着缎带和蝴蝶结。她的脸颊微微泛红，眼神羞涩地低垂，露出天真又俏皮的微笑，身体微微向前倾。她手握一根心形宝石魔杖，站在夕阳映照下的热闹游乐园里，周围是五彩缤纷的游乐设施和沐浴在金色暖光中的模糊人群。整体呈现柔和的水彩画风，充满梦幻和怀旧的氛围。

▼ 2-2e. サンプル5（実写風1）

　Claudeに作り直させたプロンプトです。元のプロンプトでは実写風にならなかったので、「下記の画像生成用プロンプトを最適化して、英文のプロンプトとして出力してください。実写のスタイルになるように工夫してください。」と指示しました。形こそ崩れていますが、手の細かい部分まで表現できています。

Ultra-realistic portrait photograph of a young girl in a modern shopping mall, captured with a professional DSLR camera. Natural lighting streams through a grand glass dome ceiling visible in the background. She has medium brown hair styled in neat twin braids, striking gray eyes with natural depth, and a subtle, genuine smile. The girl is captured mid-movement, elegantly extending one hand while gracefully lifting one leg. She's wearing a sky-blue gothic lolita dress with intricate frilled hems and a prominent chest ribbon. Her outfit is completed with a matching headband, delicate white frilled socks, and polished black Mary Jane shoes. Photojournalistic style, shallow depth of field, soft natural lighting, 85mm lens, f/2.8.

▼ 2-2f. サンプル6（実写風2）

　背景や風景の場合は、あまり問題が発生しないと思われます。こちらは、おおよそ意図通りになりました。

a stunning and luxurious bedroom carved into a rocky mountainside seamlessly blending nature with modern design with a plush earth-toned bed textured stone walls circular fireplace massive uniquely shaped window framing snow-capped mountains dense forests

▼ 2-2g. サンプル7（実写風3）

　Sanaと同様に、絵文字が使えることを確認しました。このような挙動を探すのも面白いと思います。

👧 with 🌹 in the ❄️


■ 3. おわりに

▼ 3-1. 使用メモリについて

　ComfyUI_CogView4_Wrapperの場合、VRAM 12GBでは快適な利用ができません。16GB以上が良いでしょう。

▼ 3-2. 所感等

　CogView4はパラメーター数が大きいだけあって、ポテンシャルの高さを感じます。一方、使用リソース量が多めで時間もかかることから、気軽に使えるアーキテクチャではないと感じられます。

　記事の頭にも書いたとおり、RTX 3060/12GB、1536x832、30stepsの環境と設定で、1枚あたり10～14分程度かかります 。共有GPUメモリにはみ出すことも原因の一つとみられます。

　CogView4はVRAMの使用量を抑える方法があり、生成時間も半分近くに減ることを確認しています。これについては別の記事で取り上げる予定です。


■ 4. その他

　私が書いた他の記事は、メニューよりたどってください。

　記事に関することで何かありましたら、Xの@riddi0908までお願いします。

いいなと思ったら応援しよう！