見出し画像

今更のようにControl Netの導入③ | SDXLでも使えるようにしたい・・・ | 100日でComfy UIをマスターする備忘録 #79日目

昨日のこのエラー:
ERROR: controlnet file is invalid and does not contain a valid controlnet model.

ダウンロードしたときに,なんかめっちゃインターネット遅くて途中途切れたかな?と思ってやり直したんだけど・・・
そもそも,Comfy UI Managerに"confricts"ってずっと出てたんだよね〜
それが原因かな...まぁなんとかなるだろうとか思ってたけどならないのね.

ありがとうございます。エラーレポートを確認した結果、原因は明確です。
❌ 問題の原因

ControlNetLoaderノードで読み込もうとしているファイル:
kohya_controllllite_xl_depth_anime.safetensors

これは次のエラーを出しています:
error checkpoint does not contain controlnet or t2i adapter data → controlnet file is invalid and does not contain a valid controlnet model

つまりこのファイルには、ControlNetとしてのデータ構造が含まれておらず、通常のLoRAやチェックポイントと間違えて読み込んでいる可能性が高いです。

✅ 解決策
① 正しいControlNetモデルを使用する
あなたのワークフローは SDXL用 + DepthAnythingの前処理 なので、以下のようなモデルが必要です:
✅ SDXL用の ControlNet Depth モデルの例:
controlnet_depth-sdxl-1.0.safetensors
controlnet-depth-sdxl.safetensors
Hugging Face 上の信頼できる提供元例:
👉 https://huggingface.co/lllyasviel/ControlNet-v1-1
または、DepthAnythingと連携するものとして、次もおすすめです:depth_anything_sdxl.safetensors(対応していると明記されているもの)

② ControlNetモデルの配置先を確認
ComfyUIでは、以下のディレクトリに配置する必要があります:
~/Library/Application Support/StabilityMatrix/Models/ControlNet/
この中に .safetensors または .pth のControlNetモデルを入れてください。

💡 補足:名前に惑わされないで!
kohya_controllllite_xl_depth_anime.safetensors は名前的に ControlNet っぽいですが、
実体は LoRA か別形式のモデルかもしれません。中身が .state_dict にControlNet形式を含んでいないためエラーになります。

✅ まとめ
項目 内容 ❌ 現在のファイル ControlNetではない(形式が合っていない) ✅ 対応策 SDXL対応の正式なControlNetモデルを再取得 配置場所 ~/.../Models/ControlNet/
もし推奨のControlNetモデルのリンクが必要なら、用途(例:ポーズ・深度・線画)を教えてもらえればすぐに案内できます!

ほうほうほうほう・・・
Hugging faceを適当に見てダウンロードしちゃったけど意外とミスっていたのか・・・!

そういえば,SDXLではなくてSD1.5に対応したチェックポイントもダウンロードしたんだよな.そっちでやってみるか.

何が反映されたか全くわからないけどできた!(プロンプトが記入されてなかった)
お〜〜〜!SD1.5の使い方を全く理解してないからなんでこんなことになったのか不明だけどとりあえずOK


線画はこれでできるようになった!
生成物は相変わらず謎

ではではいよいよ,SDXLでの生成を成功させて見せようじゃないか〜〜〜〜

deffusers_depth_full

うむ.モデルがあってないのだな〜〜〜

sargezt_xl_depth

お〜〜〜〜!

sargeztはできそうね🙆‍♀️
sargezt_xl_depth_faid_vidit

faid_vidit

sargezt_xl_depth_zeed

zeed

deffusers_depth_mid

sai_xl_depth_128lora

Chat GPTがいうように,kohyaはできないらしい.消しておこう.
次は線画でやってみようかな

diffusers_xl_canny_full

diffusers_pytorch_model

お〜〜〜〜!!!元の画像のラインが反映されている!!!!
が,これはどこまであってるのかわからん

kohya_controllllite_xl_canny→これは100ムリっぽいので不要

sai_xl_canny_128lora

sai_xl_sketch_128lora

sargezt_xl_softedge

お〜!!
プロンプトの内容も反映されているし線画も反映されている
コレが成功か!わーい🙌
step: 20→40
ビーム
ステップ数上げる時はなんか工夫が必要そうだな・・・
LoRA使うか?

SDXL Baseモデル(ちょっとホラー)

うーんコレは合わない

7thXLB

顔どうしたって感じだけど悪くはない

今日の成功組み合わせ

Checkpoint: Anim4gine →ちょっとモデルが重いかな?
control net: sargezt_xl_softedge
Anyline lineart: (多分)どれでも
→control netが制御したい内容とCheckpointと合っていれば大体いい感じにできる


いいなと思ったら応援しよう!

しとな 応援していただいたらめちゃくちゃ喜びます!マイペース&自分の議事録のようなnoteですが...全力で喜びます!