見出し画像

ComfyUIで高解像度スケールアップ! Tiled DiffusionとControlNet Tile


書いた理由

img2imgでスケールアップをしたくて、Tiled Diffusionに辿り着きました。
この時、Tiled VAEという用語が出てきて混乱したので整理しました。👉こちら
そしたら、今度はControlNet Tileという用語も出て来ました。ControlNet全般についての記事は検索すると沢山出て来るのですが、ControlNet Tileというものが今一つ掴めないので整理します。

結論から入ると

  • VRAMを節約したい・GPUが弱い → Tiled Diffusion

  • Upscale後の品質改善・構造保持 → ControlNet Tile

  • 両方併用すれば高品質&高効率のバランスが取れる

Tiled Diffusion と Tiled VAE の比較

Tiled Diffusion とは?

  • 画像を生成する際に、U-Netで処理する領域(latent空間)をタイルに分割して、各タイルを個別に生成・結合します。

  • 拡大というより「大きい画像でも小さい部分ごとに生成してVRAMを節約する」ための工夫です。

  • 「全体の構造が失われる」リスクがあるため、Tile ControlNetで構造保持を補助することが多い。

ControlNet Tile とは?

  • 既存の画像(下絵、Upscale後の粗画像)を「模様・形の保持ガイド」として使う

  • 他のControlNet(Depth、Lineart)と組み合わせて使うとより効果的

  • 拡大後にディテールが破綻するのを補修してくれる


いいなと思ったら応援しよう!