見出し画像

Anima Tile & Repair ControlNet-LLLiteを使った画像修復

Anima Tile & Repair ControlNet-LLLite(以下、Tile & Repairと省略)という、Anima ControlNet-LLLite用の新しいモデルが公開されました。最近Anima ControlNet-LLLite界隈が盛り上がってますね。

どのようなことができるのか、他の似た手段と何が違うのか、何に使えるのかを調べたり考えたりしたので解説します。


2026/6/24: Tileアップスケールに利用する方法の記事について追記


本記事の対象範囲

Tile & Repairという名のとおり、このモデルにはTileRepairの大きく分けて二つの機能または用途があると思われます。

しかしTile & Repairの配布ページの説明はRepairについてのものばかりで、Tileについてほとんど説明がありません。
Tileについては、Tiled Diffusion + ControlNet TileによるHires.fix(アップスケール+img2img)と同等のことができると思うのですが、確信が持てず検証も面倒なので、本記事ではTileについては対象外にします。


2026/6/24追記:Tile & RepairTileアップスケールに利用する方法についての記事を書きました。

概要

Tile & RepairはCivitaiで配布されています。

以下のように説明されています。

Noob v2プロジェクトの編集済み画像ペアデータの一部を用いてトレーニングされており、アニメ画像の修復、タイル状のディテール強調、および修復スタイルのimg2imgワークフロー向けに設計されています。

https://civitai.com/models/2708551 より抜粋、翻訳

以下の用途が挙げられています。

・ぼやけたアニメ画像を修復する
・低品質または低解像度の画像を修復する
・目立つノイズや圧縮アーティファクトを低減する
・タイル/修復作業工程における局所的なディテールを改善する
・元の構図を維持しつつ、最終的な画像をより鮮明でシャープにする

https://civitai.com/models/2708551/ より抜粋、翻訳

用途について

配布ページに記載された「用途」は、用途というよりも機能に近いので、もう少し実際の使用例を考えてみました。

  • 本、雑誌、ポスターなどからスキャンした画像の修復、品質向上

  • 動画データの1フレームのみ抽出した画像の修復、品質向上

  • SD1.5で生成した画像の品質向上

  • 古いゲーム画像の品質向上

しかし単に解像度が低いだけであれば、ESRGANなどでアップスケールしてimg2imgも組み合わせれば十分品質向上できますし、一部の破損であればimg2imgのインペイントやアウトペイントで修復することもできるので、本当に必要な場合がどれだけあるのか個人的には少し疑問です。

配布ページに掲載されたサンプル画像の修復対象も、問題のない画像を元にしてソフトウェア処理でぼやけさせたり低解像度化した画像です。

https://civitai.com/images/134029896 より

上の図はモデル公開ページのサンプル画像の一つですが、以下の構成になっています。

  • 左: INPUT(degraded)
    「右: GT(target)」をblurと低解像度化でぼやけさせた画像

  • 中: GENERATED
    Tile & Repairを用いて「左: INPUT(degraded)」から修復した画像

  • 右: GT(target)
    問題のない本来の画像

「左: INPUT(degraded)」のような画像を故意に作るのではなく、その画像しかないということがどれほどあるでしょうか?ピンボケ写真ならわかりますが、Tile & Repairはアニメ画像用です。
ここには書きませんが、少しよろしくない使用例しか思いつかないです。

ちなみにこのような修復は、ChatGPT ImagesやGoogle Nano BananaのようなクラウドAIはもちろん、Qwen-Image-Edit (QIE) やFlux.2 Kleinでも可能です。私はFlux.2 Kleinは使ったことがありませんが、QIEでは写真やフォトリアル画像のほうが得意で、アニメやイラストではいかにもQIEという固定的な絵柄に変わってしまいます。

これらと比較すると、Tile & Repairの優位性は以下になると思います。

  • ローカルで実行できる

  • 軽い

  • アニメやイラスト向き

img2imgとの違いについて

前述のように単に解像度が低いだけであればアップスケールとimg2imgで品質向上できますが、ぼやけやノイズをQIEのようなEdit機能を持たない画像生成モデルのimg2imgで修復するのは困難です。

下図は、img2imgとTile & Repairをそれぞれ簡単なフローチャートで表したものです。

```mermaid

%%{init: { 
  'themeVariables': { 'commitLabelFontSize': '18px' }
} }%%

graph LR
    classDef class1 fill:#ffa23e,fill-opacity:0.5
    classDef class2 fill:#99D9EA,fill-opacity:0.5

    A(Imput Image):::class1 --> B[KSampler]

    subgraph img2img [img2img]
        C(Generation Prompt):::class2 --> B
        D(Steps, Denoise, etc.):::class2 --> B
    end

    B --> I(Output Image):::class1
```

ぼやけやノイズのある画像をimg2imgで修復しようとする場合、Denoiseを強くしなければ入力画像から変化しないため修復できません。しかしDenoiseを強くすると目的画像から乖離したりアーティファクトが増え、画像に合うプロンプトを追加するなどしてもイメージどおりに修復するのは困難です。

```mermaid

%%{init: { 
  'themeVariables': { 'commitLabelFontSize': '18px' }
} }%%

graph LR
    classDef class1 fill:#ffa23e,fill-opacity:0.5
    classDef class2 fill:#99D9EA,fill-opacity:0.5

    A(Empty Latent):::class1 --> B[KSampler]
    C(Control Image):::class1 --> D[ControlNet]

    subgraph txt2img [txt2img]
        D--> B
        G(Steps, Denoise, etc.):::class2 --> B
        E(Repair Prompt):::class2 --> D
        F(Strength, Start, End, etc.):::class2 --> D
    end

    B --> I(Output Image):::class1
```

Tile & RepairはControlNet-LLLiteを用いたtxt2img処理ですが、プロンプトは生成画像を表すプロンプトではなく、"restore this anime image with clean details, sharp line art, and natural texture" のような修復を指示する固定的なプロンプトなので悩むことがありません。
また、修復目的に学習されているため、イメージに合った目的画像に修復されやすいです。

使い方

配布ページではkohya-ss/sd-scriptsと、ComfyUIを使う二通りの方法が説明されています。

1. Python inference with the Anima ControlNet-LLLite script
2. ComfyUI workflow through the ControlNet-LLLite_node

https://civitai.com/models/2708551 より

そして私が試したところ、Forge Neoでも使うことができました。
ただしComfyUIでは色が少し変化するという報告もあるらしいので、Forge Neoでも同じことが起きる可能性はあると思います。

Forge NeoでのAnima ControlNet-LLLiteの使い方は、別の記事に書いてありますのでそちらを読んでください。

ControlNet IntegratedのModelにTile & Repairのモデルファイルを指定すればよいです。

プロンプトは以下の4種類が例示されています。

  • restore this anime image with clean details, sharp line art, and natural texture

  • repair the low-quality anime image, reduce blur and compression artifacts, preserve the original composition

  • enhance the image details, clean up artifacts, keep the character structure and scene layout unchanged

  • restore fine anime line art and local details while keeping the original pose, composition, and colors stable

自分で考えてもよいですが結果がどれほど変わるかは分かりません。
それよりも、思ったように修復されない部分について、その部分を表すタグやキャプションを追加したほうが再現される可能性が高くなります。

パラメータは以下が例示されています。

Steps: 50
Resolution: Control画像と同一アスペクト比
Control Weight: 0.8 ~ 1.0

Samplerにもよりますが、Stepsは30程度でも結果はそれほど変わりません。

動作確認

動作確認方法

動作確認として、Civitai配布ページの画像が3つ並んだサンプルから
「左: INPUT(degraded)」のみをトリムした画像を修復対象にしました。

サンプル1 blur=12.01 | jpeg_q=None | orig 1019x1631 | infer -w 832 -h 1280
サンプル2 blur=8.01 | jpeg_q=20 | orig 1527x2747 | infer -w 768 -h 1344

サンプル画像は掲載時点で既に縮小されており、修復対象の解像度は本来よりもさらに小さくなっています。

  • サンプル1: 本来 832x1280 → 動作確認用 319x498

  • サンプル2: 本来 768x1344 → 動作確認用 284x498

かなり厳しい条件のため、とりあえずの動作確認ということで結果は参考程度としてください。

Tile & Repairはsd-scriptsとForge Neoで、そして参考としてQIE-2511でも修復してみました。それぞれ3回ずつ実行してもっとも結果が良かったものを載せています。

  • Tile & Repair (sd-scripts) の主な引数

--prompt "restore this anime image with clean details, sharp line art, and natural texture" \
--infer_steps 50 \
--guidance_scale 3.5 \
--lllite_multiplier 1.0 \

  • Tile & Repair (Forge Neo) の主なパラメータ

Prompt: restore this anime image with clean details, sharp line art, and natural texture
Steps: 50
Sampler: ER SDE Simple
CFG scale: 5
Shift: 3
Seed: 240408237
Model: anima-base-v1.0
RNG: CPU
Control Weight: 0.8
Timestep Range: 0.0 - 0.8

  • QIE-2511 (ComfyUI) の主なパラメータ

Prompt: restore this anime image with clean details, sharp line art, and natural texture
Steps: 40
Sampler: euler simple
CFG: 4.0
Shift: 3.10
Seed: 146635839187888
Model: qwen_image_edit_2511_bf16

サンプル1

サンプル1 修復対象 (319 x 498)
サンプル1 Tile & Repair (sd-scripts)
サンプル1 Tile & Repair (Forge Neo)
サンプル1 QIE-2511

サンプル2

サンプル2 修復対象 (284 x 498)
サンプル2 Tile & Repair (sd-scripts)
サンプル2 Tile & Repair (Forge Neo)
サンプル2 QIE-2511

動作確認のまとめ

いずれの修復対象も元画像からの情報の欠落が大きいため、修復と言ってもかなり創造性が求められ、Seedによって結果が大きく変わりました。

Tile & Repairは、Forge Neoでもsd-scriptsや修復サンプルと同じような結果が得られたので問題なく使えると思います。
QIE-2511はどのSeedでも元画像とは異なるQIEらしい絵柄になりました。Tile & Repairのほうがアニメやイラスト向きということでよさそうです。

使用例

配布ページのサンプル画像は、Tile & Repairが修復しやすい画像を選んでいる可能性があるので、過去記事で生成した画像にサンプルと同様の処理をして修復対象を作って試してみました。

使用例 元画像 (832 x 1216)
使用例 修復対象 (624 x 912)
使用例 Tile & Repair (Forge Neo)

動作確認と同じ修復指示のプロンプトだけでは、何度実行しても雨が再現されないなど満足いく結果が得られませんでした。
そこで元画像を生成した際のプロンプトを追加して修復した画像が下図です。

使用例 Tile & Repair (Forge Neo) 生成プロンプト追加

これなら許容範囲でしょう。

参考として、無料のChatGPT (Images 2.0) と無料のGemini (Nano Banana 2) にも修復させてみました。修復指示プロンプトは同じ、元画像の生成プロンプト追加は無しです。

使用例 ChatGPT (Images 2.0)
使用例 Gemini (Nano Banana 2)

SFW用途で品質を求めるならクラウドAIを使いましょう・・・。

まとめ

Anima Tile & Repair ControlNet-LLLiteというAnima ControlNet-LLLite用の新しいモデルが公開されたので、実際に画像修復を試してみました。

元画像との相性や欠落情報の内容欠落という感じで、クラウドAIの性能とは比べるべくもありませんが、修復指示プロンプトだけでなく元画像の情報を表すプロンプトを追加すれば使えなくもないと感じました。

学習データを大量に増やしたVersion 2を翌週にリリース予定らしいので、それに期待したいと思います。

このような感じで、技術的な内容を分かりやすく基本無料で解説しています。「スキ」「フォロー」「チップ」で応援よろしくお願いします。質問がありましたら遠慮なく「質問箱」へどうぞ。

関連記事

いいなと思ったら応援しよう!