見出し画像

【完全自動化】画像を入れるだけでLoRA学習の準備が完了!ファイル名統一からキャプション作成までを一括処理する最強ワークフロー|ComfyUI

こちらの「VLM Caption」の方が最新版のワークフローとなっておりますので、こちらで掲載しているワークフローを使っていただくのがおすすめです!

どうも皆さん!シャンプーのボトル、最後は水を入れて振ってます、 葉加瀬あい(ハカセアイ) です!

先日公開したこちらの記事で、「AIっぽさを消すリアルな画像を生成しよう!」ということで、FLUX.2 Kleinの基礎をご紹介しました。

そして、「次はLoRAの学習をやっていきましょう!」とお話ししていたんですが…
実はその前に、どうしても皆さんに渡しておきたい 「秘密兵器」 があるんです!

それが、LoRA学習における最大の壁である 「画像へのタグ付け(キャプション作成)」をワンクリックで終わらせる、完全自動化ワークフロー です!

これを使えば、面倒な作業はすべてAIが肩代わりしてくれます!

今回は、最新のローカルLLM(VLM)を使って、AIに自動でキャプションを書かせる方法を解説します。
これ、FLUX.2 Kleinに限らず、他のLoRAを作る際にもめちゃくちゃ役立つ汎用的な技術なんです。
情報がごちゃごちゃにならないように、まずは「前段階の準備」として、この自動キャプション作成に特化して解説していきたいと思います!  

(あんまり大きい声では言えませんが、NSFWとかにも使える無検閲モデルを使っています🐈)

ということで、今回お話しする内容はこんな感じです!

1.  LoRA学習最大のトラップ「過学習」を防ぐ賢いキャプション術
2.  無料ツールで解決!学習用画像を「正方形」に一括トリミング
3.  放り込むだけで完成!全自動キャプション作成ワークフロー

この記事を読めば、皆さんは「素材を集めるだけ」でプロ級の学習データを作れるようになります!

なお、Youtube では note の内容をAIで動画に変換して公開しているので、まだの方は noteのフォローYouTubeのチャンネル登録 もお願いします!

https://www.youtube.com/%40AI-Hakase

また、今回の動画版はレンダリングが終了し次第、こちらにて公開していますので、動画派の方はぜひご覧ください!

それでは、本日もよろしくお願いします!


LoRA学習最大のトラップ「過学習」を防ぐ賢いキャプション術

ということで、冒頭にもちらっとお話ししたんですけど、前回の記事で「FLUX.2 Klein」の凄さをお伝えし、「次はLoRA学習をやります!」と予告しましたよね。

「よし、自分もオリジナルキャラのLoRAを作るぞ!」と意気込んだ方も多いと思いますが…実はそこに、初心者クリエイターを挫折させる 「最大の壁」 が立ち塞がっているんです。

それが、 「数百枚の画像へのタグ付け(キャプション作成)」という苦行 です。

LoRAの学習ツール(AI-Toolkitなど)には、こんな感じの厳しい注意書きがよく書かれています。

テキストファイルは、画像と同じ名前で、拡張子が.txtのものである必要があります。例えばimage2.jpgやimage2.txtです。テキストファイルにはキャプションのみを記載してください。

「画像とテキストのファイル名を完全に一致させる」「拡張子を統一する」…これを手作業でやると、絶対にどこかでミスが起きます。

さらに、1枚1枚の画像を見て「金髪、青い瞳、赤い服…」とテキストを打っていくのは、数時間から数日かかる地獄の作業です。

「引き算のプロンプト」で過学習を防ぐ

そして何より恐ろしいのが、 「過学習」 というトラップです。

例えば、赤い服を着たキャラクターの画像ばかりを集めて、そのままキャプションを付けるとどうなるか?
AIは「このキャラクター=赤い服」と強く学習しすぎてしまい、後からプロンプトで「青い服」と指示しても、頑なに赤い服を着た画像しか出さなくなってしまいます(=着せ替えができないガチガチのLoRAになってしまう)。

これを防ぐためには、 「洋服の特徴はタグに入れないで」 といった、あえて特定の要素を無視させる「引き算のキャプション」を作る必要があります。

今回ご紹介するワークフローは、これら 「ファイル名の一致」「拡張子統一」「引き算のキャプション」を、ComfyUIとローカルVLM(視覚言語モデル:Qwen3-VLなど)を使って、ワンクリックで完全自動化 する究極の時短インフラです!

ユーザーは「学習させたい画像を集めるだけ」。あとはAIが数分〜数十分で、プロ級のデータセットを構築してくれます。  

クラウド(RunPod)特化の爆速環境

もちろんローカル環境でも動きますが、私が推奨している「RunPod」との相性が抜群です。
Jupyter Notebookからのドラッグ&ドロップで一瞬で画像をアップロードでき、

完成したデータは一括Zip保存スクリプトでサクッとダウンロードできます。  

面倒なパス指定など、クラウド特有のつまずきポイントも完全にカバーした設計になっています!


無料ツールで解決!学習用画像を「正方形」に一括トリミング

自動キャプションのワークフローを動かす前に、もう一つだけやっておくべき「ちょっとしたコツ(前準備)」があります。

LoRA学習の素材は、基本的に 「正方形(1024x1024など)」 に揃えておくのがベストプラクティスです。
しかし、スマホで撮った縦長写真や、横長のスクリーンショットを、手作業で1枚ずつ正方形に切り抜くのもまた地獄ですよね…。

そこで、顔認識AI(YOLOなど)を搭載し、自動で「良い感じ」に正方形に一括クロップしてくれる無料の神ツール 「BIRME」 をご紹介します!

https://is.gd/YM9ixK

使い方は超簡単です。

まず、上記のURLにアクセスし、学習させたい画像をドラッグ&ドロップで入れ込みます。

すると、内部の顔認識モデルが働き、キャラクターの顔にフォーカスが合うように自動で正方形のトリミング枠が設定されます。
枠の位置が少しずれている場合は、手動で微調整することも可能です。  

微調整が終わったら、画像のクオリティ(JPEGの100%推奨)などを設定し、画面下の「Save as ZIP」などのボタンを押して保存します。

解凍すると、このように綺麗に正方形にリサイズされた画像フォルダができているはずです。

これで、完璧なデータセットを作るための前準備は完了です!

放り込むだけで完成!全自動キャプション作成ワークフロー

ここからは、この全自動ワークフローの配布とハンズオン解説を行います!

このワークフローの最大のポイントは、 「爆速アップロード」「極限までシンプル化された操作」 です。

パスを指定し、トリガーワードを入力して、画像枚数を確認する…たったの3ステップで、あとは「Run」を押すだけ!出来上がったデータはZIPで一括ダウンロードできるようにしてあります。

これで、LoRA学習の準備は「秒」で終わります!  

今回もローカル環境や

Runpodなどのクラウド環境でも動かせるようにやっていきたいと思います。

ちなみに、初心者の方とか、ComfyUIがちょっと難しそうで自信がないなっていう方のために、こちらでたった1クリックで使い始められる方法を解説しているのでよかったらぜひ参考にしてください!

https://note.com/ai_hakase/n/n9eb2265f98f7

ぜひ、 この究極の時短ワークフローを皆さんの武器にしてください!


ワークフローのダウンロードとセットアップ

ということで、ここからは私のNoteメンバーシップ「 あいらぼ(Ai-Lab) 」の入門者さん限定でやっていきたいと思います!

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください!

それでは実際にこちらのワークフローを説明したりお配りしたりしていこうかと思います!

まずは、この先に表示されるメンバーシップ限定エリアから、 「Jupyterノートブック」「ワークフローファイル」 の2つをダウンロードしてください!

  • ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です!ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてください。

  • 【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v〇〇.ipynb」をセットでダウンロードしてください!

ここから先は

3,688字 / 29画像 / 2ファイル

あいらぼ (Ai-Lab) は、NoteとYouTubeを活用して、皆さんを「生成AIを使いこなす側…

🐾あいらぼ:記事|動画|ComfyUI ワークフロープラン

¥1,980 / 月
あと6人募集中

🐾あいらぼ:記事|動画|WF プラン(質問・サポート付き)

¥4,980 / 月
あと10人募集中

この記事が気に入ったらチップで応援してみませんか?