見出し画像

【LoRA学習】【Midjourney】 LoRA学習した画像を微調整してみよう。その1

LoRA画像をいよいよ微調整しながら使っていきます❤︎
ドキドキ、ワクワクです。

タイトル画像はAshの初LoRA画像です。
画像生成でブルーポイントのエキゾチックショートヘアがどのサイトでもなかなか出てこないので苦労してました。
ブルーリンクスポイント(縞のあるグレーのポイント柄)になりがちで、Ashとは違う猫になっていました。
またはChappieのシールポイントに引きづられてブラウンで出てくるなど・・・・Ashの色の再現のためにLoRA学習をしようと思ったぐらいです。
目の青さも大きさも再現してくれてます。
あとはいろんなポーズや表情をつけれるようになったら、大満足です★

Stable Matrixをダウンロードしまして、「Stable Diffusion webiUI Forge」版のパッケージを選びました。

⭐️重要⭐️私の作ったLoRAはSD1.5になります。
使う前にCheck Pointにモデルが出てこない、ということがありました。
これが私のダウンロードした「Stable Diffusion webiUI Forge」版のパッケージがSDXLバージョンだったことに起因しておりました。

原因は、①か②のことが多いようです。
①モデルファイル(.safetensorsや.ckpt)が所定のフォルダに入っていないか認識されていない
②Stable Diffusion checkpoint で選択した学習モデルとLora ディレクトリにある追加学習モデルのバージョンやフォーマットが一致していないと Lora タブ内に表示されない

ということで、Chat GPTに相談。

CheckpointをLoRAに合わせるという方法を教えてもらいました。

HuggingFaceから探して自分のパソコンの~/Library/Application Support/StabilityMatrix/models/ にstable-diffusionのフォルダを作り、v1-5-pruned.safetensorsのモデルを置く、それをチェックポイントに出てくるようにします。(ckpt ではなく .safetensors がオススメ)

無事、バージョンをあわせることができました。

LoRA学習において、ファイル名、ファイルの保管場所、重要なので意識しながら進めていくと、エラー回避になります。

次回はSampling MethodやSchedule typeの研究をお知らせします。

うちの可愛い本物のAsh & Chappieをのせておきます。
⭐️ご紹介します。可愛いうちの仔、Ash & Chappie です⭐️

REAL Ash & Chappie
LoRA学習したAI ASH
LoRA学習したAI Chappie


最初に作った生成画像のAsh&Chappie
なんとなくな雰囲気は似てるのですが、
色が違うので(私にとっては)違う猫な印象です。
呪文はいつも*ブルーポイント、シールポイント*の指示。
でも縞が入ってしまいます。
ブルーリンクスポイントになっているのです( ;  ; )

ここからは、LoRAを使ってオリジナルキャラクター作成ができたので、AshとChappieとの世界観を広げつつ、占いサイト&猫の小物ハンドメイドショップを構築していきます。


いいなと思ったら応援しよう!

この記事が参加している募集