Scaniverseで取得したスプラットでLoRAを作ってみたお話。
Scaniverseでスプラットを集め1万スプラットを達成したどうもプロクラです。
少し落ち着いてきたので、以前から興味のあった生成AIを再開してみることにしました。
スプラットからLoRAを作ってみよう！
ふと思ったんです。
「スプラットを使って、Stable DiffusionのLoRAを作ったら、キャラと小物を一緒に描けるんじゃない？」って。
ただ、LoRAの学習データって、画像ごとにタグをつけるのが面倒なんですよね。
そこで、タグ付けを自動でやってくれるらしい「PixAI」というサービスを使ってみました。
PixAIってなに？
PixAIは、Stable DiffusionのLoRAを簡単に作れるサービスです。
画像をアップロードするだけで、LoRAの学習ができちゃいます。
しかも、クラウド上で動くので、電気代もかからないし、難しい設定も不要で楽ちんです。
ただし、細かい設定はできないので、どこまで思い通りにいくかは試してみないとわかりません。
実際にやってみた！
久しぶりに画像生成をするので、生成AIに詳しいフレンドさんに協力してもらいました。
結果はというと…
LoRAのデータは、正直なところ、使いやすいとは言えませんでした。
でも、スプラットから書き出した画像の質感はしっかり学習されていて、パーツの雰囲気が再現できていました！
そしてフレンドさんがLoRAで生成してくれた画像がこちら！
学んだこと
今回の経験から、いくつかのポイントが見えてきました。
小物のLoRAを作るときは、人や動物と一緒に写っている画像を使うと、使用シーンが学習されやすい。
背景が真っ白な画像だけでなく、周囲の背景も含めた画像を使うと、スケール感が伝わりやすいかも？
プロンプトに「outdoor sink」「park faucet」「public water tap」などのキーワード以外にも細かいパーツ、壁、蛇口、公園などのより具体的なディテールもタグに追加すると精度が上がるかもしれない
フレンドさんからは、「蛇口がついている壁などの細かい要素もプロンプトに入れるといいよ」とアドバイスをもらいました。
いろいろな意見を交換できて、すごく勉強になりました！
今回は水飲み場で試しましたが、次はベンチやゴミ箱など、もっとわかりやすい小物でLoRAを作ってみようと思います。
どんなイラストが生成されるのか、今から楽しみです！
