見出し画像

【ComfyUI × LM Studio】Fluxランダム画像よりQwen Image 2512にて実写に近い自然な画像生成 Workflowあり

はじめに
 画像生成するときプロンプトってどうやっていますか

ベテランさんがご親切に公開してくださっている高品質なプロンプト集を参考に試行錯誤して作るのが、あるあるですよね

ある程度続けて作っていると 思い通りに行かなかったり 新たなアイデアがでなくなって困ってたりして疲れていませんか
ここはひとつ気晴らしにゲーム感覚でランダム画像生成ガチャを回して遊んで見ましょう 思いがけない美女が生成されるかもしれませんよ

考え方
 今回は、ComfyUIとLM Studioを連携させ、**「ランダム生成→解析(テキストプロンプト抽出)→(必要なら再生成→解析)→最終生成」**というループで、単純なテキスト入力から理想の美女画像を生成するワークフローを紹介します。

① ランダム生成には、flux.1 schnellを使います。短いプロンプトを指定することでかなり幅広い画像生成してくれて、あらたな発見が望めます。
②「LM Studio Nodes for ComfyUI」を使用し、①で出来た画像からプロンプトを抽出します。
③最終生成には、Qwen image 2512を使って実写に近い自然な画像生成を目指します。

今回は、flux.1ランダム生成--->sd1.5追加のランダム生成--->qwen image 2512と3回生成しています。
なぜか間でsd1.5を挟んだほうが自然な結果になりやすくて・・・すみません意味はわかっていません。
また、sd1.5の生成は短時間で繰り返し可能です。短いプロンプトでは画質が悪いので初回はfluxを挟む必要があります。

--------------------------------------------------------------------------------
前提:マシン環境はGPU NVIDEA GeForce 4060TI 8GBと非力なため使用モデルはGGUF版を使用しております。

1. 準備:ComfyUIとLM Studioの連携

まずは環境構築です。ComfyUI上でLM Studioを動かすために、カスタムノードを導入します。

aiaicreateさんの記事 ComfyUI上でLM studioが使える「LM Studio Nodes for ComfyUI」を参考にさせていただきました

使用ノード: LM Studio Nodes for ComfyUI

◦ GitHubまたはComfyUI Managerからインストール可能です。

LM Studio側の設定:

◦ LM Studioを起動し、Developerタブからローカルサーバーを「Start」させます。

◦ モデルは画像認識(VLM)が可能なものをダウンロードしておきます。今回はテキスト抽出能力が高い「Qwen3-VL-4B」を使用しました。

LM-studio

--------------------------------------------------------------------------------

2. Step 1: 単純なテキストからFluxでベース生成

最初のステップは、シンプルなプロンプトからFluxモデルを使ってベースとなる画像を生成します。

入力: 簡単なテキスト
(今回は: "An 18 years old japanese girl, bust up photo")

モデル: Flux

出力: 画像A

この段階では構図や大まかな雰囲気が決まればOKです。

(Fluxで生成した画像)

Fluxで生成した画像
FLUX生成のworkFlow

FLUX生成のworkFlowはこちら

--------------------------------------------------------------------------------

3.Step 2:追加ランダム生成(この過程はなくてもよいですし、短時間で生成できますので何度も繰り返していいですよ)
① LM Studioで画像をテキスト化(Image to Text)

生成された画像Aを「LM Studio (Image to Text)」ノードに入力し、テキスト情報を抽出します。

Node: LM Studio (Image to Text)

model_key: Qwen3-VL-4B (LM Studioでロードしているモデル名)

system_prompt: "Describe this image in detail for image generation prompt."(画像生成プロンプト用に詳細に描写してください)
 --->ここにはGeminiに参考画像を与えて 
「LMにqwen3-vl-4bを使っています 画像のようなイラストを描かせたいのですが 画像とは別に「system_prompt:AIにどのような役割で振る舞ってほしいかを指示」には どのようなプロンプトを与えればよいでしょうか」
みたいな質問をなげて得られた結果を貼り付けました。

ここでFluxが描いた絵の内容を、AIに詳細なテキストとして書き起こさせます。

Load and resize imageに生成画像された画像をセットする

② SD1.5にて画像再生成

LM Studioが出力したテキストを受け取り、SD1.5ベースのモデルを通して再生成(txt2img)を行います。

入力: 3.①のテキスト

追加プロンプト:なし

モデル: SD1.5系 (detailAsianRealistic_v60X21b.safetensors)

出力: 画像B(構図は継承しつつ、人物が修正された画像)

(SD1.5で画像再生成)

SD1.5再生画像
SD1.5再生成のworkFlow

SD1.5再生成のWorkFlowはこちら

--------------------------------------------------------------------------------


4. Step 3:最終生成
①LM Studio で最終プロンプト生成

修正された画像Bを、再度LM Studioに入力します。

system_prompt:3.①のsystem_promptと同じものを使っています。

Load and resize imageに生成画像された画像をセットする

--------------------------------------------------------------------------------

②最終生成(綺麗な美女へ)

最後に、Step 4で練り上げられたプロンプトを使用して、最終的な画像を生成します。

入力: 4の①のプロンプト+追加プロンプトとしてキャラの個性や画質を表現するためのプロンプトを指定してください。今回は目の下に可愛いホクロなどを追加しています。(ここはGeminiさんに聞いたりしてご自分で考えてみてください)

出力: 最終的な美女画像

このフローを経ることで、最初の単純なテキスト入力からは想像できないほどリッチな画像が出来上がります。

(最終的に生成された画像)  ここは私のマシンでは3分ぐらいかかります。

Qwen image 2512の生成画像
Qwen image 2512のWorkFlow

最終生成のworkFlowはこちら 

--------------------------------------------------------------------------------


まとめ

ComfyUIとLM Studioを組み合わせることで、**「描いた絵をAIが見て、プロンプトを書き直し、さらに描く」**という自律的なループが構築できましす。短時間で生成できるFluxやsd1.5を使ってお気に入りの画像をガチャして
最終Qwen image 2512にて実写に近い自然な画像に仕上げましょう。

みなさんもぜひ、ローカルLLM/VLMを活用した画像生成ワークフローを試してみてください。


この手順で作成した他の画像です。参考にしてください。

Qwen image 2512の生成画像
Qwen image 2512の生成画像
Qwen image 2512の生成画像


Qwen image 2512の生成画像
Qwen image 2512の生成画像
Qwen image 2512の生成画像

以上 お疲れ様でした。

いいなと思ったら応援しよう!