Like DALL-E3

「DALL-E3に近い画像生成AIをローカル環境で構築する」コンセプトの元に、ComfyUIのノードを組んでみました。

現時点、DALL-E3はChatGPT有料版及びMicrosoft Copliot無料版で主に使用することが出来ますが、使用利用可能かという点でやや異なります。

ChatGPT有料版、API料金使用におけるDALL-E3は商用利用可能とされていますが、Micosoft Copilot無料版上でDALL-E3を使用した場合にはライセンスの規定明示がなく、商用利用は出来ないとする解釈が主流です。

今回は、商用利用可能なSDXLモデルを使用して、簡単な日本語指示からLLMがプロンプトを作成し、それに基づいて画像生成を行う...という有料版DALL-E3にほぼ近い機能を持つ画像生成AIをComfyUIで作成してみました。

ここまでollamaアプリケーションを利用したノードもいくつか作成してきましたが、

今回もそれを活用し、LLM部分をローカル環境で自己完結できる設計としました。つまり、LLM部分も含めて無料化(PCそのものの代金、電気代は別にしても)する..というコンセプトです。

ワークフローは、以下からダウンロードしてください。

ベースモデルは、Civitaiのこちらのサイトから、「RealVisXL」モデルの最新版をダウンロードしてください。各自のお好みで変更しても構いません。

PCM LoRAに関しては、以下の記事を参照してください。本ワークフローでは、SDXL用の16Steps Normal CFG版を使用しています。

KSamplerのデフォルト設定も、PCM LoRAに最適化しています。

下図のように、「CR Text」に簡単な日本語の指示を入力し、「Queue Prompt」をクリックすれば、ollamaアプリケーション上で構築したLLMがプロンプトを作成し、画像の生成が行われます。

DALL-E3では1プロンプトに対して4枚の画像が生成されますが、このノードでは2枚作成される形にしています。