o1 試案：AI 生成ストーリーを紙芝居やマンガに展開
Gemini 2.0 Flash (Image Generation) Experimental の画像編集能力は、リファレンス画像から様々なシーンが生成できる可能性を感じさせます。以前 o1 で検討した 1 枚絵を切り出すまでの試案を、手直しして掲載します。
※ 現状でも、絵本生成は簡単にできます。これに音声合成を組み合わせれば、紙芝居動画はすぐ作れるでしょう。
はじめに
近年、AIによる小説の自動生成が取り沙汰されるようになり、それをさらにビジュアル化（マンガ化・アニメ化）する流れも期待されています。ただ、実際にどういった工程で制作していくかは、まだ実用的な検証が少ない段階です。本稿では、こうした「ストーリーの自動生成からシーンを切り出し、紙芝居形式の1枚絵を作る」までのプロセスが「理論上はどのように可能か」を試案としてまとめました。あくまで未検証のアイデアのため、手法・精度などには実務レベルの裏付けがない点をご了承ください。
1. AIが生成したストーリーを分析・整理する
1-1. ストーリーの自動生成
大規模言語モデル（LLM）や特化モデルを使って、小説やシナリオをテキスト出力するところから始まると考えられます。長編か短編か、ジャンルはファンタジーかSFかなどに応じて、モデル選択やプロンプトの工夫が求められるでしょう。
1-2. 重要シーンを洗い出す
物語の全シーンをビジュアル化するのは大変なので、顕著に盛り上がる場面や重要な転機となるイベントを数カ所ピックアップすることが想定されます。同じAIを使って「このストーリーでインパクトのある場面はどこか？」と尋ね、該当箇所をリスト化できるかもしれません。
2. キャラクターデザインを決める試案
2-1. まずは1枚絵で設定を確立
小説やシナリオにはキャラクター設定が事細かに書かれていない場合も多く、AIが思い通りのビジュアルを生成できない懸念があります。そのため、最初に「キャラクターデザイン画を1枚作成し、そこからブレずに展開していく」方法が考えられます。
2-2. 専用学習モデルやLoRAを使わない場合
キャラクターの同一性少ないコストでキャラデザを調整するため、LoRAやDreamBoothを使わず、GeminiやGrokやChatGPTの画像編集能力を活用する案が考えられます。各キャラクターについて、「初期設定画 → i2iで別ポーズを生成」していくことで、ビジュアルの連続性を保てるかもしれません。
※ Gemini 2.0 Flash (Image Generation) Experimental では、この作業が行えます。必ずしも狙ったポーズが出せるとは限りませんが、スクリプトでガチャを自動化できます。詳細は以下の記事にまとめました。
3. 重要シーンの1枚絵化
3-1. シーンのテキスト要約をもとにAI生成
あらかじめピックアップした重要シーンそれぞれについて、場所や登場キャラ、シーンの雰囲気などをテキスト要約し、AIイラストモデルへプロンプトとして与えます。
キャラの服装や髪型は「設定画を強く参照」させる。
場所の描写は「夜の城下町」「森の中」などなるべく具体的に書く。
3-2. 背景とキャラを別々に生成して合成
試案として、背景はtxt2imgで生成し、キャラはi2iでポーズ差分を作って後で合成する方がクオリティを担保しやすい可能性があります。背景込みで一度に生成すると、画面全体の整合性は出る一方で、キャラの顔や服が崩れやすい場合があるためです。
その手法についてまとめられている記事です。
※ Gemini では、白背景の画像に対して背景を描き込むように指示することが可能です。ツールを組み合わせなくても使えるため手軽です。
4. 紙芝居形式でまとめる
重要シーンごとに完成した1枚絵を順番に並べ、紙芝居的にストーリーを追えるようにする。
吹き出しやナレーション用テキストを適宜追加すれば、簡易的なマンガ形式に落とし込める可能性がある。
将来的には、各シーンをアニメの絵コンテへ発展させるアイデアも考えられる。
5. 一貫性や精度向上のために考えられる要素
リファレンス管理
キャラ設定・シード値・プロンプトを一元管理して使い回す案。
顔・髪型の固定
特に顔を崩さないための手法（ControlNetやReference画像）を併用する。
レタッチとのハイブリッド
AI生成結果を完全にそのまま使うのではなく、手動で最終修正を施すことが必要になる可能性がある。
複数キャラ同時生成の検討
1キャラずつ生成して合成するか、シーンの全員を同時に描かせるか。どちらが自然かは未検証で判断材料が少ない状態。
6. まとめと今後の可能性
ここまで述べた工程はあくまで「こうしたことが可能になるのではないか」という未検証の試案です。AIによるストーリーの自動生成と、そのストーリーを紙芝居やマンガ形式に落とし込むフローには、下記のような課題や将来の発展の可能性が含まれると考えられます。
課題: キャラの一貫性・背景の再現性・物語の論理的整合性・作業効率など。
可能性: 物語作成のスピードアップ、イラストとテキストの融合表現の多様化、最終的にアニメ化を視野に入れたビジュアル展開。
※ 当初、絵本のような一枚絵から別途コマ割りをしてマンガ化する工程を想定していましたが、コマ割りは ChatGPT の画像生成機能である程度は可能になりました。こうなるのは予想より早かったです。
まだ実際に検証されていない部分が多いため、試行錯誤しながら精度や統一感を高める必要があります。しかし、このような制作フローは将来的にはクリエイティブの現場で活かされるかもしれません。AIを文章の生成だけでなく視覚表現まで統合する「クリエイティブの一気通貫化」が、今後ますます注目されていくでしょう。
