【BizDev公開日誌 #4】プロンプト改善を自律化したら、改善するたびに品質が落ちていった
我々ノバセルでは広告代理店として広告クリエイティブ制作のAIオペレーションを構築しています。BizDev公開日誌 #4は、そのAIオペレーション開発を担当している渡橋がお届けします。
生成AIの出力品質を上げるために、人間がアウトプットを見て、課題を見つけて、プロンプトを直して、再生成する。このサイクルをひたすら回してい来ました。それだと時間がかかりすぎるので、AIに自律的に改善させてみた結果、「効いた部分」と「むしろ壊れた部分」がはっきり分かれたのです。今回はその実験の話です。
改善サイクルに時間が吸い込まれる
経理や請求処理のように正解がルールで定義できる領域では、AIの品質を上げるレバーは主にデータ品質とルール定義に寄りますが、マーケティングは正解が白黒つきにくい世界です。同じ広告でもクライアントや市場が変われば成果が変わる。だからこそ、AIの出力品質を上げるためにドメインエキスパートの思考プロセスを言語化し、判断に必要な情報を構造的に揃えた上で、プロンプト・ワークフローに落とし込む。この設計と改善のサイクルを日々回しています。
改善の対象は多岐にわたります。訴求軸の選定、コピーライティング、バナー制作、動画コンテ制作・編集。広告制作のオペレーションには、工程ごとにAIが介在し、それぞれにPDCAが走っています。コピーなら「このトーンはターゲットに刺さるか」、動画コンテなら「この構成は最後まで見られるか」、バナーなら「この描写は自然か」。どの工程も、レビューして直す作業が発生します。
問題は、人間がやるには工数がかかりすぎること。生成物を1つずつ確認し、細かいフィードバックを行い、プロンプトを修正する。これを複数並行して回すと、改善サイクルだけで1日が終わります。
私たちが目指しているのは、各領域のAIモジュールを成熟させ、オペレーションに組み込むことで、成果につながるマーケティングを再現性高く高速に回せる仕組みを作ること。その中核となる「AIプロダクトを磨き上げる改善サイクル」を回す上で、人間がボトルネックになっていました。
今回はその中の例として、画像生成のプロンプト改善を題材にお話しします。
そもそもなぜ、人間がボトルネックになっていたのか？「マーケは正解が曖昧な領域だからこそ、ある程度の専門性を持った人間がフィードバックしないと品質が上がらない」。この前提が強すぎました。
改めて整理すると、すべての改善に同じレベルの専門性が必要なわけではないことに気づきました。
課題を4象限に分けて、打ち手を変える
プロンプト改善における課題を、2つの軸で分類してみました。
縦軸: 判断がルール化できるか、文脈に依存するか。 「画像に不要なテキストが混入していたらNG」はルール化できます。一方、「この訴求がターゲットに刺さるか」は、クライアントや市場の文脈を知らないと判断できません。
横軸: 自動化できるか、人間の判断が必要か。 画像の自然さはAIでもチェックできます。一方、ブランドのトーン&マナーとの整合性は、現時点では人間が見るしかありません。
全部を①にしようとするから破綻する。課題ごとに象限を見極めて、打ち手を変える。
ただし、同じ課題でもプロンプト改善のフェーズによって象限が変わることには留意が必要です。最初の要件定義——どんな思考プロセスで、何を作るのか——は④の領域であり、専門家が設計すべきです。一方、精度が一定水準に達した後の「ラストワンマイル」の改善は、①に任せて高速に回す方が効率的です。
象限①の実験 — 自律プロンプト改善
実際に象限①——「判断がルール化でき、自動化可能」な領域で、AIによる自律改善を回してみました。
仕組みはシンプルです。人間が選んだ「正解画像」を用意し、AIがテキストプロンプトのみで同じシーンの画像を生成する。正解画像をAIに参照させて似せるのではなく、あくまでテキスト指示だけでどこまで近づけるかが勝負です。正解と生成画像の差分をAIが分析し、低スコアの観点を特定してプロンプトを自動改善する。改善されたプロンプトで再生成し、再び差分を分析する。このループを複数ラウンド回しました。
結果として、一定の効果は見られました。R1では人物の映り込みやグラスの距離感が不自然でしたが、R3ではそうした違和感が解消され、正解データにの構図に近い、UGC風の描写に近づきました。裏側では"画像生成プロンプト"をつくるプロンプトが最適化されていました。人間の介入ゼロで。
効かなかったこと——改善するほど壊れる矛盾
ただし、実は、ラウンドを重ねるほど品質が落ちる現象も起きてました。
原因は明確で、改善のたびにプロンプトに指示を追加していくと、情報過多でモデルが混乱する。 実際に検証したところ、プロンプトが一定の長さを超えたあたりから品質が劣化し始めました。改善を5ラウンド回した中で、指示を「追加」した回は全て悪化し、逆にプロンプトを「圧縮」した回が最高スコアを記録しています。
もう一つの軸として、指示の「数」も影響していました。「Aはこうして、Bはこうして、Cはこうして」と改善のたびに条件を足していくと、個別の指示を満たす確率は高くても、全てを同時に満たす確率が急速に下がっていく。
これはLLM研究でも確認されている現象です。"Curse of Instructions"という研究（When Instructions Multiply, 2025）では、指示の数が増えるにつれて全指示を満たす確率が**個別成功率の積（指数的減衰）**で落ちることが報告されています。GPT-4oでも、指示が1個なら94%満たせるのに、5個で57%、10個で21%まで下がる。
出典: Oba et al. (2025) "When Instructions Multiply" arXiv:2509.21051 の ManyIFEval 結果を元に作図
プロンプト改善の最大の敵は、「もっと詳しく書けば良くなるはず」という直感だったのです。
では修正を重ねるより、大量に生成して当たりを引く方が良いのでは？
現時点の答えは「両方必要」です。大元のプロンプトの精度が低い状態でガチャを引いても当たりは出ない。自律改善で大元を底上げした上で、本番では複数生成から選ぶ。この二段構えが現実的なアプローチだと考えています。
また、ラウンドを重ねて見つかった知見をどう扱うかも課題です。全てをプロンプトに盛り込めば太る。一方で、せっかくの発見を捨てるのはもったいない。個別の知見を一定の抽象度で共通ルール化し、プロンプトを太らせずに改善を蓄積する方法が次のステップとして必要です。
おまけ——判断の高速化ツールをその場で作ってみた
自律改善とは別に、人間が判断する工程の高速化にも取り組みました。
画像が大量にある中で、1枚ずつ開いてフィードバックを書くのは認知負荷が高い。そこで、Claude Codeを使ってスワイプ型のレビューUIをその場で構築しました。右スワイプで採用、左スワイプで不採用。不採用時には理由を入力でき、その理由が自動でカテゴリ分類されて次の改善に反映されます。
AIに「任せる仕組み」を作ることも重要ですが、人間の判断そのものを速くする仕組みを同時に作れるのは、コードを書けるAIツールならではの恩恵でした。
まとめ
プロンプト改善の課題は「ルール化できるか × 自動化できるか」の4象限で分けて、打ち手を変える
AI自律改善は「効く領域」がある。ただし、改善を重ねるほど壊れる矛盾にも直面する
私たちは今、改善サイクルそのものを設計し直しています。AIに任せる領域を広げるのではなく、AIと人間の境界線を正しく引き直す。プロダクトの品質を落とさずに、磨き上げる速度を上げる。そうして成熟させたAIプロダクトをオペレーションに組み込み、成果の再現性を高める仕組みにつなげていく。それが事業開発にAIでレバレッジをかけるということだと、壊れたプロンプトが教えてくれました。
次に読む
この記事が参考になったら、ぜひ以下もご覧ください。
📚 BizDev公開日誌シリーズは毎週更新中。
マガジンをフォローすると新着通知が届きます。
