見出し画像

プロンプト改善を自動化しても伸びない理由｜鍵は「評価データ10件の選び方」だった【最新論文SESS】

みつ【AIクリエイター】AI×note運用

ChatGPTでプロンプト改善を回している人ほど、次にぶつかるのが「何を基準に評価するか」という壁です。

プロンプトを直しても、なぜか本番だけ弱い。
少数の評価データで回すほど、“良くなった気”だけが増えていく。
そのズレ、改善文ではなく採点に使う10件から始まっているのかもしれません。

前回の記事では、タスク情報なし・追加学習なしでも、少数の例からプロンプトを自動抽出できるという最新研究を扱いました。
ただ、実務ではその次で止まります。では、改善の良し悪しを決める評価データは、どう選べばいいのか。今回は、その“次の一手”を扱います。

前回記事👇👇👇


2026年1月7日に公開された arXiv プレプリント SESS（Submodular Evaluation Subset Selection in Automatic Prompt Optimization） は、いまの自動プロンプト最適化で見落とされがちな一点を、かなり真正面から扱っています。論点はシンプルです。プロンプトをどう直すかだけではなく、どの少数データでその良し悪しを採点するかが、改善の方向そのものを決める、ということです。そもそも自動プロンプト最適化（APO）は、候補プロンプトを作り、評価し、その結果を次の改善に回す循環で成り立っています。だから評価用データの偏りは、そのまま改善の偏りになります。(arXiv)

先にひとつだけ誤解を避けます。SESS論文そのものは「10件固定」を検証したわけではありません。 実験では、GSM8K と MATH に対して 75件（1%）と 262件（3.5%）、GPQA-Diamond に対して 20件（10%）と 40件（20%）の予算で比較しています。この記事では、その発想を個人開発や現場運用向けに縮めて、**「まず10件しか選べないなら、どう選ぶべきか」**に翻訳していきます。(arXiv)

この記事を読むメリットは3つあります。

  1. なぜプロンプト改善が「手応えのわりに伸びない」のか、原因を言語化できます。

  2. 最新論文SESSの要点を、数式を追わずに実務レベルで理解できます。

  3. 今日から使える「評価データ10件の選び方」を、そのまま自分の運用に移せます。

プロンプト改善を自動化したい人ほど、改善アルゴリズムやメタプロンプトに目が向きがちです。ですが次の一手は、そこではないかもしれません。採点に使う小さな評価セットを、先に設計すること。 ここが今回の本題です。

自己紹介はこちら👇👇

なぜ「評価データの選び方」で結果が変わるのか

自動プロンプト最適化では、候補プロンプトをいくつも出し、その都度スコアを見て、次の改善案を作ります。SESSが指摘するのは、最適化器が見ている世界は“評価データの部分集合”にすぎないという点です。全部を採点できないから少数サンプルで回す。その少数サンプルが偏っていれば、最適化器は偏ったフィードバックを真実だと信じてしまいます。結果として、特定の言い回しにだけ強いプロンプトや、一部の簡単な問題だけに適応したプロンプトが育ちやすくなります。(arXiv)

要するに、プロンプト改善は「文章を書く問題」である前に、「何を基準に採点するか」の問題でもあります。ここが雑だと、改善のループ全体がノイズを吸い込みます。ランダムに10件取る運用が悪いとは言いません。でも、たまたま似た事例ばかり集まれば、その10件の中では強く見えるのに、本番では崩れる。多くの人が感じる「改善したはずなのに再現しない」は、ここから起きます。(arXiv)

SESSの核心は「代表性」と「難しさ」を同時に見ること

SESSは、評価データ選びの目的を大きく2つに整理しています。
・ 全体をちゃんと映す代表性
・ プロンプトの差が出やすい難しさ

この2つです。論文では、その考え方から3系統の選び方を用意しています。ひとつは、データ全体の多様性をなるべくカバーする 代表型。ひとつは、モデルが自信を持てない例を優先する 低信頼型。そして両者を混ぜた 難しさ重み付き代表型 です。さらにSESSは、この選択を「なんとなくの経験則」ではなく、劣モジュラ最適化として定式化し、貪欲法でも理論保証付きで近似できると示しています。(arXiv)

難しく聞こえるかもしれませんが、直感はかなり実務的です。
「似たような事例ばかり入れるな」
「簡単すぎる事例だけで満足するな」
「でも難問だけ集めて全体像を失うな」
この3つを、数学の形にしてくれたのがSESSだと思えば十分です。私はここがすごく重要だと感じました。なぜなら、プロンプト改善の失敗はたいてい**“良い答えを出す方法”の欠如ではなく、“何を良いと見なすか”の雑さ**から始まるからです。(arXiv)

実験結果が示したのは「少なくても、選び方が良ければ勝てる」という事実

SESSの評価では、全体平均で SESS-vlc が 67.6 と最も高く、ランダム選択の 66.0、先行法IPOMPの 66.1 を上回りました。さらに小予算条件の平均では、SESS-wrep が 67.8 で、ランダムの 65.7、IPOMPの 65.4 より高い結果でした。つまり、評価データの予算が小さいほど、選び方の差が効いているわけです。(arXiv)

特に印象的なのは GPQA-Diamond です。SESS-wrep は 10%の小さな評価セット（20問）で 37.4% を出し、いくつかの 20% 条件に匹敵、あるいは上回る結果を示しました。論文自身も、予算を増やすだけではなく、質の高い小評価セットを作る方が信号対雑音比を改善すると解釈しています。これは現場感覚ともかなり一致します。10件しか見られないなら、10件を増やす前に、その10件が“何を代表しているか”を疑え、という話です。(arXiv)

ただし、ここで過信は禁物です。SESSの著者たちも、今回の検証は OPRO という1つの最適化パイプライン、かつ 1つの optimizer LLM と scorer LLM に主に依存しており、他設定でも同じだけ効くかは今後の検証が必要だと明記しています。つまり、万能薬ではありません。でも、「評価セット選びは実装の細部ではない」という主張には十分な説得力があります。(arXiv)

では、実務で「10件」はどう選ぶべきか

ここからは、論文の発想を10件運用に落とした実践版です。論文の完全再現ではなく、SESSの考え方を個人開発・業務改善向けに翻訳したやり方だと思ってください。土台にあるのは、さきほどの 代表性 × 難しさ です。(arXiv)

私なら、10件をこう配ります。

  1. 典型例 4件
    そのタスクで最もよくある入力を入れます。ここが弱いと、そもそも平均点が伸びません。

  2. 境界例 2件
    似ているけれど条件が少し違うもの、曖昧なものを入れます。プロンプトの解像度が低いと、ここで崩れます。

  3. 難例 2件
    モデルが迷いやすい、長い、例外処理が必要、判断基準がぶれやすい。そういう“差が出る問題”を入れます。

  4. 最重要ケース 1件
    本番で絶対に落としたくないケースです。売上、信頼、安全性に直結するものを置きます。

  5. 失敗検知用 1件
    一見うまく見えるけれど、条件違反や余計な出力が出やすいケースです。プロンプトの副作用を見張る役です。

この配分の意図は明確です。典型例だけだと甘くなり、難例だけだと偏る。 だから、全体を映す鏡としての10件と、改善の差が出る試金石としての10件を、同時に作るのです。SESSでいう代表型と低信頼型、そしてその混合型を、人間が手で運用できる形にしたものです。(arXiv)

もうひとつ大事なのは、1回の改善サイクルでは評価10件をむやみに入れ替えないことです。SESSも基本は静的選択で、最適化前に一度選んだ subset を固定して使っています。毎回採点基準を変えると、プロンプトが良くなったのか、物差しが変わっただけなのか分からなくなるからです。改善の途中では固定し、数ラウンド回してから見直す。この順番が安定します。(arXiv)

プロンプト改善を自動化する次の一手

これからのプロンプト改善の自動化は、「もっと賢い改善プロンプトを作る競争」だけでは足りません。むしろ先に来るのは、どの評価データを小さく、鋭く持つかの設計です。SESSはそこを、経験則ではなく最適化の対象として前に出しました。2025年のIPOMPも同じ問題意識を持っていて、ランダム評価セットの弱さに対し、意味的な多様性と実際のモデル性能を使って評価データを改善しています。流れとして見ても、評価データ選びは今後ますます主戦場になるはずです。(arXiv)

私の感覚では、ここはnote運用にも少し似ています。記事タイトルや導入を何度も改善しても、見ている指標やサンプルが偏っていれば、伸びる方向を読み違えます。プロンプト改善も同じです。改善文をいじる前に、採点セットを整える。 この順番に変えるだけで、精度だけでなく、改善の再現性まで変わってきます。

結論です。
プロンプト改善を自動化する次の一手は、改善プロンプトの工夫より前に、評価データの設計を昇格させることです。
10件しか使えないなら、なおさら雑に選ばない。
その10件は、単なる確認用サンプルではなく、あなたの改善ループそのものを導く「小さな教師データ」です。

参考資料

・ SESS: Submodular Evaluation Subset Selection in Automatic Prompt Optimization（2026年1月7日公開の arXiv プレプリント）(arXiv)
・ IPOMP: Model Performance-Guided Evaluation Data Selection for Effective Prompt Optimization（ACL 2025 Findings）(arXiv)
・ A Systematic Survey of Automatic Prompt Optimization Techniques（APO全体像の整理に有用）(arXiv)

次に読む記事👇👇👇


いいなと思ったら応援しよう！