役割プロンプト、入れるな？12条件で分かった意外な結論
前回記事（役割プロンプト8条件実験）はこちら → https://note.com/paluck/n/nfdfb7b0ed8b9
その「役割プロンプト」、逆効果かもしれない
「あなたはプロのライターです」と書いてからプロンプトを送る。
それ、逆に精度を下げている可能性があります。
役割を入れると良くなる——そう言われてきたし、実際に効く場面もある。でも毎回ではない。むしろ、条件によっては明確に性能が落ちる。
今回12条件で検証した結果、特に面白かったのは「短い役割（Min）が長い役割（Full）より低いスコアを出した」という逆転現象だ。
この記事では、その判断基準をデータで整理した。
この記事を読むと：
「とりあえず役割を入れる」を卒業できる
タスクごとの最適設計が一発で分かる
無駄な試行錯誤が減り、業務の安定性が上がる
結論：役割プロンプトはタスクで使い分ける
見出し生成・アイデア出しなど発散系タスク
役割は入れない。コンテキスト（対象読者・目的・トーン）だけ入れる。
要約・整理・抽出など収束系タスク
役割はシンプルなものを1行だけ入れる。コンテキストも併用する。
迷ったとき
まずコンテキストを入れる→ダメなら役割Minを足す→それでもダメなら外す。この順番が今回の結果から導いた最短ルートです。
これらが今回の実験から導いた実務への示唆です。以下はその根拠です。
注意点・免責
使用モデルはGPT-5.3 Instant（2025年時点）。モデルや言語が変わると結果が変わる可能性がある。実験結果は使うモデルで自分でも確かめることを推奨する。
試行は条件ごと5回。統計的に十分な数ではなく、傾向の確認に留まる
採点者は実験者本人のみ。主観スコアにはバイアスが含まれる可能性がある
役割はタスクごとに内容を変えており、「役割の強さ」だけでなく「タスクとの適合度」も含んだ結果である
本実験の主な比較軸は形式制約の遵守率であり、主観スコアは補助指標として扱う
役割は効くのか？タスク別で見た実験結果
なぜ「役割を入れろ」が広まったのか
役割プロンプトへの注目が高まったのは2023年前半のことだ。
ExpertPrompting（Xu et al., 2023年5月）が「専門家として答えさせると回答品質が大幅に上がる」と報告し、同年8月にはKong et al.が「数学の先生として解かせると推論精度が向上する」という結果を発表した。これらの知見がXやnoteで拡散され、「役割を入れると良い」という認識が広まった。
ただし当時の実験が検証していたのは、トーン・文体・推論の質といったアライメント系タスクが中心だった。「語尾を体言止めで統一する」「300字以内で要約する」といった形式制約の遵守率は、誰も測っていなかった。
同年11月以降、Zheng et al.やKim et al.が「事実QAや推論タスクでは役割が逆効果になるケースがある」と報告し始め、2026年にはフー氏ら（南カリフォルニア大学、arXiv:2603.18507）が「役割の効果はタスク依存・モデル依存で整理できる」という統合的な知見を発表した。
今回の実験はこの流れを踏まえ、日本語環境・大規模商用モデル・個人ユースケースで何が起きるかを検証したものだ。
ここで重要な整理を一つ入れておく。
これまでの研究は「どれだけ正しく答えるか（精度）」を見ていた。
今回の実験は「どれだけ指示通りに動くか（制御）」を見ている。
先行研究が測ったのは推論の正確さや回答の質だ。
今回の実験で測ったのは「語尾を統一できるか」「字数を守れるか」という形式制約の遵守率。測っているものが違う。
だから結果が「矛盾」ではなく「別軸」として整理できる。
AIにとって"賢いこと"と"言うことを聞くこと"は別問題だった、ということでもある。
実験設計の概要
変数は3つ。
役割（なし／Min／Full）
タスク（見出し生成／要約）
コンテキスト（あり／なし）。
これを組み合わせた12条件で実施した。
前回行った継続チャットでの調査はスコアが落ちることが予想されたため行わなかった。
役割の粒度
$$
\begin{array}{|l|l|} \hline \textbf{粒度} & \textbf{内容（見出し用）} \cr \hline \text{なし} & \text{役割プロンプトなし} \cr \hline \text{Min} & \text{あなたは記事の見出し設計が得意なライターです。} \cr \hline \text{Full} & \text{あなたは日本語メディアの記事編集と見出し設計に深い専門知識を持つエキスパートです。（138字）} \cr \hline \end{array}
$$
タスクは「見出し生成（発散系）」と「要約（収束系）」の2種類。
評価軸は形式制約の遵守率（語尾・字数・内容の包含・忠実性）と主観スコアで構成し、15点満点に正規化した。
実験結果（12条件）
全条件スコア一覧
$$
\begin{array}{|c|c|c|c|c|} \hline \textbf{条件} & \textbf{役割} & \textbf{タスク} & \textbf{CTX} & \textbf{スコア（/15）} \cr \hline \text{A} & \text{なし} & \text{見出し} & \text{なし} & 14.0 \cr \hline \text{B} & \text{なし} & \text{見出し} & \text{あり} & 14.5 \cr \hline \text{I} & \text{Min} & \text{見出し} & \text{なし} & 10.0 \cr \hline \text{J} & \text{Min} & \text{見出し} & \text{あり} & 13.4 \cr \hline \text{C} & \text{Full} & \text{見出し} & \text{なし} & 11.0 \cr \hline \text{D} & \text{Full} & \text{見出し} & \text{あり} & 13.2 \cr \hline \text{E} & \text{なし} & \text{要約} & \text{なし} & 13.5 \cr \hline \text{F} & \text{なし} & \text{要約} & \text{あり} & 14.0 \cr \hline \text{K} & \text{Min} & \text{要約} & \text{なし} & 14.0 \cr \hline \text{L} & \text{Min} & \text{要約} & \text{あり} & 14.0 \cr \hline \text{G} & \text{Full} & \text{要約} & \text{なし} & 12.4 \cr \hline \text{H} & \text{Full} & \text{要約} & \text{あり} & 14.0 \cr \hline \end{array}
$$
4つの発見
発見1：見出し生成では役割を入れると下がる
役割なし（14.0）に対してMin（10.0）、Full（11.0）はいずれも低下した。特にMinがFullより低いという逆転現象が出た。先行研究では「短い役割ほどダメージが少ない」とされているが、今回は逆だった。
発見2：要約では役割Minが安定する
役割なし（13.5）に対してMin（14.0）、Full・CTXなし（12.4）。
収束系タスクでは役割Minが安定剤として機能し、Fullのみ文字数制御が崩れた。
発見3：コンテキストは全条件で改善
CTXを入れると全12条件でスコアが上昇した。
特にMin・CTXなし（10.0）からMin・CTXあり（13.4）への+3.4が最大の改善幅だった。役割Fullのダメージをコンテキストが部分的に緩和する効果も確認できた。
発見4：タスクによって役割の効き方が逆転する
見出し生成（発散系）では役割なしが最強。
要約（収束系）では役割Minが安定。同じ「役割を入れる」という操作がタスクの種類によって助けにも妨げにもなる。
なぜ逆転するのか：認知負荷という視点
そもそも役割はなぜ入れられたのか
ExpertPromptingもKong et al.も、出発点は同じだ。
「LLMには役割を与えると振る舞いが変わる能力がある」という観察から、「その能力を使えば出力品質を上げられる」と考えた。
役割でモデルの学習パターンを呼び出そうとした、という発想だ。
ここに一つの構造的な問題がある。役割とコンテキストを比べると：
役割は「こういう人ならわかるだろう」という間接的な誘導。何をしてほしいかはモデルの推論に委ねる
コンテキストは「何のために・誰に向けて・どう出すか」を直接書く明示的な制約
役割はモデルが学習しているパターンを呼び出す操作だ。
そのパターンに「語尾を体言止めで統一する」「300字以内で収める」という形式制約は含まれていない。だから役割を入れても形式制約への追従は改善しない——むしろ余計な文脈としてアテンションを消費する。
認知負荷仮説
役割プロンプトは追加の文脈としてモデルのアテンションを消費する。
発散系タスクでは、役割が本来の指示への追従を妨げるノイズとして機能した可能性がある。
収束系タスクでは、役割が「何を優先して抽出するか」の判断基準として機能し、安定性が上がったと考えられる。
モデルの指示追従能力が低かった時代、役割という強い文脈を与えることで出力が収束しやすかった可能性がある。
しかし指示追従能力が上がった今、「何をしてほしいか」を直接書くコンテキストの方が形式制約には効く。
役割プロンプトは「モデルが今より不安定だった時代の知恵」だった可能性がある。
MinがFullより低かった点については、「役割として弱く、かつノイズとしては残る」という中途半端な状態になった可能性がある。
役割なしなら余計な文脈がない。
Fullなら役割の存在感が強く出力のトーンを支配する。
Minはその中間で、どちらの効果も中途半端に出た、という解釈が成立する。
いずれも仮説であり、今回の実験規模で断定はできない。
先行研究との対応と実験設計の差違
まず主張レベルの対応を整理する。
$$
\begin{array}{|l|l|l|l|} \hline \textbf{先行研究} & \textbf{何を測ったか} & \textbf{主張} & \textbf{今回との関係} \cr \hline \text{ExpertPrompting（Xu 2023）} & \text{回答の質（GPT-4主観）} & \text{役割で品質が上がる} & \text{評価軸が違う。形式制約では逆} \cr \hline \text{Kong et al.（2023）} & \text{推論の正答率} & \text{推論系で役割が効く} & \text{収束系でもFullは制御崩れあり} \cr \hline \text{Zheng et al.（2023）} & \text{事実QAの正答率} & \text{役割は効かない} & \text{方向性一致} \cr \hline \text{Kim et al.（2024）} & \text{推論の正答率} & \text{役割が逆効果になるケースあり} & \text{Min逆転現象と一致} \cr \hline \text{フー氏ら（2026）} & \text{生成品質・正答率・安全性} & \text{タスク依存・モデル依存} & \text{部分一致。形式制約系は未検証} \cr \hline \end{array}
$$
次に実験条件の差違を5本まとめて示す。
既存研究は正確性・推論能力・安全性を中心に評価してきた。
一方で「語尾を揃える」「文字数を守る」といった形式制約の遵守率は、5本すべてで体系的に検証されていない。
しかし実務では、正確さ以上に「指示通りに出るか」が重要になる場面が多い。正確でも使えない出力は、実務では意味をなさない。そこで本実験では、この遵守率を主要な評価軸として採用した。
$$
\begin{array}{|l|l|l|l|l|l|l|} \hline \textbf{項目} & \textbf{Expert} & \textbf{Kong} & \textbf{Zheng} & \textbf{Kim} & \textbf{フー氏ら} & \textbf{今回} \cr \hline \text{モデル} & \text{GPT-3.5} & \text{GPT-3.5等} & \text{7〜70B複数} & \text{GPT-4等} & \text{7〜8B 6種} & \text{GPT-5.3 1種} \cr \hline \text{タスク} & \text{汎用指示} & \text{推論12種} & \text{事実QA} & \text{推論12種} & \text{MT-Bench等} & \text{見出し・要約} \cr \hline \text{評価軸} & \text{主観} & \text{正答率} & \text{正答率} & \text{正答率} & \text{主観+正答率} & \textbf{形式制約遵守率} \cr \hline \text{言語} & \text{英語} & \text{英語} & \text{英語} & \text{英語} & \text{英語} & \textbf{日本語} \cr \hline \text{役割粒度} & \text{Full相当のみ} & \text{単一} & \text{162種} & \text{手作り等} & \text{Full/Short/Min} & \text{なし/Min/Full} \cr \hline \text{配置} & \text{ユーザー} & \text{ユーザー} & \text{システム} & \text{ユーザー} & \text{両方} & \text{ユーザー固定} \cr \hline \text{試行数} & \text{大規模} & \text{大規模} & \text{大規模} & \text{大規模} & \text{大規模} & \text{条件ごと5回} \cr \hline \end{array}
$$
差違が意図的な点
モデルを1種に絞ったのは変数を減らして再現性を高めるため。
日本語固定は変数混入を避けるための判断。
これらは「できなかった」のもあるが、「個人が自分のユースケースで検証する」という立ち位置から選んだ設計だ。
制約として認識している点
試行5回は統計的信頼性として弱く、断定ではなく傾向の確認に留まる。
採点者1人のため主観スコアにバイアスが含まれる可能性がある。要約の語尾評価は全条件「〜状況」に収束し、実質的に差が出なかった。
今回のMinは約15〜20トークンで、論文基準のMin（約5トークン）より長く、実質ShortとMinの中間に相当する可能性がある。そのためMinに関する解釈は慎重に扱う必要がある。
Short粒度を設けていないため、Min-Full間の傾きが線形か非線形かは今回の設計では判断できない。
今回の実験が持つ固有の価値
大規模商用モデルでの検証（先行研究は7〜8B中心・未検証領域を埋めた）
日本語環境での再現（先行研究は英語中心・日本語ユーザーへの適用可能性を測った）
形式制約の遵守率を評価軸に採用（"正しさ"ではなく"使えるか"を測った）
コンテキストと役割の交互作用を系統的に検証（先行研究では変数として扱われていない）
全プロンプト公開による追試可能な設計（再現できることが今回の最大の強み）
FAQ
Q1. 役割プロンプトは使わない方がいい？
発散系タスクでは不要、収束系ではシンプルに使うのが有効です。
Q2. Fullの役割は意味がない？
条件によっては逆効果。特に制約が多いタスクでは崩れる傾向があります。
Q3. コンテキストと役割はどちらが重要？
今回の実験ではコンテキストの方が一貫して効果がありました。
Q4. とりあえず何から改善すべき？
まずコンテキストを整える→ダメなら役割Minを足す→それでもダメなら外す。この順番が今回の結果から導ける最短ルートです。
役割プロンプトは「使い分け」が正解
「役割を入れると良い」という認識は、2023年の特定タスクの実験から広まった。
当時の実験が見ていたのは「どれだけ正しく答えるか（精度）」だった。
今回の実験が見たのは「どれだけ指示通りに動くか（制御）」だ。
測っているものが違う。
今回の結果を正確に言うなら「役割は逆効果」ではなく「形式制約タスクでは役割がノイズになりやすい傾向がある」だ。
タイトルは煽り気味に書いたが、本文の結論はそこに留まる。
実務への示唆はシンプルだ。
発散系はコンテキストだけ入れる。
収束系はMinの役割を添える。迷ったらコンテキストから始める。
ただし、これはGPT-5.3 Instantの日本語環境での結果だ。
使うモデルが違えば結果も変わる可能性がある。
今回の強みは「正しさ」より「再現できること」にある。
記事末尾のプロンプト全文を使って、自分の環境で試してみてほしい。
出典
Xu et al. (2023) ExpertPrompting: Instructing Large Language Models to be Distinguished Experts. arXiv:2305.14688
Kong et al. (2023) Better Zero-Shot Reasoning with Role-Play Prompting. arXiv:2308.07702
Zheng et al. (2023/2024) When "A Helpful Assistant" Is Not Really Helpful. arXiv:2311.10054
Kim et al. (2024/2025) Persona is a Double-Edged Sword. arXiv:2408.08631
Hu et al. (2026) Expert Personas Improve LLM Alignment but Damage Accuracy. arXiv:2603.18507
素材：Wikipedia「将棋」（CC BY-SA）
付録1：実験前提条件
使用モデル：ChatGPT（GPT-5.3 Instant）
カスタム指示：OFF
メモリ：OFF
新チャット固定（条件ごとに新しいチャットを開く）
配置：ユーザープロンプト（システムプロンプトは使用しない）
言語：日本語統一
送信方法：役割→コンテキスト→ベースプロンプトの順に1つのメッセージに貼り付けて送信。要約タスクはWikipedia「将棋」全文をTXTファイルとして添付して送信
付録2：評価軸
見出し生成（/15点）
$$
\begin{array}{|l|c|l|}
\hline
\textbf{項目} & \textbf{配点} & \textbf{定義} \cr
\hline
\text{見出し本数} & \text{/5点} & \text{5本出力で5点、実数記録} \cr
\hline
\text{条件遵守} & \text{/3点} & \text{語尾統一1点・重複なし1点・テーマ合致1点} \cr
\hline
\text{表現の重複率} & \text{参考値} & \text{5回中の同一表現出現率} \cr
\hline
\text{文字数} & \text{参考値} & \text{5回分の合計文字数、ばらつき確認} \cr
\hline
\text{語尾の安定性} & \text{/2点} & \text{体言止め統一1点・疑問形統一1点、5回平均} \cr
\hline
\text{主観スコア} & \text{/5点} & \text{実際に使えそうか（採点者：実験者・補助指標）} \cr
\hline
\end{array}
$$
要約（/15点）
$$
\begin{array}{|l|c|l|}
\hline
\textbf{項目} & \textbf{配点} & \textbf{定義} \cr
\hline
\text{文字数遵守} & \text{/3点} & \text{300字以内で3点、超過で0点} \cr
\hline
\text{3点包含} & \text{/3点} & \text{起源1点・ルールの特徴1点・現状1点} \cr
\hline
\text{忠実性} & \text{/2点} & \text{追加なし1点・歪曲なし1点} \cr
\hline
\text{語尾遵守} & \text{/2点} & \text{体言止めで終わっていれば2点} \cr
\hline
\text{文字数（実数）} & \text{参考値} & \text{5回分記録、ばらつき確認} \cr
\hline
\text{主観スコア} & \text{/5点} & \text{正確・簡潔・自然に伝わるか（採点者：実験者・補助指標）} \cr
\hline
\end{array}
$$
付録3：条件別プロンプト全文
共通事項
カスタム指示・メモリ：OFF
条件ごとに新しいチャットを開く
役割→コンテキスト→ベースプロンプトの順に1つのメッセージに貼り付けて送信
条件A（役割なし・見出し生成・CTXなし）
以下のテーマでnote記事の見出しを5本出してください。
テーマ：AIとのやりとりがうまくいっているとき、それはプロンプトの効果なのか、運なのか。再現性をどう上げるか。
条件：読者はAIを業務活用したいフリーランスライター・マーケター／語尾は体言止めか疑問形／重複禁止
条件B（役割なし・見出し生成・CTXあり）
対象読者：AIを使い始めて1年未満のフリーランス
目的：「うまくいった」の判断基準を見直してもらう
トーン：問いかけ型・やわらかめ
以下のテーマでnote記事の見出しを5本出してください。
テーマ：AIとのやりとりがうまくいっているとき、それはプロンプトの効果なのか、運なのか。再現性をどう上げるか。
条件：読者はAIを業務活用したいフリーランスライター・マーケター／語尾は体言止めか疑問形／重複禁止
条件I（役割Min・見出し生成・CTXなし）
あなたは記事の見出し設計が得意なライターです。
以下のテーマでnote記事の見出しを5本出してください。
テーマ：AIとのやりとりがうまくいっているとき、それはプロンプトの効果なのか、運なのか。再現性をどう上げるか。
条件：読者はAIを業務活用したいフリーランスライター・マーケター／語尾は体言止めか疑問形／重複禁止
条件J（役割Min・見出し生成・CTXあり）
あなたは記事の見出し設計が得意なライターです。
対象読者：AIを使い始めて1年未満のフリーランス
目的：「うまくいった」の判断基準を見直してもらう
トーン：問いかけ型・やわらかめ
以下のテーマでnote記事の見出しを5本出してください。
テーマ：AIとのやりとりがうまくいっているとき、それはプロンプトの効果なのか、運なのか。再現性をどう上げるか。
条件：読者はAIを業務活用したいフリーランスライター・マーケター／語尾は体言止めか疑問形／重複禁止
条件C（役割Full・見出し生成・CTXなし）
あなたは日本語メディアの記事編集と見出し設計に深い専門知識を持つエキスパートです。
ウェブメディア・雑誌・noteなど多様な媒体で長年にわたり見出しの企画・執筆に携わり、
キーワード選定とトーン設計において豊富な実績があります。
その経験と専門性は多くの媒体で高く評価されています。
以下のテーマでnote記事の見出しを5本出してください。
テーマ：AIとのやりとりがうまくいっているとき、それはプロンプトの効果なのか、運なのか。再現性をどう上げるか。
条件：読者はAIを業務活用したいフリーランスライター・マーケター／語尾は体言止めか疑問形／重複禁止
条件D（役割Full・見出し生成・CTXあり）
あなたは日本語メディアの記事編集と見出し設計に深い専門知識を持つエキスパートです。
ウェブメディア・雑誌・noteなど多様な媒体で長年にわたり見出しの企画・執筆に携わり、
キーワード選定とトーン設計において豊富な実績があります。
その経験と専門性は多くの媒体で高く評価されています。
対象読者：AIを使い始めて1年未満のフリーランス
目的：「うまくいった」の判断基準を見直してもらう
トーン：問いかけ型・やわらかめ
以下のテーマでnote記事の見出しを5本出してください。
テーマ：AIとのやりとりがうまくいっているとき、それはプロンプトの効果なのか、運なのか。再現性をどう上げるか。
条件：読者はAIを業務活用したいフリーランスライター・マーケター／語尾は体言止めか疑問形／重複禁止
条件E（役割なし・要約・CTXなし）
添付したファイルの内容を要約してください。
条件：300字以内／起源・ルールの特徴・現状を必ず含める／原文にない情報を加えない／体言止めで終える
条件F（役割なし・要約・CTXあり）
目的：将棋を知らない読者に内容を正確に伝えること
トーン：平易・簡潔
出力：原文の情報のみを使うこと
添付したファイルの内容を要約してください。
条件：300字以内／起源・ルールの特徴・現状を必ず含める／原文にない情報を加えない／体言止めで終える
条件K（役割Min・要約・CTXなし）
あなたは文書の要約が得意なライターです。
添付したファイルの内容を要約してください。
条件：300字以内／起源・ルールの特徴・現状を必ず含める／原文にない情報を加えない／体言止めで終える
条件L（役割Min・要約・CTXあり）
あなたは文書の要約が得意なライターです。
目的：将棋を知らない読者に内容を正確に伝えること
トーン：平易・簡潔
出力：原文の情報のみを使うこと
添付したファイルの内容を要約してください。
条件：300字以内／起源・ルールの特徴・現状を必ず含める／原文にない情報を加えない／体言止めで終える
条件G（役割Full・要約・CTXなし）
あなたは日本語文書の分析と情報抽出に深い専門知識を持つエキスパートです。
学術文書・百科事典・報道記事など複雑な構造を持つ多様な文書を対象に、
長年にわたり情報の精査と構造化に携わった豊富な経験があります。
国内外の多様な分野における幅広い専門性は多くの現場で高く評価されています。
添付したファイルの内容を要約してください。
条件：300字以内／起源・ルールの特徴・現状を必ず含める／原文にない情報を加えない／体言止めで終える
条件H（役割Full・要約・CTXあり）
あなたは日本語文書の分析と情報抽出に深い専門知識を持つエキスパートです。
学術文書・百科事典・報道記事など複雑な構造を持つ多様な文書を対象に、
長年にわたり情報の精査と構造化に携わった豊富な経験があります。
国内外の多様な分野における幅広い専門性は多くの現場で高く評価されています。
目的：将棋を知らない読者に内容を正確に伝えること
トーン：平易・簡潔
出力：原文の情報のみを使うこと
添付したファイルの内容を要約してください。
条件：300字以内／起源・ルールの特徴・現状を必ず含める／原文にない情報を加えない／体言止めで終える
