見出し画像

生成AIの回答品質を上げる方法|プロンプトより先に整える5項目と評価テンプレート

公開日:2026年8月6日
最終更新日:2026年8月6日

※生成AIの機能、料金、データ利用条件はサービスやプランによって異なり、変更されることがあります。本記事の「回答品質カード」と評価方法は、公的な認定基準ではなく、AIよろず室が中小企業の実務向けに提案する整理方法です。重要な判断や社外利用では、元資料と責任者による確認を行ってください。

結論:長いプロンプトより、先に「正解の条件」を決める

ChatGPTなどの生成AIへ詳しく指示しても、回答が浅い、毎回内容が変わる、事実と推測が混ざる、人の修正が減らないことがあります。

このとき、プロンプトを長くするだけでは解決しません。生成AIの回答品質を上げるには、先に次の5項目を決めます。

  1. 何の判断・作業に使う回答か

  2. 何を根拠に答えるか

  3. 何が含まれていれば完成か

  4. 分からないときにどう動くか

  5. 誰が何を基準に評価するか

そのうえで、生成を不足確認→下書き→評価・修正の3段階へ分けます。

AIよろず室では、これらを一枚にした「回答品質カード」を作り、プロンプトの文章ではなく、業務で合格とする条件から設計する方法を提案します。

この記事で分かること

  • 生成AIの回答品質が上がらない5つの原因

  • プロンプトより先に整える5項目

  • コピペできる回答品質カードと評価テンプレート

  • 30日間で回答のばらつきと修正を減らす方法

どの業務へ生成AIを使うかまだ決まっていない場合は、先に「中小企業の生成AI活用例12選」から、短期間で繰り返し試せる1業務を選んでください。


「それらしい回答」と「業務で使える回答」は違う

生成AIの文章は、読みやすく自然でも、業務で使えるとは限りません。

たとえば週次営業報告の下書きが、きれいに要約されていても、次の状態なら完成ではありません。

  • 元の活動記録にない原因を推測している

  • 重要な失注理由が抜けている

  • 前週と今週の数字が混ざっている

  • 担当者と期限が書かれていない

  • 経営者が判断したい論点へ答えていない

文章の自然さは、品質の一部にすぎません。

業務で見るべき品質は、少なくとも次の5つです。

  1. 根拠一致:元資料と矛盾せず、事実と推測を分けている

  2. 完全性:必要な項目や重要な例外が抜けていない

  3. 形式適合:文字数、順序、項目、保存形式を守っている

  4. 利用可能性:次の判断や作業に、そのまま使える

  5. 安全性:入力禁止情報、権限、承認、停止条件を守っている

正確でも、必要項目が欠けていれば使えません。詳しくても、判断に不要な一般論ばかりなら役立ちません。回答品質は一つの点数ではなく、業務ごとに必要な条件の組み合わせです。

生成AIの回答品質が上がらない5つの原因

原因1:依頼の目的が広すぎる

「分析してください」「分かりやすくまとめてください」だけでは、誰が何を判断するための回答か分かりません。

同じ議事録でも、参加者への共有、欠席者への報告、経営会議での判断、顧客への送付では、必要な内容が違います。

依頼を「会議を要約する」から、「欠席した営業責任者が、今日中に担当者と期限を確認できる記録を作る」へ変えます。

原因2:材料が足りない、または混ざっている

AIは、渡されていない社内事情を知りません。材料が不足すると、一般論や推測で文章を補うことがあります。

反対に、古い資料、未確認のメモ、別案件の情報を大量に渡すと、どれを優先すべきか曖昧になります。

必要なのは、情報量を増やすことではなく、次を区別することです。

  • 回答の根拠にしてよい資料

  • 参考にはするが、事実として扱わない情報

  • 使用してはいけない古い情報

  • 不足している情報

原因3:完成条件が決まっていない

人が「良い回答」を説明できなければ、AIの回答も評価できません。

たとえば「丁寧な問い合わせ返信」ではなく、回答根拠、担当部署、期限、顧客へ確認する事項、送信前確認が含まれている状態を完成とします。

良い見本がある場合は、機密情報を除き、構成や表現の参考例として渡せます。ただし、過去の成果物が現在も正しいか確認します。

原因4:分からないときの動作がない

回答できない情報があるとき、AIへ「できるだけ完成させて」と求めると、空欄を自然な推測で埋める可能性があります。

次の動作を先に指定します。

  • 不足情報を質問する

  • 不明と表示する

  • 根拠がない箇所は作らない

  • 影響が大きい場合は処理を止める

  • 人へ確認する項目として分ける

原因5:評価が担当者の感覚だけになっている

担当者Aは「読みやすい」と評価し、担当者Bは「情報が足りない」と評価する。この状態では、修正しても品質が安定しません。

元資料との一致、必須項目、形式、重大な誤り、修正量など、合否を判断する基準を決めます。

Google Cloudは、プロンプト設計を目的と期待結果を明確にし、体系的にテストして改善する反復的な工程と説明しています[1]。AWSの公式資料でも、プロンプトには指示だけでなく、文脈、例、入力などの要素が含まれ、用途に合わせて組み合わせる考え方が示されています[2]。

プロンプトより先に整える5項目

1. 用途:回答の次に誰が何をするか

「何を出してほしいか」だけでなく、「その回答を使って誰が何を決めるか」を書きます。

例:営業責任者が、重点案件と翌週の支援対象を10分以内に決めるための週次報告を作る。

用途が決まると、必要な詳しさ、順序、言葉、確認者が決まります。

2. 根拠:使ってよい資料と優先順位

根拠資料には、名称、対象期間、更新日を付けます。複数ある場合は、矛盾したときにどれを優先するか決めます。

AIへは、入力された資料だけを根拠にするのか、公開情報も使ってよいのかを明示します。最新情報が必要な場合は、AIが検索できるかどうかにかかわらず、出典と確認日を人が確認します。

顧客情報、個人情報、契約情報などを使う前に、利用環境と入力可否を決める必要があります。社内ルールの作り方は「生成AIの社内ルールはどう作る?中小企業向け12項目とひな形」で解説しています。

3. 完成条件:必須項目と出力形式

完成条件は3〜7個程度から始めます。

  • 必ず含める項目

  • 含めてはいけない内容

  • 項目の順番

  • 文字数や件数

  • 事実と推測の表示方法

  • 引用や出典の表示方法

  • 次工程へ渡す形式

「簡潔に」「詳しく」だけでなく、合否を見分けられる表現にします。

4. 不明時の動作:質問・保留・停止

不足情報があった場合の選択肢を決めます。

  • 軽微な不足:不足項目を列挙してから仮案を作る

  • 結論に影響する不足:回答を作らず質問する

  • 契約・金額・個人情報など重要事項:処理を止め、責任者へ戻す

すべてをAIに完成させることより、作ってはいけない回答を止められることが重要です。

5. 評価:合格条件と重大な失敗

評価項目には、良い状態だけでなく、一つでもあれば不合格とする条件を入れます。

たとえば社外メールなら、宛先、固有名詞、金額、日付、約束の誤りは、文章全体が読みやすくても不合格です。

AWSの評価資料では、正確性、完全性、表現品質などの観点が示される一方、用途に合わせて評価方法と基準を具体的に定義することが推奨されています[3]。中小企業でも、複雑な評価システムを作る前に、対象業務の合格条件を一枚にできます。


回答の修正が多く、何を直せばよいか分からない場合は、AIよろず室の30分の無料相談で、対象業務を一つ伺い、根拠、完成条件、人が確認する項目を「回答品質カード」へ整理します。相談後に契約する必要はありません。



生成を「不足確認→下書き→評価・修正」の3段階へ分ける

長いプロンプトを一度送って完成を待つのではなく、役割を3回に分けます。

第1段階:不足確認

最初は文章を作らせません。目的、材料、完成条件を渡し、次だけを確認させます。

  • 結論へ影響する不足情報

  • 根拠資料同士の矛盾

  • 意味が曖昧な指示

  • 作業を止めるべき条件

  • 人が先に決める事項

質問へ回答できない項目は、「未確認」として残します。

第2段階:下書き

不足を解消した後、決めた根拠と完成条件だけで下書きを作らせます。

AIが補足した推測は、事実と混ぜず「仮説」「要確認」と表示させます。根拠にない数値、固有名詞、約束、実績は追加させません。

第3段階:評価・修正

同じ会話の続きで「もっと良くして」と頼むだけでは、評価基準が曖昧です。

先に回答を品質カードの各項目で採点させ、不合格の理由と修正箇所を示させます。その後、人が元資料と照合し、必要な箇所だけを修正します。

AIによる自己評価は見落としを減らす補助であり、人の確認を置き換えません。重要な内容では、作成者以外の確認者を置きます。

コピペして使える「回答品質カード」

以下を1業務につき一枚作成します。

【回答品質カード】

業務名:
回答を使う人:
回答の用途・次に行う判断:

AIへ依頼する作業:
AIへ依頼しない判断:

根拠にしてよい資料:
資料の対象期間・更新日:
資料が矛盾した場合の優先順位:
根拠にしてはいけない情報:

必須項目:
出力形式・順序・長さ:
事実と仮説の表示方法:
良い完成例:

不足情報がある場合の動作:
処理を止める条件:

人が照合する項目:
確認に使う元資料:
確認者・承認者:

一つでもあれば不合格とする誤り:
許容する軽微な修正:
効果を測る数字:
カードの所有者・版・見直し日:

コピペして使える3段階プロンプト

1. 不足確認用

【プロンプト】

以下の回答品質カードと材料を確認してください。まだ完成文は作らないでください。

最初に、次の5項目だけを出してください。

  1. 結論や完成物へ影響する不足情報

  2. 根拠資料の矛盾・対象期間のずれ

  3. 曖昧な完成条件

  4. 人が先に決める必要がある事項

  5. 処理を止める条件に当てはまる箇所

入力にない事実、数値、固有名詞、原因、約束を推測で補わないでください。不足がなければ「重大な不足なし」と表示してください。

[ここへ回答品質カードを貼る]

[ここへ材料を貼る]

2. 下書き用

【プロンプト】

不足確認への回答を反映しました。以下の回答品質カードと材料だけを根拠に、下書きを作ってください。

  • 必須項目と出力形式を守る

  • 根拠にない内容を追加しない

  • 確認できない内容は「未確認」と示す

  • 事実と仮説を分ける

  • 停止条件に該当する場合は下書きを作らず、その理由を示す

下書きの末尾に、使用した根拠と、人が確認すべき項目を列挙してください。

[ここへ回答品質カードを貼る]

[ここへ確認済みの材料を貼る]

3. 評価・修正用

【プロンプト】

以下の下書きを、回答品質カードに照らして評価してください。

根拠一致、完全性、形式適合、利用可能性、安全性を、それぞれ「合格/要修正/判定不能」で示してください。各項目について、該当箇所、理由、必要な修正を示してください。

入力にない正解を作らず、元資料がなければ「判定不能」としてください。一つでも不合格条件に該当する場合は、完成扱いにしないでください。

評価後、修正できる箇所だけを直した改訂案を作り、変更点を列挙してください。

[ここへ回答品質カードを貼る]

[ここへ元資料を貼る]

[ここへ下書きを貼る]

記入例:週次営業報告の下書き

以下は使い方を説明する架空例であり、実在企業の運用やAIよろず室の支援実績ではありません。

業務名:週次営業報告の下書き
回答を使う人:営業責任者
用途:重点案件、停滞理由、翌週の支援対象を決める
AIへ依頼する作業:活動記録を案件別に整理し、変化と未対応事項を抽出する
AIへ依頼しない判断:案件確度、値引き、担当者評価、受注見込みの最終判断
根拠:対象週のCRM出力、担当者が確認した商談記録
必須項目:案件名の仮名、前週からの変化、顧客の確認済み発言、次の行動、担当者、期限、未確認事項
出力形式:重要度順に最大10件、1件150字以内
不明時の動作:期限・担当者・顧客発言が不足する場合は「未確認」と表示
停止条件:別週のデータ混入、個人情報、未承認の価格条件を検出した場合
人の確認:案件名、金額、日付、顧客発言、次の約束をCRMと照合
不合格条件:元記録にない失注理由、受注確率、顧客発言を追加している
測定:報告完成までの総時間、重大修正件数、記載漏れ、責任者からの差し戻し

この例では、AIが流麗な文章を書くことより、営業責任者が短時間で次の行動を決められることを重視しています。

回答を5項目で評価する

毎回100点満点の精密な採点をする必要はありません。最初は、次の3段階で十分です。

  • 合格:そのまま次工程へ進める

  • 要修正:人が直せば使える

  • 判定不能:元資料や判断者が不足している

根拠一致

  • 事実は元資料と一致しているか

  • 資料にない内容を追加していないか

  • 事実、仮説、未確認を区別しているか

完全性

  • 必須項目をすべて含むか

  • 重要な例外や反対情報を落としていないか

  • 質問の一部だけに答えていないか

形式適合

  • 指定した順序、件数、長さ、保存形式か

  • 見出しや項目名が統一されているか

  • 次のシステムや担当者へ渡せるか

利用可能性

  • 読み手が次の判断や作業を行えるか

  • 不要な一般論で重要事項が埋もれていないか

  • 確認事項、担当者、期限が明確か

安全性

  • 入力・出力に禁止情報がないか

  • 承認が必要な判断をAIが確定していないか

  • 停止条件を守っているか

重大な誤りと軽微な修正は分けて記録します。句読点の修正1件と、金額の誤り1件を同じ「修正1件」と数えると、品質の実態を見誤ります。

30日間で改善する方法

1週目:合格条件を作る

過去の良い成果物を3〜5件確認し、共通する必須項目と、重大な失敗を決めます。個人情報や機密情報を安易にAIへ入力せず、会社が許可した環境と資料を使います。

2週目:簡単な例と難しい例で試す

標準的な入力だけでなく、材料不足、例外、矛盾を含む例も試します。簡単な例だけで成功しても、実務で使えるとは限りません。

3週目:修正理由を記録する

「微妙だった」ではなく、根拠不一致、必須項目不足、形式違反、判断不能などに分類します。頻出する原因が、材料、完成条件、プロンプト、モデル、業務手順のどこにあるか見ます。

4週目:継続・修正・中止を決める

次を比較します。

  • 材料準備から人の確認までの総時間

  • 重大な誤りの件数

  • 軽微な修正の件数

  • 判定不能・利用中止の件数と理由

  • 別の担当者でも同じ手順を使えたか

下書きが速くても、人の確認や修正が増えたなら、業務全体では改善していない可能性があります。生成AI導入初期の測定方法は「AI導入の最初のKPIを『売上増』にしてはいけない理由」も参考にしてください。

改善した使い方を社内へ広げる段階では、プロンプトだけを配らず、目的、入力、根拠、確認、停止条件まで共有します。詳しくは「生成AIのプロンプトを社内共有する方法」で解説しています。

よくある質問

Q. プロンプトを長くすれば、回答は正確になりますか?

長さだけでは決まりません。必要な材料、明確な指示、完成条件、例、評価基準が役立つ場合がありますが、不要な条件や矛盾が増えると分かりにくくなります。短くても合格条件が明確な方が、改善しやすいことがあります。

Q. 「あなたは専門家です」と役割を与えれば品質は上がりますか?

文体や観点を整える助けになることはありますが、根拠資料や社内の判断基準は補えません。役割指定だけで事実の正しさを保証することはできません。

Q. AIに自己評価させれば、人の確認は不要ですか?

不要にはなりません。AIは、同じ誤解をしたまま自分の回答を合格と判断する可能性があります。元資料との照合、重要な判断、社外送信、契約・金額・個人情報などは、責任者が確認します。

Q. 毎回、回答品質カードを一から書く必要がありますか?

同じ業務なら再利用できます。資料の更新日、必須項目、停止条件、確認者が変わっていないかを確認し、版と見直し日を残します。

Q. どの生成AIを使えば、最も品質が高くなりますか?

用途、入力形式、必要な精度、利用環境、料金によって異なります。モデル名だけで決めず、同じ代表例と同じ評価基準で比較してください。モデルやプランの変更時にも再検証します。

Q. 回答品質の改善だけを相談できますか?

相談できます。月額39,800円(税別)の伴走プランは入口の一つで、ほかにも課題やご希望に応じた支援があります。対象業務、扱う情報、必要な成果物、確認者、対応範囲、費用を事前に整理して進めます。

まとめ

  • 生成AIの回答品質は、文章の自然さだけでは判断しない

  • プロンプトより先に、用途・根拠・完成条件・不明時の動作・評価基準を決める

  • 生成を不足確認・下書き・評価修正の3段階へ分ける

  • 根拠一致・完全性・形式適合・利用可能性・安全性で評価する

  • 下書き時間ではなく、人の確認と修正を含む業務全体で効果を測る

AIよろず室の30分の無料相談では、現在使っている生成AIの回答や業務手順を伺い、回答品質を安定させるために最初に決める項目を一つ整理します。売り込みや、その場での契約のお願いはいたしません。



この記事を書いた人
AIよろず室。
中小企業を対象に、業務診断、AI活用ロードマップ、実装、社内定着までを支援しています。代表は、IT業界20年以上のエキスパートです。


参考資料

[1]Google Cloud「Overview of prompting strategies

[2]Amazon Web Services「Prompt engineering concepts

[3]Amazon Web Services「Define evaluation methods


ハッシュタグ

#生成AI #ChatGPT #回答品質 #ChatGPT活用 #生成AI活用 #プロンプト #プロンプト改善 #プロンプト設計 #AI活用 #AI導入 #AI精度 #業務効率化 #業務改善 #中小企業DX #中小企業 #DX #DX推進 #社内AI #AI研修 #AIリテラシー #ハルシネーション #ファクトチェック #品質管理 #業務標準化 #社内ルール #情報セキュリティ #AI担当者 #AI導入支援 #生産性向上 #AIよろず室

いいなと思ったら応援しよう!