RAG評価とは？社内AIの精度を測る方法と合格ラインの決め方をわかりやすく解説
社内向けのAIを作ってみた。何問か聞いてみたら、それっぽく答えた。
でも、これで導入していいのか分からない。
上司に「精度はどれくらい？」と聞かれて、答えられなかった。
しばらく運用したあと、なんとなく回答が悪くなった気がするけれど、確かめる方法がない。
心当たりがあるなら、この記事はそのために書きました。読み終わるころには、何をどう記録して、どこで合否を判断すればいいかが決まっているはずです。
この記事は、こんな人に向けて書いています
社内でAIの導入を検討している、または任されている方です。エンジニアでなくて構いません。数式も出てきません。表計算があれば始められる範囲を扱います。
「精度はどれくらい？」に、根拠のある答え方ができる
回答が悪いとき、どこから調べればいいか見当がつく
導入して終わりではなく、劣化に気づける状態を作れる
前回まで10回にわたって基礎編を書いてきました。今回からは、実際に社内へ入れるときの話に進みます。
結論：点数だけでなく、「どこで外したか」まで測る
最終回答が業務上正しいかを確認する
外した原因は、まず検索側と生成側に分けて調べる
土台は、実際の質問・正解の要点・根拠資料・資料の版をそろえた正解セット
合格ラインは平均点ではなく、誤答の重大度から決める
固定問題と、運用中に増えた問題の両方を測り続ける
回答品質の失敗は、まず「検索」と「生成」に分けて考える
ここを押さえると、あとが全部つながります。
RAGは、資料を検索する工程と、それを読んで答える工程に分かれています。第9回で見た4ステップのうち、②が検索、④が生成です。
同じ「変な回答」でも、中身は4通りあります。検索も生成も成功していれば正しい回答。検索が外れれば、そもそも正解の資料が届いていない。検索は成功したのに生成が外れれば、資料はあるのに違うことを書く。そして検索が外れているのに、もっともらしく答えてしまうのがいちばん危険です。
回答だけを読んでも、この4つは見分けられません。 検索結果もあわせて記録しておくのが前提になります。
実際には、質問の解釈や権限設定、資料そのものの誤りなども原因になります。ただ、回答品質を調べる最初の切り分けとしては、「正しい根拠を取れたか」と「その根拠から正しく答えたか」の2つに分けると理解しやすくなります。
評価の土台になる「正解セット」
指標の前に、こちらが先です。ここを飛ばすと評価そのものが成立しません。
表計算で、1つの質問につき1行つくります。質問、正解の要点、根拠資料と箇所、資料の版、誤答の重大度。答えるべきか止まるべきかも記入しておきます。
「資料の版」を入れるのが要点です。 規程が改定されたとき、どの正解を直せばいいかが分かる。版を書いていないと、古い正解のまま測り続けることになります。
質問は想像で作らず、問い合わせ履歴やSlack、メールから拾ってください。そして、種類が偏らないように集めます。 よくある質問、言い方を変えた質問、複数の資料を読まないと答えられない質問、日付や金額など間違えやすい質問、資料に答えがない質問。
最初は30問程度からでも始められます。 ただし30問で十分と決まっているわけではありません。対象業務が広い場合や誤答の影響が大きい場合は、50問、100問と増やします。総数より、質問の種類を偏りなく含めることが大切です。 30問のうち20問が経費精算なら、人事の性能は判断できません。
「答えない」性能は2方向で測る
資料に答えがない質問も入れます。ここで見るのは2方向です。
資料に答えがないとき、推測せずに止まれたか
資料に答えがあるとき、必要以上に拒否しなかったか
前者だけを見ると、何にでも「分かりません」と返すAIが高得点になってしまいます。 割合は実際の利用状況に合わせますが、初回は全体の1〜2割を仮置きしてもよいでしょう。
4つの診断指標と、最後に見る「業務上の正しさ」
正解セットができたら、指標を当てます。
RAG評価のライブラリとして広く使われているRagasでは、検索側と生成側に分けた指標が整理されています。名前は英語ですが、見ているものは単純です。
ここが最も重要な注意点です。 この4つは、悪かった原因を見つけるための診断指標であって、4つの点数だけで導入可否は決められません。
たとえば、古い就業規則を正しく検索し、その古い資料に完全に忠実な回答をしたとします。Faithfulnessは高い。Response Relevancyも高い。それでも業務上は誤りです。Faithfulnessが見ているのは「取得した資料との整合性」であって、「会社として正しい答えか」ではないからです。
だから最後に、回答が業務上の正解を満たしているかを人が確認します。「申請期限・申請先・必要書類」の3点が必要な質問なら、その3点が正しいかを○△×で採点する。それだけで構いません。
なお、Amazon BedrockのRAG評価指標でも、Correctness（正しさ）とFaithfulness（資料への忠実さ）は別々の指標として用意されています。両者を分けて見るのは、特殊な考え方ではありません。
点数そのものだけでなく「どの指標が落ちたか」を見ます。原因を調べる出発点が分かるからです（1つの指標から原因が一意に決まるわけではありません）。
最初の評価は、この5ステップでできる
実際の質問を30問集める
各質問の正解の要点・根拠資料・箇所・版を決める
AIの回答と、検索された資料を保存する
検索と回答を別々に○△×で採点する
失敗を種類別に数え、直したあと同じ問題で測り直す
3行目に注目してください。根拠に忠実（○）でも、取ってきた資料が違えば業務上は不正解になります。この列があるかどうかで、評価が成立するかが決まります。
RagasやBedrockは、この作業を自動化する手段です。必須ではありません。 まずは表計算で30問やってみるほうが、何を測るべきかが早く分かります。
いちばん多い落とし穴
回答だけを読んで「それっぽい」と判断してしまうことです。
検索結果を確認していなければ、なぜ良かったのか、なぜ外したのかは分かりません。そして検索が静かに劣化していても気づけません。 資料が増えて絞り込みが甘くなった、古い版が混ざった——こうした変化は、回答の見た目にすぐ出るとは限らないからです。
直すときも、見る範囲は広く取ってください。検索側なら資料の内容・分け方・検索条件・順位づけ。生成側ならAIへの指示・使うモデル・渡す資料の量・回答形式です。
評価問題は2種類持つ
固定セットだけを長く使うと、本番で増えた質問が含まれない、評価問題にだけ合うように調整してしまう、といったことが起きます。
固定セットは、変更前後を同じ条件で比べるための問題。簡単に入れ替えません。ただし根拠資料が改定されたときは、正解と版を更新します。
追加セットは、運用中に起きた失敗や新しい質問を足していく問題です。この2つを持つことが、劣化に気づく仕組みの正体です。
合格ラインは、平均点では決めない
「何点なら合格か」に世界共通の正解はありません。許される誤答の量が業務によって違うからです。ただし、決め方は標準化できます。
対象業務、正式な正解、誤答の重大度、更新体制。この4つを先に答えたうえで、たとえば備品案内AIならこう決められます。
重大な誤答：0件
通常の質問：正解率90%以上
根拠のない質問：推測回答0件
根拠資料の提示：必須
これは一般的な基準ではなく、その業務で決めた例です。大事なのは平均点だけで合格にしないこと。 契約金額や個人情報に関する誤答が1件あっても、簡単な質問で稼げば平均は高くなってしまいます。
だから、冒頭の「精度はどれくらい？」にはこう答えます。
「全体で92点です」ではなく、 「実際の問い合わせ80問で確認し、通常質問の正解率は92%、重大項目の誤答は0件、根拠のない質問20問では18問が適切に回答を止めました」
評価条件と、残っているリスクの両方が伝わります。
よくある質問
RAG評価とは何ですか？ 社内AIが期待どおりに答えているかを、最終回答の正しさと、外した原因（検索側か生成側か）に分けて測ることです。
なぜ検索と生成を分けるのですか？ 原因によって直す場所が違うためです。検索が外れているのに指示だけ直しても改善しません。
正解セットは何問あればいいですか？ 最初は30問程度から始められます。ただし30問で十分と決まっているわけではありません。質問の種類ごとに結果を確認し、不足する分野を追加していきます。対象範囲が広ければ50〜100問以上になることもあります。
Faithfulnessが高ければ正しい回答ですか？ いいえ。Faithfulnessは取得した資料との整合性を見る指標です。資料自体が古ければ、忠実でも業務上は誤りになります。
評価は何を使えばできますか？ Ragasのような評価ライブラリや、Amazon Bedrockなどの評価機能があります。小規模なら表計算で人が採点する形でも始められます。
何点あれば導入していいですか？ 業務によって異なります。誤答の重大度と対象業務を先に決めてから、種類別に条件を置いてください。
運用開始後も評価は必要ですか？ 必要です。資料が増減すると検索の精度は変わります。固定セットと追加セットの両方で測り続けます。
「答えない」ことも評価するのですか？ します。ただし2方向です。答えがないときに止まれたかだけでなく、答えがあるのに拒否しすぎていないかも見ます。
エンジニアでなくてもできますか？ 正解セットを作る部分は、業務を知っている人でないと作れません。むしろ現場の人の仕事です。
まとめ
RAG評価では、まず最終回答が業務上正しいかを確認します。そのうえで、正しい根拠を検索できなかったのか、根拠は取れたのに答え方を間違えたのかを分けて調べます。
土台になるのは、実際の質問・正解の要点・根拠資料・箇所・版をそろえた正解セットです。最初は30問程度から。質問の種類に偏りがないかを確認し、運用中に見つかった失敗を追加していきます。
合格ラインに世界共通の数字はありません。対象業務、誤答の影響、答えがないときの挙動、運用体制をもとに決めます。平均点だけでなく、重大な誤答が何件あったかを見ることが重要です。
最初の一歩は、実際の質問を30問集めること。そして「何が書かれていれば正解か」「どの資料のどこが根拠か」を記入してみてください。そこまでできれば、評価はすでに始まっています。
次回は、その正解を左右する部分。
資料をどう分けるか（チャンキング）を取り上げます。同じ資料でも、分け方ひとつで検索の当たり方が変わります。
もっと学びたい人へ（2冊）
まず読むなら：ITパスポートの入門書 AI・API・クラウド・データベースといった基礎用語が、非エンジニア向けに一冊で整理できます（ITパスポート試験のシラバスには生成AIに関する項目も追加されています／IPA）。
もう一歩進みたいなら：RAG・社内AI構築の実務書 検索の設計、資料の分け方、評価の回し方まで扱った一冊があると、情報システム部門や開発会社との会話がスムーズになります。
※本記事にはプロモーション（アフィリエイトリンク）を含みます。
次に読む
RAG（検索拡張生成）とは？仕組みと社内AIへの活かし方をわかりやすく解説（基礎編 第9回）
ハルシネーションとは？AIが嘘をつく理由と、見抜き方がわかる、やさしい入門（基礎編 第5回）
