AIが「全部緑です」と言ったあとで、6問の欠落が見つかった

AIに任せた変換作業が終わって、報告が来た。「検査は全部緑です」。

その1週間後、変換後のデータから6問分の欠落が見つかりました。検査は嘘をついていません。それでも欠落はあった。今回はその話です。

何をしていたのか

筆者は予備試験の合格を目指している社会人受験生で、過去問をデータ化して学習に使っています。データ化の仕組みそのものは別の記事に書きました（無料部だけでも話は分かります）。

今回の場面は、その検証済みデータを、自作の学習アプリ用の形式にAIで変換する工程です。令和8年予備試験の短答式95問を変換し、AIからは機械検査が全部通ったという報告を受けていました。

「全部緑」を信じずにやった検査

ここで一つ、習慣にしていることがあります。作業したAIの報告と、受け入れの判定は別物として扱うことです。作業者の検査とは別の角度から、自分の検査を1本かけます。

今回かけたのは単純な照合でした。元データ（検証済みの正本）の本文を1行ずつ取り出して、変換後のデータのどこかに存在するかを、95問・744行ぶん機械的に突き合わせる。

すると、6問で本文が消えていました。

• 2問は、2つの記述を比べる形式の問題で、片方の記述がまるごと欠落。正解は「どちらか」を答える形式なのに、片方しか載っていない

• 4問は、正しい記述の個数を答える形式で、「正解の番号」と「個数」の対応表が欠落。「正解は2」とだけ残っても、それが「1個」を意味することが伝わらない

• うち1問は、5つあった選択肢が1つに潰れてもいた

なぜ検査は緑のままだったのか

作業者の検査が壊れていたわけではありません。その検査は「正解の値が合っているか」「形式が壊れていないか」を見るもので、そこは実際に全部合っていました。

検査の範囲に入っていない欠陥は、緑のまま素通りします。「全部緑」は「検査した範囲では問題なし」の意味でしかない。当たり前のことですが、緑が並んだ画面を見ると、人はつい「全部大丈夫」と読んでしまいます。

この検査が成立した理由

種明かしをすると、この「本文1行ずつの照合」という検査は、元データの側が信頼できるから成立しています。

元データは、公式PDFとの突き合わせを何重にも通した検証済みの正本です。基準側が正しいと確定しているから、「基準にあって変換後にないもの」を機械的に列挙できる。もし基準側が怪しければ、欠落を見つけたのか、基準のゴミを見ているのか、区別がつきません。

上流のデータを固くしておくことは、上流のためだけではなく、下流の全工程に「答え合わせの基準」を配ることなのだと、この件で実感しました。

その後

6問は修正し、再走査で欠落ゼロを確認しました。そして、この「本文1行ずつの照合」は一回きりの点検ではなく、変換のたびに自動で走る常設の検査に昇格させました。見つけた穴は、次から網にする。この繰り返しだけが、AIとの作業を安心して任せられるものにしていくのだと思います。

データ化の仕組み全体（フォルダ構成・手順・検査の設計・ハマりどころ一覧)は、こちらの記事にまとめています。→ あのCSVは、プロトタイプだった——過去問3,647問をAIでデータ化した手順と、ハマりどころの全部

鳥頭にわか|予備試験受験生。AIを使った学習データ整備の記録を書いています。

※本記事は学習データ作成の記録であり、法的助言ではありません。