全項目「検査合格」のデータを、30秒の目視で突き返した

過去問データの機械検査が、全部の年度で「合格（緑）」しました。その数時間後、私はビューアを開いて30秒眺め、こう言うことになりました。

「この本文、句読点がおかしい。こっちは文字化けで読めない。これでは使えません」。

機械検査は全部緑でした。私の目は正しかった。どちらも本当だった——検査が見ていない場所が、壊れていたのです。

何が壊れていたのか

筆者は予備試験の合格を目指している社会人受験生で、司法試験・予備試験の過去問PDFをAIでデータ化しています（両者は別の試験です。この仕組みは両方を扱っています）。この事件が起きたのは、15年分・1,426問を通して検証した段階でした。

壊れ方は2種類ありました。

1つ目は句読点の散乱。古いPDFは、文字を描画する順序と見た目の順序が食い違っていることがあり、テキストとして抽出すると句読点や括弧だけが変な場所に固まって出てきます。実物はこんな感じです——「特色があ，。，るのか」。実害は83問。

2つ目は文字化け。さらに古いPDFの一部は特殊なフォント形式で、抽出するとサマリア文字のような、見たこともない異国の文字列になる。こちらは24問。

なぜ検査は緑だったのか

検査が壊れていたわけではありません。当時の検査は「壊れた文字（置換文字）が混ざっていないか」を見ていて、そこは実際に合格でした。

問題は、散乱した句読点も、化けた異国文字も、文字としては正常なUnicode文字だということです。検査は「見ているもの」しか守らない。緑は「調べたことに合格した」という意味でしかなく、「正しい」という意味ではない——この事件で骨身に沁みた一行です。

修復の一部始終

修復は、順序が大事でした。

まず定量化。全1,426問をスキャンして被害の地図を作る。「なんか変」ではなく「83問と24問」という件数にしてから議論を始める。

次に機械修復。文字の座標で行を並べ直す抽出方式をAIに実装させました。ところが実測すると、正常な年度に適用すると逆に悪化する。古いPDFは句読点の座標自体が信用できないためで、万能の補正ではなく「壊れていた年度だけに選択適用」が正解でした。

機械で直らない分は、AIがページを画像化して読み、文字化け24問を転記し、散乱83問の句読点を本来の位置へ戻しました。ここで印象的なことが起きます。作業中のAIが、画像と突き合わせるうちに自分の方式の誤りに気づいたのです（句読点を「削除」していた→正しくは「再配置」）。そして全面的に作り直した上で、「空白と句読点を除いた文字列が、修正の前後で完全に一致する」という安全装置を自分で発明し、文字の改変ゼロを全件機械保証してきました。

最後に、直して終わりにしない。「連続句読点が出たら赤」「異国文字が出たら赤」を検査本体に組み込みました。私の30秒が見つけたものは、以後どの年度を追加しても、機械が強制する検査になっています。

おまけ: 検査ツール自身も間違っていた

修復完了の消込確認で、監査ツールが「修正済みのはずのデータがまだ違う」と報告してきました。調べると、修正は正しく入っていて、ツールが読んでいた欄が「修正前の値を保存しておく古い欄」だった。

「直した」と「直ったと確認した」の間には、確認する道具自体の正しさという、もう一段の問題が挟まっています。検査は、検査されなければならない。

この事件で学んだこと

• 人間の目視は、網羅ではなく急所に使う。1,426問を全部読む必要はない。ぱっと見の30秒が機械の盲点を突くことがある——今回それが起きた

• 「AIに完全に任せてはいけない」は本当。ただし「任せない」の中身は張り付いて監視することではなく、設計——停止条件と、検収の関門と、直った状態を固定する検査を組んでおくこと

• 修復と検査強化はセット。直すだけなら、同じ事故はまた起きる

なお、この「緑を信じすぎない」には後日談があります。今度は人間の目ではなく、独立の機械照合が「全部緑」のあとから6問の欠落を見つけた話——それは別の記事に書きました。→ AIが「全部緑です」と言ったあとで、6問の欠落が見つかった

データ化の仕組み全体（フォルダ構成・手順・検査の設計・ハマりどころ一覧）はこちら。→ あのCSVは、プロトタイプだった——過去問3,647問をAIでデータ化した手順と、ハマりどころの全部

鳥頭にわか|予備試験受験生。AIを使った学習データ整備の記録を書いています。

※本記事は学習データ作成の記録であり、法的助言ではありません。