見出し画像

AIを使う力は「構造化された質問」で測るか「対話」で観るか

「AI を使える人を採りたい」── そう決めたあと、いざ面接の質問を組もうとすると、手が止まります。前作 N019「『AIを使える人』を採用で見抜けるか」では、見るべきは操作ではなく検証力だと整理しました。けれど、その検証力を「面接でどう聞くか」となると、また別の壁が立ちはだかります。事前に質問を固めて全員に同じことを聞くべきなのか、それとも、その場の対話で出方を見るべきなのか。同じ「AI を使う力を見たい」という目的でも、聞き方の設計思想が二つに割れるのです。

数字は、この迷いの根が深いことを教えてくれます。採用研究の古典である Schmidt & Hunter のメタ分析(85 年分の人事選抜研究を統合)では、構造化面接の予測妥当性が r=.51、非構造化面接が r=.38 と報告されました(出典: Psychological Bulletin, 124(2)、1998 年)。構造化のほうが「その後の活躍をよく当てる」という結論です。一方で、面接の現場には「決められた質問だけでは、その人の本当の思考は見えない」という根強い実感もあります。本記事は、この構造化質問派 対 対話観察派の対立を、どちらが正しいかではなく、「何を測りたいか」で線引きできる形に整理することを目指します。


この記事の要点

  • 構造化質問派の強みは再現性・公平性・候補者比較。研究でも構造化面接の予測妥当性は非構造化を一貫して上回る(Schmidt & Hunter 1998 / Sackett et al. 2022)。

  • 対話観察派の強みは、標準質問では見えにくい思考プロセスや更新の速さを、その場で深掘りして引き出せること。構造化でも評価者のバイアスは完全には消えない。

  • 翌週使える視点は、対立として捉えず「測りたい能力の可視性 × 公平性要求度」の2軸で、どの能力を構造化質問で測り、どれを対話で観るかを記事の最後で線引きすること。


1. 「AI を使う力」を、どう聞けばいいのか

まず、多くの採用担当者がいま立っている場所から始めます。

要件に「AI を使いこなせる人」と書く。ここまでは、もう珍しくありません。問題はその次です。面接でその力をどう確かめるか、という段になると、急に足場が消えます。「使えるツールを教えてください」と聞けば、ツールの名前は出てきます。けれど、以前の記事で見たとおり、ツール名を挙げられることと、AI の出力を疑って確かめられることは、まったく別の能力です。操作の確認では、肝心の検証力や思考の質まで届きません。

では、検証力を聞こうとして、質問を二通り思い浮かべてみます。一つは、「AI が出した答えが間違っていた経験を、どう気づき、どう直しましたか」と、全員に同じ問いを投げ、同じ基準で採点するやり方。もう一つは、相手の答えに「なぜそう判断したのですか」「もし出典がなかったらどうしますか」と、その場で食い下がっていくやり方。前者は質問を固める設計、後者は対話で掘る設計です。どちらも「検証力を見たい」という目的は同じなのに、聞き方の思想がはっきり分かれます。

この分かれ目は、AI 時代に始まった話ではありません。構造化面接か、自由なやり取りかという対立は、採用研究が長く扱ってきた古いテーマです。ただ、AI を使う力という「目に見えにくく、思考プロセスに宿る能力」を測ろうとした途端、この古い対立が新しい切実さを帯びてきます。次の章で、まず「操作確認では測れない」という出発点を、もう少しだけ固めておきます。


2. 操作確認では、検証力も思考の質も測れない

「そのツール、使えますか」── この聞き方の限界を、最初にはっきりさせておきます。

操作の確認は、「やったことがあるか」までしか届きません。チャットに問いを投げたことがある、たたき台を作らせたことがある。それは事実として確認できます。けれど、採用で本当に知りたいのは、もう一段奥にあります。出てきた答えのどこを疑ったか。何を一次資料で裏取りしたか。任せ方をどう調整して質を上げたか。こうした検証と判断のプロセスは、「使えますか」という問いの外側にあります。

ここで効いてくるのが、第 1 章で触れた予測妥当性という考え方です。採用の質問は、「過去にやったか」を確認するためではなく、「入社後に活躍するか」を予測するために設計されます。Schmidt & Hunter のメタ分析が示したのは、聞き方の構造度によって、この予測の当たり方が変わるという事実でした(出典: Psychological Bulletin, 124(2)、1998 年)。つまり「何を聞くか」だけでなく「どう聞くか」が、その後の活躍を当てられるかどうかを左右します。

そうなると、問いは自然にこう立ちます。AI を使う力という見えにくい能力を、その後の活躍まで当てられる形で聞くには、質問を固めるべきか、対話で掘るべきか。ここから、二つの派の言い分を、できるだけ対等に並べていきます。先に断っておくと、この記事は片方を勝たせるためのものではありません。両者の強みが効く場所は、もともと違うからです。


3. A派 ── 構造化された質問で「測る」

まず、構造化質問派の言い分から聞きます。

構造化面接とは、ざっくり言えば「全員に同じ質問を、同じ順番で投げ、あらかじめ決めた評価基準で採点する」面接です。アドリブの追加質問を抑え、評価のものさしを先に固めておく。この設計の強みは、研究の数字にはっきり出ています。Schmidt & Hunter のメタ分析では、構造化面接の予測妥当性が r=.51 で、非構造化面接の r=.38 を上回りました(出典: Psychological Bulletin, 124(2)、1998 年)。さらに同研究は、一般的な知的能力の検査と構造化面接を組み合わせると、合成妥当性が .63 まで上がるとも報告しています。

ただし、ここで一つ年次の注意が要ります。この「.51」は、当時の統計補正(範囲制限の補正)に依存した推定値でした。その後 Sackett らが補正方法を見直したところ、構造化面接の妥当性は .42 へ、非構造化面接は .19 へと、どちらも下方修正されています(出典: Journal of Applied Psychology, 107(11)、2022 年)。絶対値は下がりました。けれど注目したいのは相対差です。.42 対 .19 ──むしろ「構造化が非構造化の約 2 倍当てる」という差は、補正をやり直したあとのほうが開いています。つまり、数字の絶対値は控えめに見ておくべきだとしても、「構造化のほうがよく当てる」という結論自体は、二つの研究をまたいで生き残っています。

構造化派の強みは、予測力だけではありません。同じ質問・同じ基準で測るので、候補者どうしを横並びで比較できます。評価がぶれにくく、後から「なぜこの人を選んだのか」を記録として説明できる。公平性や法的な説明責任の観点でも、これは大きな利点です。バイアスの面でも、複数のメタ分析が「構造化のほうがバイアスの影響を受けにくい」ことを示しています。AI を使う力に当てはめれば、「直近で AI の誤りに気づき修正した具体例を一つ」と全員に問い、修正の質を共通基準で採点する ── そういう測り方が、ここに当たります。再現性と公平性で、構造化質問派は強いのです。


4. B派 ── 対話で「観る」

次に、対話観察派の言い分を、同じだけの重さで聞きます。

対話観察派が引っかかるのは、まさに構造化の「決めておく」という部分です。質問を先に固めると、相手の答えに合わせて深掘りする余地が消えます。AI を使う力の核心 ── 出力を疑う検証力、問いを立て直す思考の質、新しいツールへの更新の速さ ── は、用意した一問では底まで届かないことがあります。「AI の答えを直した経験は?」と聞いて、もっともらしい答えが返ってきたとき、その判断が本物か借り物かを見分けるには、「では、なぜそこを疑ったのですか」「出典が一つしかなかったら、どう動きますか」と、その場で食い下がる必要があります。この往復の中でこそ、思考のプロセスが見える、というのが対話派の主張です。

この主張には、研究側からの援護もあります。構造化はバイアスを「低減する」けれども「完全には除去しない」── これは複数のメタ分析で繰り返し確認されている点です。質問を固めても、評価する人間の主観は最後まで残ります。だとすれば、固めることだけに頼るのではなく、その場のやり取りで相手の思考を実際に動かして観る価値は消えない、という反論が成り立ちます。決められた質問の答えは準備できますが、予期しない掘り下げへの反応は、その場でしか生まれないからです。

もちろん、対話観察には弱点もあります。属人的で、面接官の力量に左右されやすい。記録が残りにくく、候補者どうしの横並び比較が難しい。バイアスも入り込みやすい。だからこそ、対話派の言い分は「構造化を捨てて自由にやろう」ではないはずです。「構造化で測りきれない領域が確かにあり、そこは対話で観るしかない」── そう読むのが、両派を対等に扱う筋だと思います。要点は、A派が再現性・公平性で強く、B派が深掘りと思考プロセスの可視化で強い、という役割の違いです。


5. 対立ではなく、2軸で線引きする

ここまでくると、二つの派は「どちらが正しいか」を争っているのではないことが見えてきます。得意な領域が、もともと違うのです。そこで、対立を 2 軸の地図に置き換えてみます。

一つ目の軸は、測りたい能力の可視性です。共通の質問と基準で採点しやすい、答えが目に見えやすい能力か。それとも、思考プロセスのように、掘らないと見えてこない能力か。二つ目の軸は、公平性の要求度です。候補者を横並びで厳密に比較し、選考理由を記録として説明する必要がどれだけ高いか。新卒の大量選考なのか、少数の見極めなのか。

この 2 軸を重ねると、線引きがこうなります。可視性が高く、公平性の要求も高い能力── たとえば「AI の誤りに気づき修正した具体例」のように、共通の問いで採点でき、全員を横並びで比べたい能力は、構造化質問で測る側に置きます。再現性と説明責任が効く領域です。一方、可視性が低く、深掘りが要る能力── 検証の判断がどこから来ているのか、新しい状況にどう思考を更新するか、といった「掘らないと底が見えない」能力は、対話で観る側に置きます。

大事なのは、これが「AかBか」の二者択一ではないことです。一つの面接の中で、両方を使い分けられます。前半は全員共通の構造化質問で、可視性の高い能力を公平に測る。後半は、その答えを起点に対話で掘り、思考プロセスを観る。つまり構造化質問は「土台」、対話観察は「その上の深掘り」として重ねられます。N016「ポテンシャル採用 vs 即戦力採用」で 2 軸 4 象限に整理したのと同じく、対立に見えたものは、軸を 1 本入れるだけで「使い分けの地図」に変わります。


6. 私のスタンスと、翌週の問い

最後に、両論を並べたうえでの、私自身の見立てを置いておきます。

立て付けはこうです。構造化質問を土台に置き、対話観察をその上に重ねる。 数字が一貫して支持しているのは、聞き方を構造化したほうが、その後の活躍をよく当てられるという事実です(出典: Psychological Bulletin, 124(2)、1998 年 / Journal of Applied Psychology, 107(11)、2022 年)。だから、公平性が要る大量選考や、横並び比較が必要な場面では、まず構造化質問で測る土台を持つべきだと考えます。AI を使う力でいえば、「直近で AI の出力を疑い、修正した具体例を一つ」を全員に問い、修正の質を共通基準で採点する。ここはぶらさない。

そのうえで、構造化だけでは底が見えない検証力と思考の質に限って、対話で掘る。固めた質問の答えを起点に、「なぜそこを疑ったのか」「出典がなければどう動くか」と、その場で往復する。構造化がバイアスを完全には消さない以上、対話を足すこと自体がリスクではなく、土台があるから対話の掘りも比較可能になる、という順番が大事だと思っています。土台なしの自由対話は属人的になりますが、土台の上の対話は、思考プロセスという見えにくいものを照らす灯りになります。

ただ、これはあくまで一つのスタンスです。少数を深く見極める採用なら、対話の比重をもっと上げてよいかもしれない。逆に、応募が殺到する選考では、構造化をさらに厳密にすべき場面もある。正解は、あなたの採用が「何を、どれだけ公平に測りたいか」で変わります。来週の面接の前に、一度だけ問いを立ててみてください。「自分はこの面接で、構造化質問で測る能力と、対話で観る能力を、それぞれ何に決めるか」。AI を使う力を見抜けるかどうかは、ツールの知識ではなく、この線引きを自覚できているかどうかから始まる気がします。


まとめ

この「測りたい能力の可視性 × 公平性要求度」の 2 軸の考え方を保存して、今週の面接の前に一度試してみてください。やることは一つだけです。「構造化質問で測る能力」と「対話で観る能力」を、それぞれ 1 つずつ決めてから面接に臨む。土台で何を測り、その上で何を掘るか ── これを決めるだけで、質問の組み方が変わります。

よければコメントで、「あなたは構造化質問派か、対話観察派か、なぜそう思うか」を聞かせてください。両派の言い分は、現場の実感によって重みが変わります。あなたの採用の景色から見えるものを、一緒に考えられたら嬉しいです。


参考文献・出典

  1. Schmidt, F. L. & Hunter, J. E.『The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 85 Years of Research Findings』Psychological Bulletin, 124(2), 262-274(1998 年)。85 年分の人事選抜研究のメタ分析。構造化面接の予測妥当性 r=.51、非構造化面接 r=.38、一般知的能力(GMA)も中複雑度職務で r=.51。GMA と構造化面接の合成妥当性は .63。なお r=.51 は当時の範囲制限補正に依存した推定値である点に留意。https://home.ubalt.edu/tmitch/645/session 4/Schmidt & Oh validity and util 100 yrs of research Wk PPR 2016.pdf

  2. Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F.『Revisiting Meta-Analytic Estimates of Validity in Personnel Selection: Addressing Systematic Overcorrection for Restriction of Range』Journal of Applied Psychology, 107(11), 2040-2068(2022 年)。従来メタ分析の範囲制限補正が過大だったと批判し妥当性を下方修正。構造化面接 .42、非構造化面接 .19、GMA は .51→.31。絶対値は低下したが、構造化が非構造化の約 2 倍という相対差はむしろ拡大。実務含意は 2023 年の続編(Industrial and Organizational Psychology, 16(3), 283-300)に展開。https://pubmed.ncbi.nlm.nih.gov/34968080/

  3. 構造化面接とバイアスに関する複数のメタ分析(構造化面接は非構造化に比べバイアスの影響を受けにくいが、完全には除去しない)。本記事では著者名・年の断定を避け、「構造化でもバイアスは残る」という結論のみを参照した。


関連記事

  • 「『AIを使える人』を採用で見抜けるか ── 操作ではなく検証力を見る」: AI を使う力の中身を「操作ではなく検証力」として捉え直した回。本記事はその検証力を「面接でどう聞くか」に踏み込んでいます。

  • 「『ポテンシャル採用 vs 即戦力採用』論争を整理する」: 採用の対立を 2 軸 4 象限で線引きした回。本記事の「可視性 × 公平性要求度」も同じ発想で組んでいます。


このマガジンについて

AI 時代を、経営の 6 領域(経営戦略・M&A・事業戦略・組織論・採用・キャリア)から読み解き、学生・若手・エントリー層が「読み終えた翌週に 1 つ視点を持ち帰れる」発信を続けています。次の記事も役に立ちそうなら、マガジンのフォローをお願いします。

X(@k_abe_raxus)でも、記事の要点や翌週使える視点を日々シェアしています。よければのぞいてみてください。

いいなと思ったら応援しよう!