測定は人間を助けるのか、従わせるのか――AI時代に読む『測りすぎ』

指標が目的を食い始めるとき――『測りすぎ』読書ノート

ジェリー・Z・ミュラー『測りすぎ――なぜパフォーマンス評価は失敗するのか？』を、まず第1章、第2章、第15章、第16章から読んだ。
第1章は本書全体の要旨、第2章は測定が壊れる典型パターン、第15章は測定執着がもたらす悪影響、第16章はではどう測ればよいのかというチェックリストになっている。

この本は、単なる「数字批判」の本ではない。むしろ、数字や測定は必要である、という前提に立っている。ただし、測定が判断を助ける道具であることを忘れ、測定そのものが目的になると、組織は本来の目的からずれていく。ミュラーが批判しているのは、測定ではなく、測定への過剰な信仰である。
この本の問題意識を一言で言えば、こうなる。
測定は現実を見るための窓にはなる。
しかし、測定は現実そのものではない。
にもかかわらず、組織はしばしば、測りやすいものを本当に大事なものの代理にしてしまう。
そして、いったん指標が評価や報酬や懲罰と結びつくと、人々は目的をよくするより、指標をよくするように動き始める。ここが本書の核心だと思う。

測定は判断の代わりにならない

第1章では、本書全体の敵役として「測定執着」が説明される。
測定執着とは、ざっくり言えば、標準化された数値で仕事を評価すれば、組織は透明になり、説明責任が果たされ、人々はよりよく働くはずだ、という考え方である。そこには、経験や専門的判断よりも、数値化されたデータのほうが信頼できるという発想がある。

もちろん、数字には力がある。
数字は、感覚や印象だけでは見えないものを見せてくれる。人間の判断には偏りがあるので、それを補正するためにも測定は役に立つ。医療、教育、行政、企業経営、研究評価など、どの分野でも、何も測らないより測ったほうがよい場面はたくさんある。

ただし、問題はその先にある。
数字は判断を助けることはできるが、判断を置き換えることはできない。
にもかかわらず、組織はしばしば、数字があることで判断が不要になったかのように振る舞う。
たとえば、教師の仕事はテストの点数だけでは測れない。医師の仕事は治療件数だけでは測れない。研究者の仕事は論文数だけでは測れない。企業の仕事も、短期売上だけでは測れない。

しかし、組織管理の場面では、測りにくいものより、測りやすいものが前に出る。測りやすいものは比較しやすく、報告しやすく、管理しやすい。だから、いつのまにか「本当に重要なもの」ではなく、「測定可能なもの」が評価の中心になっていく。
このとき、数字は単なる道具ではなくなる。数字は、人の行動を変える力を持ち始める。

第1章で重要なのは、測定は中立ではないという点である。測定されると、人は測定に反応する。特に、その測定結果が給与、昇進、予算、ランキング、処罰、評判と結びつくと、人はその数字をよくするように行動する。
それが本来の目的に沿っていればよい。だが、そうでない場合、数字は現実を映す鏡ではなく、現実を歪める装置になる。
ここで思い出すべきなのが、グッドハートの法則やキャンベルの法則である。簡単に言えば、指標が目標になると、その指標はよい指標ではなくなる、ということだ。数字が評価に使われるほど、人は数字を改善しようとする。すると、その数字はもはや現実を素直に表すものではなくなる。

体温計でたとえるとわかりやすい。
体温計は、体調を知るための有用な道具である。だが、もし「体温が一定以下なら報酬を出す」という制度にしたら、人は健康になるより先に、体温計をごまかす方法を考えるかもしれない。測定が悪いのではない。測定結果に過剰な意味を持たせると、測定そのものがゲーム化するのである。

第1章を読んで残った感覚は、かなりはっきりしている。
測定は管理の道具ではある。
しかし、人間の判断の代用品ではない。
数字が増えるほど、判断が不要になるのではない。むしろ、どの数字をどこまで信じるのか、数字に何を任せ、何を任せないのかという判断が、より重要になる。

測定が失敗するときの典型パターン

第2章は、測定が壊れるパターンを整理する章である。ここはかなり実務的に読める。
まず起きるのは、「一番簡単に測定できるものしか測定しない」という問題である。
仕事の成果は、たいてい複雑である。教育なら、子どもがどれだけ考える力を身につけたか、学ぶ意欲を持てたか、長期的に自分で学べるようになったかが重要になる。医療なら、単に処置件数が多いかではなく、患者の生活の質や長期的な回復も大事になる。企業なら、短期売上だけでなく、信頼、育成、協力、技術蓄積、顧客との関係も重要になる。
しかし、こうしたものは測りにくい。
そこで、テスト点、処理件数、売上、滞在時間、クリック数、対応件数、論文数、手続き完了率のような、測りやすいものが前に出る。測りやすいものは便利だが、それは本当に大事なものの一部でしかないことが多い。

次に起きるのは、成果ではなくインプットやプロセスを測る問題である。
何を生み出したかより、何時間かけたか、何件処理したか、どの手順を踏んだか、どれだけ報告したかが評価される。これは管理しやすいが、目的に近いとは限らない。むしろ、仕事をした証拠を作ることが仕事になってしまう。

さらに、標準化によって情報の質が落ちる。
標準化は、比較を可能にする。比較を可能にするためには、複雑な現実を同じ形式にそろえなければならない。その過程で、文脈、事情、歴史、関係性、難易度、例外、質的な違いが削られる。
標準化された数字はきれいに見える。だが、そのきれいさは、現実の複雑さを切り落とした結果かもしれない。

第2章で特に重要なのは、測定される側が指標に合わせて行動を変えるという点である。
たとえば、「上澄みすくい」が起きる。成果を出しやすい顧客、生徒、患者、案件だけを選び、難しいケースを避ける。数字上は成果が上がって見えるが、本来助けるべき人や、本来取り組むべき問題が後回しになる。
また、数字を改善するために基準を下げることもある。卒業率を上げたいなら、卒業基準を下げればよい。定時運航率を上げたいなら、あらかじめ予定時間を長く取ればよい。処理率を上げたいなら、難しい案件を別分類にしてしまえばよい。

数字は改善する。
しかし、実態が改善したとは限らない。
さらに、不都合なデータを記録しない、分類を変える、例外扱いにする、報告から外す、ということも起きる。最後には、不正行為にまでつながる。
ここで見えてくるのは、測定の失敗が偶然ではないということだ。測定結果が評価と結びつけば、人はその指標を意識して動く。その結果、指標は現実を測るだけでなく、現実そのものを変えてしまう。
第2章を読んで残る問いは、これである。
この指標は、本当に目的を測っているのか。
それとも、目的に似ているが、測りやすい別物を測っているだけなのか。

数字がよくなっても、仕事がよくなるとは限らない

第15章は、測定執着がもたらす悪影響をまとめる章である。ここは、今のAI、DX、省力化、KPI管理、HITLの議論にかなり接続しやすい。

まず大きいのは、目標のずれである。
測定されるものに労力が集中し、測定されないが本当は重要なものが後回しになる。これは、手段が目的を食っていく現象である。教育の目的が学ぶ力を育てることだったとしても、テスト点が評価の中心になれば、授業はテスト点を上げる活動へ寄っていく。医療の目的が患者の健康だったとしても、処置件数や再入院率のような指標だけが重視されれば、現場の行動はその数字に寄っていく。

次に、短期主義が強まる。
測定されやすいのは、短期間で結果が出るものだ。売上、処理件数、件数ベースの成果、短期の改善率は測りやすい。一方で、長期的な学習、信頼関係の構築、人材育成、研究開発、組織文化、暗黙知の継承、相互監督の仕組みは、すぐには数字に出にくい。

だから、評価制度が短期指標に偏ると、長期的に大事なものが削られる。
ここは、省力化の議論と深く関係する。
省力化は、短期的には成功に見えることがある。人数が減った。処理件数が増えた。平均対応時間が短くなった。コストが下がった。そうした数字だけを見ると、改善に見える。
しかし、その裏で何が削られているのかを見なければならない。
引き継ぎが削られていないか。
相互監督が削られていないか。
例外対応の余力が削られていないか。
後進育成が削られていないか。
暗黙知の共有が削られていないか。
失敗を未然に防ぐ冗長性が削られていないか。
これらは、短期のKPIには出にくい。しかし、組織の本当の能力を支えているのは、むしろこうした測りにくいものかもしれない。

第15章では、測定にかかるコストも重要な論点になる。
測定は無料ではない。データを集める、入力する、整える、報告する、会議で説明する、監査に備える。これらはすべて時間を食う。しかも、その時間は本来の仕事から奪われる。
数字で管理するために、現場は数字を作る仕事に追われる。
説明責任を果たすために、説明するための書類が増える。
透明性を高めるために、記録と監査とチェックが増える。

その結果、仕事は軽くなるどころか、重くなることがある。
さらに、測定の効用には逓減がある。最初に測定を導入すると、明らかな問題や極端な不正を見つける効果はあるかもしれない。しかし、測定を増やし続けるほど、追加で得られる利益より、データ収集や報告にかかるコストのほうが大きくなることがある。
測定の不完全さを補おうとして、組織はさらにルールを増やす。数字の操作を防ぐために新しい規則を作る。例外を防ぐために手続きを細かくする。監査を増やす。記録を増やす。承認を増やす。すると、仕事はさらに重くなる。
ミュラーは、こうした悪循環を「規則の滝」として描いている。

リスクを取る勇気やイノベーションも弱くなる。大きな成果は、長い試行錯誤を必要とすることが多い。新しい研究、新しい事業、新しい制度、新しい技術は、最初から数字が出るとは限らない。むしろ、途中では失敗や停滞が多い。
ところが、短期の数字で評価されると、リスクのある挑戦は避けられる。安全で、予測可能で、すぐに数字が出る仕事が選ばれる。結果として、組織は失敗を避けるが、同時に学習や革新の機会も失う。

協力関係も損なわれる。
個人や部署ごとに指標が割り当てられ、報酬や評価と結びつけられると、人々は共通目的より自分の数字を優先しやすくなる。助け合い、知識共有、後進育成、他部署への協力のような行動は、組織全体には重要でも、個人指標には反映されにくい。
そうなると、数字上は合理的でも、組織全体としては不合理な行動が増える。

第15章を読んで強く残るのは、数字がよくなることと、仕事がよくなることは同じではないということだ。
数字が改善しているのに、仕事は劣化している。
報告は増えているのに、判断は貧しくなっている。
透明性は高まっているのに、現場の意味は見えにくくなっている。
効率化しているはずなのに、組織の長期的な力は痩せている。
こういうことは、十分に起こりうる。

では、どう測ればよいのか

第16章は、本書の着地点である。
ここでミュラーは、測定を捨てろとは言っていない。むしろ、測定を使うなら、どう使うべきかを考えるためのチェックリストを提示している。

この章で大事なのは、測定を導入すること自体にも判断が必要だという点である。
何を測るのか。
なぜ測るのか。
誰のために測るのか。
誰がその数字を使うのか。
その数字は報酬や罰と結びつくのか。
その数字を集めるために、どれだけの時間が失われるのか。
その数字は、現場の判断を助けるのか、それとも置き換えてしまうのか。
これらを考えずに、ただ測定を増やすと、測定は改善の道具ではなく、統制の道具になる。

第16章のポイントは、測定の使い方を分けることにある。

内部の学習や改善のために使う測定と、外部から報酬や懲罰を与えるために使う測定は、同じではない。前者では、数字は現場が自分たちの仕事を振り返る材料になりやすい。後者では、数字をよく見せるゲームが始まりやすい。

低重要度の測定と、高重要度の測定を区別することも大事である。
低重要度の測定とは、結果がすぐ給与、昇進、解雇、予算削減、ランキングなどに直結しない測定である。こうした測定は、学習や改善のために使いやすい。

一方、高重要度の測定とは、結果が評価や報酬や処罰に直結する測定である。この場合、人は強く反応する。数字をよくしようとする。場合によっては、数字の見せ方を操作する。だから、高重要度の測定ほど、慎重に扱わなければならない。

また、何を測っているのかも問わなければならない。
物理的な対象に近いものは、比較的測りやすい。だが、人間の行動、判断、学習、動機、信頼、協力のようなものは、測定すると測定対象そのものが反応する。人間は、測られると、その測定に適応する。だから、人間の仕事を測るときには、測定が行動を変えることを前提にしなければならない。

さらに、測定結果が本当に有益かを問う必要がある。
測れるから測るのではない。
測った数字が、知りたいことのよい代理になっているかを見る必要がある。
ここで重要なのは、測りやすさと重要性は同じではないということだ。むしろ、重要なものほど測りにくいことがある。信頼、判断力、育成、協力、創造性、責任感、倫理、現場の違和感。これらは数字にしにくいが、だからといって重要でないわけではない。

測定にかかるコストも見るべきである。
データ収集、入力、処理、分析、報告、会議、監査。こうした時間は、本来の仕事から奪われる。測定によって得られる情報の価値が、そのコストに見合っているのかを考えなければならない。

誰が測定基準を作るのかも重要である。
現場を知らない人が、外側から標準化された指標を作ると、文脈が落ちやすい。逆に、現場の専門知や暗黙知を持つ人が設計に関われば、測定は判断を助ける道具になりやすい。

結局、第16章が言っているのは、測定にも設計思想が必要だということだと思う。

よい測定は、人間の判断を助ける。
悪い測定は、人間の判断を追い出す。

よい測定は、現場が学ぶために使われる。
悪い測定は、現場を従わせるために使われる。
よい測定は、目的に近づくための補助線になる。
悪い測定は、それ自体が目的になる。

AI、DX、HITL、省力化の問題として読む

この本は、KPI批判の本として読むだけではもったいない。AIやDXや自動化の制度設計を考える本として読むと、かなり強い。

たとえば、HITL、つまり human in the loop の議論がある。
AIの判断に人間を関与させることは重要だ。しかし、「人間が確認した」という事実だけを数えると、危うい。見るべきなのは、人間が本当に意味のある判断をしたのかどうかである。

人間が関与したか。
ではなく、
その関与は実質的な統制だったのか。

ここを問わないと、「確認済み」という記録を作ることが目的になる。チェック欄を埋めることが、人間の判断の代わりになる。これはまさに、測定が目的を食ってしまう例だと思う。

省力化についても同じことが言える。
「何人減らせたか」「何件処理できたか」「何分短縮できたか」は測りやすい。しかし、それだけでは本当の変化は見えない。削られているのが単なるムダならよい。だが、削られているのが、引き継ぎ、相互監督、例外対応、後進育成、暗黙知の共有、失敗を防ぐ余白だったらどうか。
短期の効率は上がる。
しかし、長期の判断力は落ちるかもしれない。

AI導入でも、精度、処理件数、工数削減、応答時間のような数字は前に出やすい。もちろんそれらは大事である。だが、説明可能性、責任の所在、利用者の納得、現場の学習、異常時の判断、倫理的な躊躇、チーム内の相互確認のようなものは、数字にしにくい。
だからこそ、数字にしにくいものを意識して残す必要がある。
測りやすいものだけで制度を作ると、測りにくいものは制度上存在しないものとして扱われる。これがいちばん危ない。

初学者向けに整理するなら

この本を初めて読むなら、まず次の流れで理解するとよいと思う。
まず、測定は悪くない。
ただし、測定は現実の一部しか見せない。
次に、測定結果が評価や報酬と結びつくと、人はその数字に合わせて行動する。
そして、その数字が本来の目的とずれていると、組織は目的ではなく数字を改善する方向に動く。
最後に、その結果として、短期主義、数字合わせ、基準引き下げ、上澄みすくい、データ操作、報告業務の増加、協力の低下、育成の劣化、イノベーションの阻害が起きる。

つまり問題は、数字そのものではない。
問題は、数字を目的にしてしまうことである。
問題は、数字で判断を助けるのではなく、数字で判断を置き換えてしまうことである。
問題は、測りやすいものを、本当に大事なものの代理にしてしまうことである。

読後に残った問い

この四つの章を読んで、残った問いは三つある。
第一に、測りやすいものが、本当に大事なものの代理になっていないか。
第二に、評価の仕組みが、現場の判断、育成、協力、長期的な学習を削っていないか。
第三に、数字が人間を助ける道具ではなく、人間を数字に従わせる制度になっていないか。
この三つの問いは、KPIにも、AI導入にも、DXにも、省力化にも、HITLにも、そのまま使える。

まとめ

測定は、現実を見るための窓である。
しかし、現実そのものではない。
数字は、判断を助ける。
しかし、判断を不要にはしない。
むしろ、数字が増えるほど、どの数字を信じるのか、どの数字を疑うのか、その数字によって何が見えなくなっているのかを考える必要がある。

一番危ないのは、数字が悪いことではない。
数字がきれいに整い、報告書が揃い、説明責任が果たされたように見える一方で、実際には仕事の目的、専門職の判断、協力関係、育成、長期的な学習が痩せていくことである。
だから、この本を読むときの中心線はこうなる。測定をなくすのではなく、測定を目的にしない。
数字を見るのではなく、数字によって何が見えなくなっているかを見る。
『測りすぎ』は、KPI批判の本であると同時に、AI時代の制度設計を考えるための本でもあると思う。

#読書メモ #読書ノート #測りすぎ #TheTyrannyOfMetrics #ジェリーZミュラー #KPI #評価制度 #パフォーマンス評価 #指標 #メトリクス #組織論 #マネジメント #DX #AI #HITL #省力化 #人材育成 #制度設計 #グッドハートの法則 #キャンベルの法則