見出し画像

あなたが暮らしている3つの統計的嘘  あなたの人生を動かす数字は圧縮されている——そして何が捨てられたか



英語版:
https://medium.com/@izayohi/three-statistical-lies-you-live-inside-afd475311970


https://claude.ai/public/artifacts/47393495-46fc-46b7-8f38-3ffba3b2f323

あなたが暮らしている3つの統計的嘘

あなたの人生を動かす数字は圧縮されている——そして何が捨てられたか

石部統久 · シン・ネクシャリスト/不可知論的唯物論Claude Opus4.6
査読 Claude Opus4.6 別チャット・Grok・Gemini3.1・ChatGPT


§0. 圧縮問題

https://x.com/Newton_Science/status/1031788874836529152?s=20

テストをひとつ。二つの画像に点が散らばっている。一方は真のランダム過程で生成され、もう一方は人間が「ランダムに見えるように」配置した。どちらがどちらか?

大多数の人は、均等に散らばったパターンを「ランダム」と選ぶ。誤りである。真のランダムは塊だらけで、偏りに満ち、意味のない見かけのパターンで溢れている。人間が配置した版は整いすぎている——真の偶然が生む塊や隙間がない点が怪しい。何百万年にわたる捕食者検知とベリー探索で磨かれたあなたの脳は、存在しない秩序を見出すことをやめられない。

この小さな知覚の失敗は、はるかに大きな問題の症状である。

私たちは少なくとも3つの統計的嘘のなかで暮らしている。ランダムネス——人間にもコンピュータにも実際には作れない。統計的有意性——多くの科学者や読者が受け取るほどの意味を持たない二値ラベル。平均値——ほとんど誰の現実も代表しない。これらは3つの別々の雑学ではない。ひとつの構造的欠陥の3つの顔である:連続的で複雑な現実を離散的で簡潔な記号に圧縮する際の情報損失を、制度が正当化し、認知バイアスが自然化する。

すべての統計ツールはロッシーコーデック(非可逆圧縮器)である。MP3は高音を捨て、JPEGは細部を捨てる。平均は分布の形状を捨て、P値は効果量を捨て、疑似乱数生成器は真の予測不可能性を捨てる。圧縮そのものは必要だ——生の未処理の現実では操作できない。問題は、何が捨てられたかがラベル表示されないこと。本稿は、何が捨てられたかについてである。

「嘘」という語について一言。本稿は統計手法が虚偽だと主張しているのではない。ここでいう「統計的嘘」とは、圧縮に伴う情報損失が制度と認知の相互作用で不可視になるときに生じる構造的錯視——圧縮された代理物をモノそのものと取り違える現象——を指す。


§1. ランダム


やっとランダム数できました!!

人間

ブリストル大学の統計学・機械学習研究者ダニー・ジェームズ・ウィリアムズがRedditユーザー2,190人に「1から10の数字をランダムに」選ぶよう求めた。心理学は長年「ブルー・セブン現象」——人々は圧倒的に7を選ぶ——を記録してきた。ウィリアムズは異なる結果を発見した。最も人気があったのは4だった。参加者の多くがブルー・セブン効果を知っていたため、集団的に逆張りし、同じく非ランダムな新しいバイアスを生み出した。ランダムになろうとすればするほど、予測可能に収束する。

データは他のパターンも明かした。端の数字(1と10)は体系的に回避された——「意図的すぎる」と感じられた。1〜50の範囲では、10の倍数は期待値の半分以下しか選ばれず、7を含む数字(17, 27, 37)は偶然の予測のほぼ2倍の頻度で選ばれた。最も示唆的なのは、選択肢をクリックではなくキーボード入力にすると、二桁の10の選択がさらに減少したことだ——キーストローク1回分の差が「ランダムな」選択を歪めるのに十分だった。あなたの指が、脳ではなく、決定している。

機械

「乱数を算術的方法で生成しようとする者は、もちろん罪深い状態にある」とフォン・ノイマンは1951年に書いた。正しかった。コンピュータは決定論的機械——同じ入力、同じ出力。ソフトウェアが「乱数」と呼ぶものは疑似乱数生成器(PRNG)——ランダムネスに統計的に類似する数列を生成するアルゴリズムであり、初期シード値によって完全に決定される。シードを知れば未来を知る。

工学的回避策

グローバルなインターネットトラフィックの相当部分を処理するCloudflareは、物理世界からカオスを輸入することでこの問題を解決した。サンフランシスコ本社ではカメラで撮影した溶岩ランプの壁を使い、予測不能なワックスの対流からエントロピーを生成する。2025年3月、リスボンのオフィスに50台の造波装置が設置された——混じり合わない液体を入れたアクリル容器が1日2万回以上揺動する。カメラ映像はハッシュ化され、システムエントロピーと混合され、Cloudflareネットワーク全体で毎秒7,000万以上のHTTPリクエスト——その大半がこの物理的エントロピーに依拠するTLS暗号化で保護されている——を支える暗号乱数生成器に供給される。

教訓:決定論的計算だけでは閉じた系の内部から新しいエントロピーを生み出せない。暗号実装は、その種を物理過程から受け取る。

エンターテインメントの逆転

ゲーム業界は逆の問題に直面している。真のランダムネスはプレイヤーにおかしいと感じられる。北陸先端科学技術大学院大学(JAIST)の研究は、プレイヤーが数学的に公正なサイコロの目を「操作されている」と評価することを示した——短い試行で均等な分布を期待し(そうはならない)、自然なクラスターをバグとして拒絶する。

Spotifyも同じ現象に遭遇した。ユーザーが「同じアーティストばかり続く」と苦情を出した。Spotifyはアーティストを人工的に分散させるようアルゴリズムを再設計した——よりランダムに感じさせるためにランダム性を減らした。2025年11月、Spotifyのエンジニアリングブログは数学的シャッフルと「Fewer Repeats」モードの区別を公式に説明している。

人間がランダムネスに求めるのは確率論的正しさではない。正しさとして納得できる見た目である。


§2. 科学を壊した二値判定

P値が実際に意味すること

数学者・黒木玄は、あまりに蔓延したために既定値と化した誤解の修正に長年取り組んでいる:P値は仮想世界の確率であり、現実世界の確率ではない。 具体的には、帰無仮説が真である——効果がない、差がない、シグナルがない——と仮定した場合に、観察されたデータと同等かそれ以上に極端なデータがどのくらいの頻度で生じるかを測定する。P値0.03は「薬が効く確率が97%」ではない。「薬が何の効果もない仮想世界において、今回と同等以上の結果が偶然生じる確率が3%」ということだ。

P値は効果の大きさについても、仮説の真偽についても、あなたの結果が偶然だった確率についても、何も教えない。

P < 0.05 の独裁

にもかかわらず、数十年にわたりP < 0.05という単一の閾値が科学出版のゲートキーパーとして機能してきた。2019年、800人以上の科学者がNature誌のコメンタリーに署名し、「統計的有意性」を二値カテゴリーとして使うことの廃止を求めた。米国統計学会(ASA)は2016年にすでに歴史的声明を出している——P値は効果の大きさや結果の重要性を測るものではなく、P値が固定された閾値を超えたかどうかだけで科学的結論を下すべきではない、と。

問題は構造的だ:連続的な不確実性を「有意/非有意」に切断すると、制度がその切断を最適化する。結果が出版バイアスだ——「有意」な結果を出した研究は出版され、そうでない研究はお蔵入りになる。歪んだ科学文献が形成される。キャリアの圧力下で、研究者はP-hacking——複数の分析を走らせ、標本定義を調整し、P値が魔法の数字を下回るまで選択的に報告する——に走る。

日本では2019年に毎月勤労統計調査不正が発覚した。厚生労働省は法定の全数調査を勝手に抽出調査に変更し、復元処理すら行わなかった。社会調査協会の前理事長・盛山和夫はこれを「事実への畏怖の欠如」と批判した。

そしてこの歪んだ文献は、AIの訓練データにそのまま流入する。 音韻論研究者・川原繁人(慶應義塾大学)が三つの主要LLMに同一データ(真のp = 0.077)でt検定を100回ずつ実行させた公開実験では、ChatGPT-4oが88%、Claude(claude-sonnet-4.6)が100%で「統計的に有意」と宣言した。Geminiは temperature=1 で完全正解50%・近似(±0.01以内)82%だが大きな外れ値も観察された。川原氏自身が探索的実験として位置づけており、モデル間ランキングではなく振る舞いの観察として受け取るべきだが、現行のLLMが統計報告らしい文を確率的に生成する位相が各社モデルで異なる程度に作動することは確認できる。この偏りは、訓練コーパスの出版バイアスに加え、RLHFのアラインメント過程——モデルがコーパス中で最も頻出する統計報告フォーマットに適合するよう調整される——にも起因する可能性がある。

【2026年4月23日追記】本稿のKawahara実験の引用について、当初Geminiの結果を省略していました。原典で報告されているGeminiの結果(temperature=1で完全正解50%・近似82%、ただし大きな外れ値も観察)も併せて記載すべきところでした。本稿のテーマである「選択的引用への警戒」が筆者自身に適用された事例として、訂正のうえ記録しておきます。

代替

黒木や他の統計学者が提唱するのは、二値判定の相性関数(P値関数)への置換だ——観察データと各仮説値がどの程度互換的かを示す連続曲線。効果量と信頼区間と組み合わせれば、判決ではなく物語が生まれる:これが我々の発見、これが不確実性の幅、これがデータが排除しない仮説の範囲。


§3. 現実を均してしまう平均値

年収の形状

国税庁「令和6年分民間給与実態統計調査」によれば、日本の平均年収は478万円。分布データから推計した中央値はおよそ360万円前後。乖離は100万円を超える。最頻値帯は300〜400万円台。約6割が「平均」以下に位置する。(注:国税庁は平均値を公表しているが、中央値は分布データからの推計であり、公式公表値ではない。)

この構造は日本に固有ではない。米国国勢調査局の2024年世帯所得データでは、中央値が$83,730であるのに対し、平均値は右裾に引き上げられて大幅に高い。(注:日本の数字は個人の給与所得、米国は世帯所得であり、直接比較はできない。ここで示すのは、右裾分布において平均が多数派から乖離するという構造の同型性である。)

年収は釣鐘型にならない。大多数が低い範囲に集中し、少数の高所得者が無限方向に伸びる右裾分布に従う。平均——数学的には正当な操作——は、右裾の長い分布では多数派の生活位置から外れた地点に着地する。

実例としてのロングテール

日本プロ野球選手会の2025年調査では、平均年俸4,905万円に対し中央値は1,900万円——2.5倍以上の乖離。数億円を稼ぐ一握りのスターが「平均的なプロ野球選手の年俸」を、大多数の選手が到達しない数字に引き上げている。YouTuberでは、トップが推定年収19.6億円に達する。その分布の「平均」は無意味だ。

ケトレーの亡霊

これはデータの偶然ではなく知的歴史の遺産だ。1830年代、ベルギーの統計学者アドルフ・ケトレーはl'homme moyen——「平均人」——を実在する社会的実体として提案し、天文学の誤差分布(ガウス曲線)の数学を社会統計に輸入した。社会現象は正規分布し、平均が意味ある中心であるという仮定が制度的デフォルトになった。年収については当時から間違っていた。今も間違っている。どの要約統計量を報告するかの選択は中立ではない——構造的不平等を可視にするか不可視にするかを決定する政治的行為である。


§4. 3つの失敗がひとつである理由

共通構造:二段階の圧縮

具体を剥がせば、同じメカニズムが3つ全てで作動している——一段の圧縮ではなく、二段階の過程として。

第1段:現象→指標。 連続的な確率過程が「ランダムか否か」の二値に圧縮される。連続的なP値関数が「有意か否か」の二値に圧縮される。歪んだ分布全体が一点——平均——に圧縮される。各圧縮は情報を廃棄する。これは不可避だ——完全な要約は存在しない。

第2段:指標→自然化された「現実」。 圧縮された指標が制度化される——セキュリティ標準によって、学術誌の編集方針によって、政府統計報告によって——圧縮版が人々が依拠する現実そのものになるまで。そして認知バイアスによって自然化される。平均が「普通」に感じられるのはガウス的仮定が教育に組み込まれているから。P < 0.05が証拠に感じられるのは二分法が決断的に見えるから。疑似ランダムが公正に感じられるのは脳がパターンを見るよう進化したから。

損害は第2段で発生する。 第1段ではない。圧縮は必要だ。自然化が病理だ。

フィードバックループ

これらの自然化は知覚を歪めるだけではない。3つの並行するループで自己強化する。

メディアが「平均年収」を報道する → 世間が正規分布的思考を内面化する → 政策議論が平均を基準にする → 不平等が構造的特徴ではなく個人的逸脱になる → 翌年の報道もまた平均を使う。

ゲームデザイナーが「公正に感じる」疑似ランダムを構築する → プレイヤーのランダムに対する直観がさらに較正ズレする → デザイナーはさらに歪めなければならない → 真のランダムと知覚される公正の距離が広がる。

P < 0.05の論文が文献を支配する → その文献で訓練されたLLMが圧倒的な頻度で「統計的に有意」と出力する → AI支援の研究がバイアスを継承する → 新しい出版物が次世代の訓練データに流入する。

各ループで第2段の誤差が伝播し増幅する。現実を代理するはずのツールが、現実に取って代わる。

これが意味すること

統計を捨てよという話ではない——非可逆圧縮は近代科学を構築し、大規模な行政を可能にし、データ処理を成立させた。問題は、すべての統計的要約に「廃棄ラベル」が付くべきだということだ。平均には分布の形状が伴うべきだ。P値には相性関数と効果量が伴うべきだ。「ランダム」な過程にはエントロピー源が宣言されるべきだ。

統計は代理物だ。代理物はモノそのものではない。そして本稿自身が、確率論・有意性検定・記述統計学の広大な歴史を「3つの嘘」に圧縮して見せている。読者はここでも同じ問いを適用すべきだ——この圧縮は何を捨てたか?


§5. リスボンの波

Cloudflareのリスボンオフィスで、50台の造波装置が昼夜を問わず揺動し、そのカオス的パターンが撮影・ハッシュ化されて毎秒数百万の接続を守る暗号鍵に変換されている。決定論的計算は閉じた系から新しいエントロピーを生み出せない——物理から輸入しなければならない。統計リテラシーも同じ制約の下にある。要約が捨てたものを、要約だけを見て回復することはできない。分布に、生データに、圧縮前の世界に戻る必要がある。

あなたの年収は全国平均で代表されない。あなたのスマホのシャッフルは本当にはランダムではない。今朝読んだ「統計的に有意」な結果は仮想世界の確率であり、この世界についての判決ではない。

それを知ること——圧縮が何を捨てたかを知ること——が、データとの誠実な向き合いの出発点だ。


本稿は note.com/@mototchen に掲載された日本語素材——「ランダムは神話?」(2024.12)、「有意差がない=論文化しても意味がない」は有害(2025.9)、「年収は正規分布しない」(2023.11)——に基づく。日本語ドラフトに対して多AI査読(Claude, Gemini, Grok, ChatGPT)を適用し、4者の指摘を統合して改訂した。§2のP値解釈に関して黒木玄氏(@genkuroki)のX上での公開コメンタリーを参照。川原繁人氏のLLM統計バイアス実験はnote.comに公開されている。


英語版は Medium/@izayohi に掲載。


トピック: 統計学 · データサイエンス · 認知バイアス · 批判的思考 · 科学コミュニケーション


関連note


いいなと思ったら応援しよう!