統計論文の「一割」問題——理念・実装・教育・AIの四重欠落

英語版：
https://medium.com/@izayohi/the-one-in-ten-problem-504d7c72f2ac

https://claude.ai/public/artifacts/6ec1e260-2d2e-40e2-8b04-f86086c97f16

統計論文の「一割」問題——理念・実装・教育・AIの四重欠落

「3つの統計的嘘」の続編として

石部統久 · シン・ネクシャリスト／不可知論的唯物論 · Claude Opus 4.7 初稿／Gemini・Grok・ChatGPT 査読

前稿：あなたが暮らしている3つの統計的嘘
英語版：Three Statistical Lies You Live Inside

§0. 先に警告モデルを置く

心理学・社会行動科学を中心とする統計利用論文について、

報告内の算術整合性（Layer 1、通過率およそ半数）・

同一データ再分析の安定性（Layer 2、近似結論一致まで広げて約4分の3）・

別サンプルでの複製可能性（Layer 3、分野により4割〜6割）

——この三つの検査を順に置くと、すべてを通るものは一割台まで落ち込む可能性がある。

これは厳密な有病率推定ではない。異なる研究群から得られた三種類の検査を同じ論文に順に通したら何が起こるか、という警告モデルである。三層の検査は同じ母集団から出ておらず、失敗の種類も異なる。しかし桁感は大きく外れない。

前稿は、ランダムネス・統計的有意性・平均値という三つの記号が圧縮するものと廃棄するものを扱った。今回はその続きである——圧縮の問題が解消されないまま、なぜ論文は量産され、査読を通り、引用され、次世代の教科書とAI訓練データに流入するのか。基盤の欠落と、その欠落を隠蔽する制度層の話である。

§1. 前稿の要約と接続

前稿で到達した地点は三つ。

第一に、真のランダムネスは決定論的計算からは取り出せない——物理エントロピー源から輸入するほかない。

第二に、P値は仮想世界の確率であって現実世界の確率ではない——にもかかわらず P < 0.05 の二値判定が科学出版のゲートキーパーとして機能してきた。

第三に、平均値は右裾分布では多数派の生活位置から外れた地点に着地する——どの要約統計量を報告するかの選択は政治的行為である。

前稿で扱わなかったのは、推測統計の基盤そのものの欠落と、その欠落が制度的に再生産される構造である。ここに踏み込む。

§2. 基盤の欠落——理念と実装のあいだ

推測統計の公準は単純だ——母集団から確率的に抽出された標本の統計量は、母数のまわりに予測可能な分布を持つ。中心極限定理も、信頼区間も、仮説検定も、すべてこの「確率標本が得られている」という理念型の作動を前提とする。

Neyman（1934）は確率標本と有意標本を厳密に区別し、推測統計の保証は前者に限定されると明示した。以後 80 年以上、サンプリング理論は理念型補正論として整備されてきた。

欠落しているのは、理念型が作動していないときに何がどう崩れるかの一般理論である。社会調査・心理学実験・教育研究・マーケティングリサーチの大半は convenience sample（Waterloo大学学部生、MTurk、Prolific、SNS募集）で収集される。これらは確率標本ではない。自己選択バイアスがあり、母集団定義が不明瞭で、包含確率が計算不能である。

Meng (2018, Annals of Applied Statistics) の data defect correlation が、非確率標本に対する一般理論の最初の骨格を示した。結論は厳しい——データ品質を考慮しない母集団推測は、データが多ければ多いほど、より確信的に自分を欺く（Big Data Paradox）。2016年米大統領選で、非確率の大規模調査（CCES）の Trump 票推定は、小規模確率標本より系統的に悪化した。Meng 自身が「確率抽出は処方箋ではなく願望（aspiration, not prescription）」と書いている。

つまり擬似ランダムサンプリング一般理論は、2018年以降ようやく整備されつつある段階である。80 年間、理念と実装のあいだは制度的良識に委ねられてきた。

§3. 三層の脱落——SCORE 2025-2026 の三区別で読む

基盤欠落は、実装層でも独立に記録されている。三つの層で段階的に論文が脱落する。ここで重要なのは、メタ科学研究が三種類の異なる「再現」を区別し始めていることだ。

• reproducibility：同一データ・同一分析で結果が再現できるか

• analytical robustness：同一データ・別分析者で結論が一致するか

• replicability：別サンプルで効果が複製できるか

SCORE 2025-2026 シリーズはこの三つを別々の Nature 論文として公開した。区別しないまま数字を混ぜると本稿自身の妥当性が崩れる。

Layer 1：報告内の算術整合性。

Nuijten et al. (2016, Behavior Research Methods) は、R パッケージ statcheck で心理学主要8誌・1985-2013年の約25万個のp値を機械的に再計算した。NHST を用いた論文の約半数が報告p値と検定統計量・自由度の整合しない値を少なくとも一つ含み、**約13%（8本に1本）**が統計的結論を変えうる「重大な不整合」を含んでいた。

Brown & Heathers (2017) の GRIM テスト（整数データの平均値が報告サンプルサイズで数学的に可能かの算術検証）では、260本のうち検査可能な71本の**半数（36本）**が数学的に不可能な平均値を少なくとも一つ含んでいた。生データを請求でき9件のすべてで報告誤差が確認された。

この層で脱落するのは、統計内容の妥当性以前の電卓レベルの整合性である。

Layer 2：同一データからの再分析の安定性。

Silberzahn et al. (2018) は29チーム・61分析者が同一データから異なる結論に到達することを示した。Breznau et al. (2022) はさらに規模を拡大した。そして SCORE 2026 の analytical robustness 論文（Aczel et al., Nature）が決定的な数字を出した——社会・行動科学100研究を対象に、独立再分析が元論文と近い効果量に収まったのは34%、結論一致まで広げても**74%**にとどまる。

Layer 3：別サンプルでの複製。

Open Science Collaboration (2015, Science) は心理学100本を追試し、方向一致 × p < 0.05 での再現率が約36-39%と報告した。Camerer et al. (2018, Nature Human Behaviour) の社会科学追試は21本中13本（62%）。医学前臨床では Begley & Ellis (2012) が報告した Amgen の前臨床がん研究は53本中6本（約11%）、Bayer の内部追試は約25%。SCORE 2026 の replicability 論文（Tyner et al., Nature）は274主張・164本で、claim単位55.1%、paper単位49.3%、分野別42.5-63.1%。

三層の通過率を独立と仮定して掛け算すると——0.5 × 0.6 × 0.4 ≈ 12%。

この数字には二つの限界がある。

第一に、Layer 1/2/3 は異なる研究群から集めた三種類の検査であり、「不整合」「結論不一致」「複製失敗」は同じ種類の失敗ではない。同じ論文群に三つを順に適用した実証はまだない。

第二に、三層の失敗は実際には相関する——Layer 1で脱落する論文（算術すら合わない）が Layer 2/3 で健全である確率は低い。相関の方向は、通過率を過小評価する方向に独立仮定を歪めている可能性が高い。

それでも、桁感として「一割台」は外れない。これは制度の異常値ではなく、制度がその水準で安定運用されていることの指標である。

§4. 統計教育の再生産構造

これだけ基盤が欠けているなら、教育でそれを補うはずだ——と期待したくなる。そうなっていない。

日本の大学の統計入門テキストを開くと、ランダムサンプリングは「単純無作為抽出で標本が得られたとする」という一行の仮定で式に入る。現実世界でその仮定が成立するかの検討は扱われない。扱わないまま、中心極限定理と信頼区間とt検定とp値が進む。学生が習得するのは、仮定を疑わない計算手順である。

p < 0.05 の帝国は、ASA 2016声明（「P値は効果の大きさや結果の重要性を測るものではない」）と Nature 2019 の 800 人署名で公式には解体されたはずだ。しかし大学院入試、卒論指導、査読コメント、研究費審査のどこでも生き残っている。儀礼的手順の習得がキャリア通過条件として機能しているからである。

日本固有の文脈として、2019年の毎月勤労統計不正がある。厚生労働省が法定の全数調査を抽出調査に勝手にすり替え、復元処理すら怠った。社会調査協会の前理事長・盛山和夫はこれを「事実への畏怖の欠如」と呼んだ。統計リテラシーの欠如は研究者にとどまらず、データを生産する行政側にも及んでいる。

教育された「統計リテラシー」は、方法論的自己検証能力ではなく儀礼手順の習得である。学生は次世代の制度維持者になる。基盤欠落は、教育システムを通して世代間で再生産される。

§5. AIが増幅するループ

この欠落した基盤の上に、LLM が載った。

第2稿§5で扱った川原繁人（慶應義塾大学・音韻論研究者）の公開実験——有意差のないデータ（真のp=0.077）を三つの主要LLMに100回ずつ投入してt検定を実行させた——は、LLMが統計計算を実行せず統計報告らしい文章を確率的に生成する位相を剥き出しにした。結果は、ChatGPT-4o が88%で「統計的に有意」と宣言、Claude（claude-sonnet-4.6）が100%、Gemini（gemini-3-flash-preview）は temperature=1 で完全正解50%・近似82%で大きな外れ値も観察、というモデル間の振る舞いの差を示した。川原氏自身が「目的はどのAIが良いかという比較ではなく、それぞれがどんな振る舞いをするか」「実験条件は探索的」と明記しており、本稿もその枠組みを尊重する。重要なのはモデルランキングではなく構造——出版バイアスのトークン確率への結晶化、NHST二分法スキーマ、RLHF による自信の報酬、非計算的トークン生成の複合が、各社モデルで異なる程度に作動するという事実である。川原氏自身の推奨はPython/Rでの検算で、これは§6で扱う「LLM＋外部実行環境＋人間レビュー」の三点セットの先取りである。

機構の詳細——出版バイアスのトークン確率への結晶化、NHST 二分法スキーマ、RLHF による自信の報酬、非計算的トークン生成——は前稿 §4 および過去の分析で扱った。ここでは新規の論点を一つだけ加える。

統計シミュレーションに物理乱数は不要である。ブートストラップやモンテカルロは、適切に seed 管理された PRNG（メルセンヌ・ツイスタ等）で実務上成立する。PRNG の決定論性は欠陥ではなく、再現可能性のための利点である。前稿の物理エントロピー論は暗号論的ランダム性の話で、統計計算一般の話ではない。

問題はそこではない。問題は、LLM が PRNG や統計パッケージを明示的に呼び出しているのか、それとも統計処理らしい文章を生成しているだけなのか、利用者から見えにくい点にある。コード実行環境（Python/R）を明示的に併用しない限り、LLM の「ブートストラップ結果」は計算ではなく生成である。この区別が査読段階で自動的にチェックされる制度はまだない。

ループは閉じている。バイアスのあるコーパスで訓練された LLM が「統計的有意」を量産する → 学生・研究者が下書きに使う → 論文として流通する → 次世代モデルの訓練データに混入する。自己強化する。

LLM は既存の基盤欠落を解消するのではなく、圧縮・高速化・不可視化する。解決策ではなく増幅器として機能している。

【2026年4月23日追記】本稿のKawahara実験の引用について、当初Geminiの結果を省略していました。原典で報告されているGeminiの結果（temperature=1で完全正解50%・近似82%、ただし大きな外れ値も観察）も併せて記載すべきところでした。本稿のテーマである「選択的引用への警戒」が筆者自身に適用された事例として、訂正のうえ記録しておきます。

§6. 四重欠落の図

基盤（§2）× 実装（§3）× 教育（§4）× AI（§5）——四層が相互強化する構造になっている。

基盤欠落は教育に再生産され、教育を受けた研究者が実装で脱落する論文を量産し、それらの論文が AI の訓練データとなって次の世代の実装をさらに劣化させる。各層が他の層の欠落を補完するのではなく覆い隠すように配置されている。

シン・ネクシャリズムの H₁/H₂ で整理するなら、この構造は H₁（認識内対立——「確率標本」という概念の理念型的使用と実装的使用の混同、「ランダム」という語の複数の意味の混同）と、H₂（物質由来——convenience sample 化する調査環境、査読・キャリア制度のインセンティブ構造、計算機アーキテクチャ、LLM 出力の検証可能性の物理的制約）が交差している。言語・制度の問題だけでも、物質・資源の問題だけでも解消できない。介入も両側に必要で、片側の改革は他側で吸収される。

§7. 読み手として何ができるか

統計利用論文を読むときの、最低限の四層チェック。

第一に射程限定主張かを見る。「本研究の参加者では X が観察された」は強い命題、「一般に人は X である」は弱い命題。convenience sample で後者を書いている論文は、主張のレベルを下げて読む。

第二に Layer 1 を通過するか。statcheck は無料で動く。自分で気になる論文に走らせてみる。半数近くで何か出る。

第三にデータとコードが公開されているか。Miske et al. (2026) は、データとコードの両方が共有されていた論文の再現率を88%、データ再構成が必要だった論文の精密再現率を11%と報告した。公開されていない論文は、Layer 2 での検証が原理的に不可能である。

第四に独立な別サンプルで複製されているか。単一研究の p < 0.05 はほぼ情報価値を持たない。

この四つは、統計学の数学的本体を批判しているのではない。Fisher も Neyman も Kolmogorov も、自分の枠組の限界を認めていた。批判対象は、その限界を隠蔽してきた応用統計の教育・査読・報道・AI流通の制度層である。

§8. 補遺——「嘘」と「儀礼」

前稿で「嘘」という語を使ったとき、統計手法が虚偽だという意味ではなく、圧縮された代理物を現実そのものと取り違える構造的錯視を指すと書いた。今回の議論はその続きである——制度は、この錯視を維持する方向に最適化されている。

査読、出版、学位審査、研究費配分——これらは科学的推論装置としてではなく、学術共同体の調整装置として機能している。p < 0.05 は真理の代理物ではなく、社会的決定を調整するためのコードである。そう読めば、「一割しか通過しない」という数字は基盤欠落の帰結というより、基盤欠落を維持したまま論文を量産する制度の効率性の指標になる。

ここから処方を書こうとすると、途端に困難になる。何が外部エントロピーとして機能するかを確定できない。

排除法では輪郭が見える——査読改革、P値廃止、プレレジストレーション、データ共有義務化、統計教育改訂、AI倫理ガイドライン、これらはすべてループ内部の改善であって、ループ自体を壊す外部エントロピーではない。内部改善はループに吸収される。実際、preregistration は p-hacking を抑制するが、convenience sample の問題は解決しない。データ共有は Layer 1/2 を改善するが、基盤の確率標本欠落には届かない。各改革は他の層の欠落によって相殺される。

候補として挙げられるのは、Breznau et al. 2022 型の異分野研究者による同一データ並行分析のように、既存の学術共同体の調整コードを迂回する並列構造の導入である。これは H₁（認識枠の多様化）と H₂（物理的に異なる分析パスの並列化）の両方に同時に介入する。ただしこれもスケールすれば制度化され、内部ループに取り込まれる——Open Science 運動自体がすでにその過程に入っている。

統計的有意は真理の代理物であって真理ではない。代理物を真理と取り違えた時点で、探求は儀礼に転化する。そして儀礼は、それ自体では自己修正しない。前稿の最後で引いたリスボンの造波装置——決定論的計算は閉じた系から新しいエントロピーを生み出せない。制度も同じである。外側からの継続的な擾乱なしには、ループは閉じたまま回転し続ける。

その擾乱が何であるかは、次稿以降の課題として残す。現時点で書けるのは、ループの輪郭と、内部改善ではループを破れないという否定的認識までである。

参考文献

• Neyman, J. (1934). On the Two Different Aspects of the Representative Method. Journal of the Royal Statistical Society, 97(4).

• Meng, X.-L. (2018). Statistical Paradises and Paradoxes in Big Data (I): Law of Large Populations, Big Data Paradox, and the 2016 US Presidential Election. Annals of Applied Statistics, 12(2).

• Nuijten, M. B., Hartgerink, C. H. J., van Assen, M. A. L. M., Epskamp, S., & Wicherts, J. M. (2016). The Prevalence of Statistical Reporting Errors in Psychology (1985–2013). Behavior Research Methods, 48(4).

• Brown, N. J. L. & Heathers, J. A. J. (2017). The GRIM Test. Social Psychological and Personality Science, 8(4).

• Open Science Collaboration (2015). Estimating the Reproducibility of Psychological Science. Science, 349(6251).

• Begley, C. G. & Ellis, L. M. (2012). Raise standards for preclinical cancer research. Nature, 483.

• Camerer, C. F. et al. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 2.

• Silberzahn, R. et al. (2018). Many Analysts, One Data Set. Advances in Methods and Practices in Psychological Science, 1(3).

• Breznau, N. et al. (2022). Observing Many Researchers Using the Same Data and Hypothesis Reveals a Hidden Universe of Uncertainty. PNAS, 119(44).

• Aczel, B. et al. (2026). Investigating the analytical robustness of the social and behavioural sciences. Nature.

• Miske, O. et al. (2026). Investigating the reproducibility of the social and behavioural sciences. Nature.

• Tyner, A. et al. (2026). Investigating the replicability of the social and behavioural sciences. Nature.

• American Statistical Association (2016). Statement on Statistical Significance and P-Values. The American Statistician, 70(2).

• Amrhein, V., Greenland, S., McShane, B. et al. (2019). Retire Statistical Significance. Nature, 567.

• NIST SP 800-90B (2018). Recommendation for the Entropy Sources Used for Random Bit Generation.

• von Neumann, J. (1951). Various Techniques Used in Connection with Random Digits.

• 川原繁人 (2026).「ChatGPT-4oにt検定を100回やらせてみた」「ClaudeとGeminiにもt検定を100回やらせてみた」note.com/keiophonetics/n/n07d342accac6. 生データとRスクリプトは OSF で公開。

• 黒木玄 (@genkuroki). 統計学関連X投稿群.

• 盛山和夫 (2019). 毎月勤労統計不正についての社会調査協会前理事長コメント.

本稿は、前稿「あなたが暮らしている3つの統計的嘘」の続編である。前稿が圧縮問題の記述であったのに対し、本稿は圧縮が解消されないまま制度的に再生産される構造を扱う。

本稿は Parcae Protocol に基づき、Claude Opus 4.7 初稿に対して Gemini 3.1、Grok、ChatGPT の査読ラウンドを経て改訂した。四AI査読で特に ChatGPT が SCORE 2025-2026 の三区別（reproducibility / analytical robustness / replicability）および物理エントロピー論の過剰拡張を正確に指摘し、これらを本稿に反映した。英語版は近日 Medium/@izayohi に掲載予定。

トピック： #統計学 #データサイエンス #AIとやってみた #再現性危機 #統計リテラシー #Claudeに書いてもらった #科学コミュニケーション #シンネクシャリズム