「有意差がない(null P値が5%以上)ってことは、論文化しても意味がない」という基準を採用することは科学的に有害
P値の罠と科学コミュニケーションの危機
統計的有意性の誤用が、いかに科学を歪めているか
https://g.co/gemini/share/99457d58b4aa
#統計 𝕏なんかで医学論文の結果の紹介を「有意差があった/なかった」と説明して終わりになっているものはほとんど役に立たない。そういう紹介が目に入ったせいでおかしな印象操作をされずに済むように原論文を見るはめになる。大迷惑。
— 黒木玄 Gen Kuroki (@genkuroki) August 29, 2025
統計的有意性は科学コミュニケーションを害している。 https://t.co/K0LY4uZwvG
https://x.com/genkuroki/status/1961279341738013007?s=46
まともな統計学者達の間では「有意差がない(null P値が5%以上)ってことは、論文化しても意味がない」という基準を採用することは科学的に有害であるというコンセンサスが得られていると思います。
— 黒木玄 Gen Kuroki (@genkuroki) September 20, 2025
問題は研究者達の多くがそういうまともな考え方をできていないこと。
おそらく科学的被害は甚大。 https://t.co/4MnNUCt4VA
まともな統計学者達の間では「有意差がない(null P値が5%以上)ってことは、論文化しても意味がない」という基準を採用することは科学的に有害であるというコンセンサスが得られていると思います。
問題は研究者達の多くがそういうまともな考え方をできていないこと。
おそらく科学的被害は甚大
詳しい解説
#統計 統計的有意性の廃止提案論文 nature 2019 の日本語動画解説も作りました。
— 黒木玄 Gen Kuroki (@genkuroki) August 29, 2025
ポイント: compatibility→相性の良さと訳すと分かり易くなる。https://t.co/SLzmci9bFQ
Scientists rise up against statistical significance
Valentin Amrhein, Sander Greenland, and Blake McShane
nature 2019 pic.twitter.com/oH7rpEGBBV
#統計 「統計的有意性の廃止」は「P値<5%であるか否かで白黒付けることの廃止」を意味しています。
— 黒木玄 Gen Kuroki (@genkuroki) August 29, 2025
P値自体の廃止は提案していないことに注意。
P値関数の使用を推奨している。
信用区間やベイズ因子によるベイズ的な二分法についても同様に問題ありだとしている。
この辺りへ誤解は非常に多い。
#統計 nature 2019の統計的有意性廃止提案論文では、人為的な閾値によって安易に白黒付ける二分法の廃止を訴えているので、例えばベイズ因子による二分法も批判しています。
— 黒木玄 Gen Kuroki (@genkuroki) August 29, 2025
これはベイズか非ベイズかという軸の問題ではありません。https://t.co/wNDdf7vUbX pic.twitter.com/s5W9ZdX9lu
#統計 図を作り直した。
— 黒木玄 Gen Kuroki (@genkuroki) August 23, 2025
「仮説θ=aとデータの値の相性の良さを表すP値」のグラフ(P値関数=相性関数)と、点推定値、95%区間、ゼロ仮説P値の関係を描いた図。
このような図が報告になくても、心の中で常にこの図をイメージすると誤解を防ぎ易くなります。 https://t.co/FS91bAxe61 pic.twitter.com/Efd07Vjv2k
#統計 当たりが出る確率が未知のルーレットを20回まわしたら当たりが6回出たときの、二項分布モデルの正規分布近似を使って得たP値のグラフ。
— 黒木玄 Gen Kuroki (@genkuroki) August 28, 2025
横軸は当たりが出る確率の仮説値pです。
グラフを見ると、データの値「20回中6回」との相性が最も良い仮説値はp=0.3であることなどが分かる。 pic.twitter.com/VVLfbbNLwk
#統計 引用【P値として信頼区間と整合性がないものを記載している論文が多く~】
— 黒木玄 Gen Kuroki (@genkuroki) August 29, 2025
これについては統計ソフトの開発者側の責任が大きい。
「すべての信頼水準の信頼区間全体」と「1つのP値関数」は一対一に対応しており、ソフト側には信頼区間と整合的なP値を表示する責任があります! https://t.co/NLunZY9JSG
#統計 信頼区間と整合的でないP値を使う人達がしこたま沢山いるという問題の背景には、大学での統計学教育で信頼区間とP値が表裏一体であるという事実を教えずに、点&区間推定とP値を使う検定が全然違う話であるかのように教えて来てしまっているという問題がある。
— 黒木玄 Gen Kuroki (@genkuroki) August 29, 2025
しかも日本限定の問題ではない。
#統計 医学論文を見ると、効果の指標パラメータθについて、
— 黒木玄 Gen Kuroki (@genkuroki) August 29, 2025
* 仮説θ=0のP値
* θの点推定値
* θの95%信頼区間 (α=5%)
の3点セットが報告されていることが多いのですが、これらについて添付画像のようにバラバラにイメージするのは損な考え方になります。続く https://t.co/HmV2uLxHsn pic.twitter.com/h15f6JoPCo
#統計
— 黒木玄 Gen Kuroki (@genkuroki) August 29, 2025
* 仮説θ=0のP値
* θの点推定値
* θの95%信頼区間 (α=5%)
の背景には、θの仮説値にP値(=データの値との相性の良さ)を対応させるP値関数が存在していて、それらはP値関数の要約に過ぎない。
こういう図をイメージできると直観が働き易くなります! https://t.co/svni3yVkue pic.twitter.com/klYORN4G9S
#統計 本当は、報告の読者にイメージする心的負担を課すのはよろしくなくて、
— 黒木玄 Gen Kuroki (@genkuroki) August 29, 2025
* 仮説θ=0のP値
* θの点推定値
* θの95%信頼区間 (α=5%)
の3点セットを報告するときには、添付画像のようなP値関数のグラフも報告に添付してくれると親切です。 pic.twitter.com/BA37SxE0kb
#統計 添付画像はとある論文の報告にあった点推定値と信頼区間からフリーハンドで適当に作った図です。
— 黒木玄 Gen Kuroki (@genkuroki) August 29, 2025
信頼区間が0をまたいでいるので有意差なしなのですが、それまでの有力仮説「1日短縮」のP値はさらに大きいのでそれも全く否定できません。
この図が見えると論文の結果を解釈し易くなります。 https://t.co/WeAZzebOKV pic.twitter.com/Z7bNYtIeV3
一般むけ解説
https://grok.com/share/c2hhcmQtNA%3D%3D_4b053a9d-bd81-46d3-a521-7244077d9511
https://grok.com/share/c2hhcmQtNA%3D%3D_4b053a9d-bd81-46d3-a521-7244077d9511
こんにちは!あなたが興味を持っているXの投稿について、@genkuroki(黒木玄さん)が「まともな統計学者達の間では『有意差がない(null P値が5%以上)ってことは、論文化しても意味がない』という基準を採用することは科学的に有害であるというコンセンサスが得られている」と述べていますね(投稿URL: https://x.com/genkuroki/status/1969235902166606289)。この話題は統計学や科学研究に関係していて、少し専門的ですが、高校生や一般の人にもわかりやすく説明します!一緒にステップごとに考えていきましょう。
1. まず、「有意差がない」って何?
「有意差」という言葉は、科学研究や統計学でよく使われます。これは、例えば「ある薬が効果があるかどうか」を調べたときに、その効果が「たまたま起こったもの(偶然)」ではなく「本当に効果がある」と信じられるかどうかを判断する基準です。
• P値とは、データの結果が「何も効果がない」という仮説(これを「帰無仮説」と言います)のもとで、偶然起こる確率を示す数字です。
• よく使われる基準として、P値が5%(0.05)未満なら「統計的に有意(効果がある可能性が高い)」とされ、5%以上なら「有意差がない(効果があるとは言い切れない)」とされます。
たとえば、薬を100人に試して「70人が良くなった」とします。でも、もし薬が全く効果がなくて偶然そうなった可能性が5%より低いなら、「この薬は効果があるかも」と考えるわけです。でも、5%以上の確率で偶然起こり得るなら、「効果があるとは言い切れない」と判断されます。
2. 「有意差がない=論文化しない」という考え方の問題
黒木さんが指摘しているのは、昔から多くの研究者が「P値が5%以上(有意差がない)なら、その結果を論文にしない」というルールを守ってきたことです。でも、これには問題があるとされています。
• 問題1: 重要な情報が失われる 有意差がなくても、研究結果には意味がある場合があります。たとえば、ある治療法が「少しだけ効果があるかもしれない」という結果が出たとしても、それを論文にしないと、他の研究者や医者がその情報を知る機会が減ってしまいます。結果的に、科学の進歩が遅れる可能性があります。
• 問題2: 科学的に有害
黒木さんは「この基準は科学的に有害」と表現しています。これは、P値が5%を超えただけで研究を捨ててしまうと、実は重要な発見が見逃されることがあるからです。特に、小さなサンプル(少ない人数)で調べた場合、P値が5%を超えても、もっと多くの人を調べれば効果が見つかるかもしれないのに、そのチャンスが失われます。
3. 統計学者のコンセンサスとは?
最近の統計学者たちは、この「P値が5%未満じゃないと論文にしない」という考え方を変えようとしています。たとえば、2016年にアメリカ統計協会(ASA)が発表した声明(参考: https://www.tandfonline.com/doi/full/10.1080/00031305.2016.1154108)では、P値を「Yes/No(有意か有意でないか)」で判断するのではなく、データをより柔軟に解釈するべきだと提案しています。
• 具体例: ある研究でP値が6%(0.06)だったとします。昔のルールなら「有意差がない」とされて論文にならないかもしれません。でも、6%は5%と大差ないし、もっとデータを集めれば5%未満になる可能性もあります。この結果を無視するのはもったいないですよね。
• 新しい考え方: P値はあくまで「データの参考情報」と見て、効果の大きさや実際の意味(臨床的意義)も一緒に考えるべきだという意見が広がっています。
4. 一般人や高校生向けのわかりやすい例
想像してみてください。あなたが新しいお菓子を作って、10人の友達に試食してもらいました。その結果、7人が「おいしい」と言ったとします。でも、たまたま7人が「おいしい」と言った可能性が10%(P値=0.1)あったとします。昔のルールなら「有意差がない」とされて、このお菓子を研究する価値がないと判断されるかもしれません。
でも考えてみてください:
• 10人だけじゃ少ないから、もっと多くの人に試せば本当においしいとわかるかもしれない。
• 7人中7人が「おいしい」と言えばすごいけど、7人中3人なら微妙だけど、どちらも「価値がない」とは言えないよね。
このように、P値だけで判断せず、結果をじっくり見るべきだというのが、現代の統計学者の考え方です。
5. なぜこれが重要か?
黒木さんが言うように、「科学的被害は甚大」になる可能性があるからです。たとえば:
• ある薬が「少し効果があるかもしれない」のに、P値が5%を超えたから研究が止まってしまったら、将来その薬が役立つチャンスが失われます。
• また、P値を無理やり5%未満にしようとしてデータをいじったり(これを「捏造」と言います)、不正な方法を使う研究者も出てくるかもしれません。これは科学の信頼を傷つけます。
6. 結論と次のステップ
@genkurokiや他の統計学者が提案しているのは、P値だけに頼らず、研究結果を全体で評価する新しい方法です。たとえば:
• 効果の大きさ(どれくらい役立つか)を調べる。
• 信頼区間(結果がどの範囲にあるか)を示す。
• 複数の仮説を比べてみる。
この話題についてもっと知りたいなら、黒木さんが紹介しているAndrew Gelmanさんのブログ(https://statmodeling.stat.columbia.edu/)や、2019年のNature誌の論文(https://www.nature.com/articles/d41586-019-00857-9)も参考になります。高校生でも、少しずつ読んでみると面白い発見があるかもしれません!
もし質問があれば、気軽に聞いてね!一緒に考えていきましょう!
クリテック
https://g.co/gemini/share/4ac4337ea8bf
統計的有意性の限界と科学的健全性への提言
序論 - 報告の目的と背景
本報告書は、X(旧Twitter)上で統計学者である黒木玄氏(@genkuroki)が提起した、「統計的有意性という単一の基準に依存した科学コミュニケーションは有害である」という問題提起を深く掘り下げ、多角的な視点から分析することを目的とする。科学研究、特に医学分野の論文において、「有意差があった/なかった」という二元的な説明が主流となっている現状は、単なる情報伝達の不備にとどまらず、科学そのものの健全性や信頼性を深く揺るがす構造的な問題を示唆している。
本報告では、まず統計的有意性の概念が科学研究においてどのような役割を果たしてきたかを概観する。その上で、P値の誤用や誤解がもたらす具体的な科学的被害を詳細に解説し、その背景にある学術界のインセンティブ構造を明らかにする。そして、統計学コミュニティで形成されつつある新しいコンセンサスを提示し、P値に代わる、あるいはそれを補完するより豊かな情報提供の手法について議論する。本報告は、専門家向けの詳細な解説と、一般向けにわかりやすく再構成した解説の二部構成とすることで、幅広い読者層がこの複雑な問題を正確かつ深く理解できるよう配慮している。
統計的有意性というパラダイム
P値(probability value)は、科学研究において、ある結果が偶然によるものか否かを判断するための主要な統計的尺度として、長年にわたり中心的な役割を担ってきた 。通常、P値が0.05という特定の閾値(アルファ水準)を下回ると、その結果は「統計的に有意」であるとみなされ、帰無仮説(効果がない、関係性がないなどの仮説)が棄却される 。この簡潔かつ客観的に見える基準は、特に生物学や社会科学、医学分野において、研究成果の信頼性を担保し、学術雑誌に論文を掲載するための事実上の「ゲートキーパー」として機能してきた 。
この「P < 0.05」という二元的な合格/不合格の判断基準が広く普及した背景には、論文出版や研究資金獲得といった、科学を駆動する経済的なインセンティブ構造が深く関わっている。研究者は、自身のキャリアや研究の継続性を確保するために、明確で説得力のある「成功」した結果を求められる。この要求に対し、「P < 0.05」という基準は、手っ取り早い「論文掲載の可否」判断基準として、多くの研究者や編集者に受け入れられてきた。しかし、この二元論的なシステムが、後述する様々な科学的な歪みを引き起こす根本的な原因となっている。P値は本来、帰無仮説と観測されたデータの非互換性を示す指標に過ぎないが 、学術界の構造的な要請に応える形で、いつしか科学的真実を証明する「魔法の数字」と誤解されるに至った。
詳しい解説 - 統計的有意性の問題点と新しい潮流
1. P値の誤用と誤解の根本
P値の議論を正確に理解するためには、まずその定義と、それにまつわる一般的な誤解を解消する必要がある。P値は、観測されたデータが、帰無仮説が真であると仮定した場合に得られる確率を示す 。より厳密には、観測された検定統計量と同等か、それ以上に極端な値が偶然に得られる確率を表す。例えば、ある薬の効果を調べた研究でP値が0.03だった場合、これは「薬に全く効果がない」という仮説が正しいならば、今回の結果(観測されたデータ)が偶然で起こる確率は3%に過ぎない、ということを意味する 。このP値の定義は、その解釈において極めて限定的であり、多くの研究者やメディア、そして一般人が無意識のうちに抱いている誤解とは大きくかけ離れている。
P値が示さない主要な事柄は以下の通りである。
* P値は、研究仮説が真である確率ではない: P値が0.03であっても、それが「研究仮説が真である確率が97%」を意味するわけではない 。この誤解は、頻度論的統計学とベイズ統計学という、統計学の二つの主要な学派の哲学的相違に起因する。頻度論は、仮説そのものに確率を割り当てない。P値は、この頻度論の枠組みの中で、特定のデータが帰無仮説の下でどれほど珍しいかを示す指標にすぎない 。
* P値は、結果が偶然によって生じた確率ではない: P値は、あくまで「帰無仮説が真である」という前提のもとで計算されるものであり、無条件に「偶然で起こる確率」を示すものではない 。
* P値は、効果の大きさや重要性を示さない: P値の大小は、その効果の強さや実用的な重要性とは独立している 。特に、大きなサンプルサイズ(被験者数)を用いた研究では、ごくわずかで実用上全く意味のない効果であっても、統計的に有意なP値(P < 0.05など)が得られてしまうことが頻繁に起こる 。
P値のこのような根本的な誤解は、統計学の二つの主要な学派、すなわち頻度論とベイズ主義の哲学的相違を反映している。頻度論は、長期的な頻度と客観的な確率に焦点を当て、仮説そのものに確率を割り当てない 。P値はこの枠組みの中で、帰無仮説の下でのデータの確率を計算する。しかし、多くの研究者は無意識のうちに、ベイズ的な問い「仮説が真である確率は?」をP値で答えようとする。この根本的な哲学の混同が、P値の「真実の確率」としての誤解を生み、科学的推論の信頼性を損なっている 。この問題は、単なる知識不足に起因するのではなく、科学者が統計的手法を通じて知りたいと願うことと、その手法が実際に答えられることとの間の根本的なギャップに由来する。
2. 統計的有意性の独裁がもたらす科学的被害
「P < 0.05」という二元的な基準が学術界を支配してきた結果、科学の進歩を妨げる様々な問題が引き起こされている。
論文選抜バイアスと「引き出しの奥の問題」
統計的に有意な結果(P < 0.05)を出した研究は、有意差がない研究に比べて、はるかに高い確率で学術雑誌に掲載される 。この傾向は**論文選抜バイアス(Publication Bias)と呼ばれ、有意差がなかった研究が論文として公表されず、研究者の「引き出しの奥」にしまわれてしまうことから「引き出しの奥の問題(File-Drawer Problem)」**とも称される 。
このバイアスにより、科学文献は「陽性結果」(有意差あり)で溢れかえり、真の全体像が歪められる。例えば、ある薬の効果を検証する100の研究のうち、実際には効果がないにもかかわらず、統計学的な偶然で5つの研究が有意な結果を出したとする。もしその5つだけが公表され、残りの95の研究が埋もれてしまえば、世間には「この薬は効果がある」という誤った印象が広まってしまう。この問題は、特に医学分野において患者の安全に直接的な影響を及ぼす。抗うつ剤やインフルエンザ薬のタミフルに関する研究では、未公開の研究結果をメタ分析に含めたところ、公表された論文の多くが示していた「効果」が、実際にはごくわずかであったり、有害事象が隠蔽されていたりしたことが明らかになっている 。
P-hackingと選択的報告
P値の独裁は、研究者自身が結果を操作してしまう**P-hacking(P値ハッキング)**という問題も引き起こしている 。P-hackingは、有意な結果を得るために、データ収集の途中で分析を行ったり、複数の分析手法を試したり、特定の外れ値を除外したり、複数の測定項目から有意なものだけを報告したりといった、疑わしい研究手法の総称である 。
これと関連して、**ハーキング(HARKing: Hypothesizing After the Results are Known)**という問題も存在する 。P-hackingが「特定の仮説を証明するためにデータをいじる」行為であるのに対し、ハーキングは「得られたデータに合うように仮説を後付けする」行為を指す。いずれも厳密な意味での「捏造」ではないにしても、科学的誠実性を損ない、誤った結論を導く可能性がある 。この問題の典型例として、米国の著名な食品科学者ブライアン・ワンシンク氏の研究不正事件が挙げられる。彼は、複数の論文でP-hackingやデータの不適切な操作を行ったとして、多くの論文が撤回される事態に至った 。
論文選抜バイアスとP-hackingは、どちらも「P < 0.05」という単一の門番によって引き起こされる、科学文献の信頼性低下という同一の病気の異なる症状である。研究者には「成功」した研究を発表する強いインセンティブがあるが、現実には多くの研究でP値が0.05を超える。この時、研究者はその論文を「引き出しにしまう」(論文選抜バイアス)か、統計的分析を操作して無理やりP値を0.05未満にする(P-hacking)かの選択肢に直面しうる。結果として、学術文献には真の知見だけでなく、偶然の変動を「有意」と偽って報告した結果や、P値が0.05を超えたために埋もれた貴重な知見が混在することになり、科学的進歩を妨げている。
3. P値を超えた科学的推論へ
このような問題意識から、統計学コミュニティではP値に依存しない、より健全な科学的推論への移行が強く提唱されている。
統計学者のコンセンサス
米国統計協会(ASA)は、2016年にP値の適切な使用と解釈に関する歴史的な声明を発表した 。この声明はP値の廃止を求めているわけではなく、その限界を理解し、他の補完的指標と組み合わせて使うべきだと提言している 。声明の6つの原則には、P値がデータの非互換性を示す指標であること、P値が仮説の確率ではないこと、P値だけで結論を出すべきではないことなどが明記されている 。
代替手段と補完的アプローチ
ASA声明は、P値の補完や代替として、以下の手法を推奨している 。
* 信頼区間(Confidence Interval - CI): 信頼区間は、効果の大きさ(例えば、治療の効果量や平均値の差)が、どの範囲にあるかを推定する指標である 。P値の二元的な「はい/いいえ」とは異なり、信頼区間は効果の「幅」と「不確実性」を視覚的に捉えさせる。例えば、ある薬の効果が95%信頼区間で「2kgから4kgの体重減少」と示された場合、単に「有意差あり」という報告よりも、はるかに豊かな情報を提供する 。
* 効果量(Effect Size): 統計的有意性とは独立に、結果の「実用的な意味」や「大きさ」を定量的に示す指標である 。これにより、大規模な研究で得られた統計的に有意でもごくわずかな効果と、小規模な研究で得られた統計的に有意でないかもしれないが大きな効果を区別できるようになる 。
* ベイズ統計学(Bayesian Statistics): ベイズ統計学は、P値の根本的な問題を回避する全く異なるアプローチを提供する 。ベイズ統計学は、事前知識(prior)を考慮に入れて、新しいデータから仮説そのものの確率(posterior)を更新する 。これにより、「仮説が真である確率は?」という、研究者が本当に知りたい問いに直接答えることができる 。また、ベイズ統計学は、サンプルサイズが小さい場合でも意味のある推論を可能にする柔軟性を持つ 。
P値、信頼区間、効果量、ベイズ統計学は、単なる代替手段ではなく、科学的問いに対する異なる側面を照らすツールである。それらを単一の指標で代替するのではなく、目的に応じて適切に組み合わせることが重要である。P値は「帰無仮説の棄却」という特定の目的には有用であるが 、研究の最終目的は帰無仮説の棄却だけでなく、「効果の大きさ」の把握や「仮説の真実らしさ」の探求にある。信頼区間は効果の大きさの範囲を示し、効果量はその実用的な重要性を伝える 。ベイズ統計学は、事前に存在する知識を統合し、仮説の確率自体を更新する。これら異なるツールを適切に使い分けることで、科学者はより豊かで正確な結論を導き出すことができる 。
表A: P値、信頼区間、効果量の比較
| 指標 | 定義 | 測定対象 | 提供する情報 | 強み | 弱み |
|---|---|---|---|---|---|
| P値 | 帰無仮説が真であると仮定した場合に、観測されたデータ、あるいはそれ以上に極端なデータが得られる確率。 | 帰無仮説とデータの非互換性。 | 帰無仮説を棄却するか否かの二元的な判断基準。 | シンプルで計算が容易。仮説検定に特化している。 | 効果の大きさや実用的な意味を示さない。誤解されやすい。二元的な思考を促す。 |
| 信頼区間 (CI) | 観測されたデータに基づいて、真の効果量が特定の確率(通常95%)で存在するであろう範囲。 | 効果の大きさの「幅」と不確実性。 | 効果の大小と、それが偶然によるものか否かの両方を包括的に示す。 | P値よりも豊富な情報を提供する。実用的な判断に役立つ。 | 単一の数値ではないため、直感的な理解に時間がかかる場合がある。 |
| 効果量 (ES) | 2つのグループ間の平均値の差、または変数間の相関の強さなど、結果の大きさや強度を示す指標。 | 効果の大きさ、実用的な意味。 | 統計的有意性とは独立に、結果の重要性を伝える。 | 異なる研究や手法の結果を比較できる。結論の実用性を評価できる。 | データのばらつきや測定方法によって値の解釈が変わる場合がある。 |
表B: P-hackingの手法と影響
| 手法 | 具体例 | P値への影響 | 科学的信頼性への影響 |
|---|---|---|---|
| 多重比較 | 1つのデータセットに対して複数の仮説検定を繰り返し行い、有意な結果が出たものだけを報告する。 | 偶然に有意な結果が得られる確率が大幅に増加する 。 | 誤った陽性(false positive)結果の氾濫につながり、科学文献全体の信頼性を損なう 。 |
| 恣意的な外れ値の除外 | 有意な結果を妨げる特定のデータポイントを、明確な理由なくデータセットから削除する。 | P値が0.05を超えそうだったデータが、外れ値を除外することで0.05未満になる。 | データ操作の一種であり、結果の客観性を失わせる。再現性を不可能にする。 |
| データ収集の中断 | 有意な結果が得られた時点で実験を prematurely に終了し、その時点での結果を最終報告とする。 | 偶然、P値が0.05未満になったタイミングで実験を終えることで、真のP値を歪める。 | 真の効果量が過大評価される可能性がある。結果の再現性が著しく低下する。 |
| 特定のサブグループのみの報告 | 全体としては有意差がないが、特定の年齢層や性別などのサブグループで有意差が見つかった場合に、その結果だけを強調して論文を構成する。 | サブグループの偶然の結果を「重要な発見」として提示する。 | 全体像を歪め、誤った知見を広める。ハーキング(HARKing)に近づく 。 |
一般むけ解説 - 誰にでもわかる統計の誤解
1. 「有意差がない」は「効果がない」ではない
統計学の話は難しく聞こえるかもしれませんが、@genkurokiさんが指摘している問題は、日常生活の例えで簡単に理解できます。
想像してみてください。新しい風邪薬を開発し、その効果を確かめるために、100人の被験者を「新薬を飲むグループ」と「小麦粉の錠剤(プラセボ)を飲むグループ」に分けました。もし新薬がプラセボよりも明らかに早く風邪を治したとします。このとき、統計学者は「この結果が偶然起こる確率はどれくらいか?」を計算します。これがP値です。
* もしP値が0.03だったら(P < 0.05)、これは「新薬に全く効果がない」と仮定した場合、今回の結果が偶然起こる確率はたった3%であることを意味します。つまり、偶然の可能性が低いので、統計学者は「新薬には効果がある可能性が高い」と判断します。これが「統計的に有意な差があった」という結論です。
* では、もしP値が0.06だったら(P > 0.05)どうでしょう?これは「新薬に効果がない」と仮定した場合、今回の結果が偶然起こる確率が6%だったことを意味します。この場合、偶然の可能性を完全に否定できないので、統計学者は「統計的に有意な差はない」と判断します。
ここで重要なのは、「有意差がない」は「効果がない」とは全く違うということです。P値が0.06だったとしても、新薬がプラセボグループより風邪を早く治したという事実には変わりありません。ただ、その違いが「たまたま」起きた可能性も捨てきれない、というだけです。しかし、多くの研究者やメディアは、この結果を「新薬には効果がなかった」と短絡的に結論づけてしまうのです。
2. 科学論文の「隠された話」を読み解く
この問題がさらに深刻なのは、私たちが論文を読む際に、その裏側で起こっている「隠された話」を知らないからです。
「陽性結果」が優遇される理由
これは**「論文選抜バイアス」**と呼ばれ、レストランのレビューサイトに例えるとわかりやすいです。もしレビューサイトに「美味しい」というレビューだけが掲載され、「普通」や「まずい」というレビューが投稿されても公開されないとしたら、そのレストランの評価は不当に高くなるでしょう 。科学の世界でも同じことが起きています。「P < 0.05」という有意な結果を出した研究だけが論文として発表され、多くの「有意差がない」研究は日の目を見ずに、研究者のコンピューターの奥底に埋もれてしまいます。その結果、私たちは科学的な証拠(エビデンス)の「良い部分」だけを見せられて、全体像を誤って認識してしまうのです 。
「いい結果」を見つけるための裏技
さらに悪いことに、研究者が意図的に「いい結果」を出そうとすることもあります。これはP-hackingと呼ばれ、テストの答え合わせに例えられます。もし、あなたが数学のテストで答えが合っているかわからないとき、色々な解き方を試して、唯一答えが合った解き方だけを先生に提出したらどうでしょう?偶然正解したにすぎない答えが、「正しい解法」として評価されてしまいます。
科学の世界でも、研究者が同じことをすることがあります。複数の分析手法を試したり、一部のデータを恣意的に除外したりして、P値が0.05未満になる「魔法の答え」を探すのです 。これは個人の不正行為という側面もありますが、根本的には「P < 0.05」という厳しい基準が、研究者にこのような行動を促している構造的な問題でもあります 。
3. 数字一つでなく、物語で理解する
このような問題を解決するために、統計学者たちは、P値だけに頼るのをやめて、もっと豊かな情報を提供しようと呼びかけています。
* **「効果量」と「信頼区間」**を一緒に考えることです。P値が「はい、効果はあります」という二言で終わるのに対し、この二つの指標は「効果の幅」と「効果の大きさ」という、より具体的な情報を提供します 。
例えば、「新薬には統計的に有意な効果があった(P<0.05)」という報告に加え、「この薬を飲んだグループの体重は平均3kg減少し、この効果は2kgから4kgの範囲内にある可能性が高い」という情報を加えるのです。後者の報告の方が、その薬が本当に役立つかどうか、私たちがより正確に判断できます 。これは単なる数字の羅列ではなく、より意味のある「物語」を語っていると言えます。
表C: 統計的有意性と実用的有意性の違い
| | 統計的有意性 | 実用的有意性 |
|---|---|---|
| 何を問うか? | 結果が偶然によるものか? | 結果に現実世界での意味があるか? |
| 例 | 新薬を10万人規模の臨床試験で試したら、血圧が平均0.1mmHg下がった。この結果は偶然では起こり得ない(P < 0.001)。 | 血圧が0.1mmHg下がっても、それは健康に全く影響がない。この薬は「実用的な意味」がない。 |
| 判断基準 | P値が特定の閾値(通常0.05)を下回るかどうか。 | 効果量が十分に大きいか、臨床的に見て重要か。 |
| 結論 | 統計的に有意な結果は、必ずしも実用的に重要とは限らない。 | 実用的に重要な効果は、統計的に有意でない場合もある。 |
結論と提言
黒木玄氏の指摘は、統計学コミュニティで長年にわたり議論されてきた、P値の限界とそれに起因する科学的信頼性の危機を端的に表している。P値の独裁は、科学を「結果を出すための競争」に変え、再現性の危機を招いた。この問題を解決するためには、科学を再び「真実を探求するプロセス」として捉え直す必要がある。
この変革は、以下の行動によってのみ達成可能である。
* 研究者へ: P値だけに頼るのではなく、効果量や信頼区間の報告を義務付けること 。また、研究を始める前に計画を公開し、全ての分析手法を事前に登録する「プレレジストレーション」を実践すること。これにより、意図的なP-hackingを防止し、研究の透明性を高めることができる。
* 学術ジャーナルへ: 論文掲載の基準を、「有意な結果」から、「研究デザインの質」、「効果量」、「信頼区間」、そしてその分野における「文脈」へとシフトさせるべきである。P値が0.20であっても、その研究が綿密な計画と誠実な実行に基づいているならば、価値ある知見として評価されるべきである 。
* 社会へ: 科学報道に携わるメディアやジャーナリストは、P値の限界を理解し、より多角的な視点から研究成果を報じることの重要性を認識しなければならない。また、一般市民もP値に囚われず、科学的結論を批判的に吟味するリテラシーを養うことが不可欠である。
P値からの脱却は、単に技術的な変更ではなく、科学の哲学と実践における大きなパラダイムシフトを意味する。この変革は、研究者、ジャーナル、資金提供者、そして社会全体の協力によってのみ達成可能であり、それを通じて、より誠実で信頼性の高い科学の未来が拓かれるだろう。
