第154回： 「統計の実務」14 仮説検定《その4：p値》
◀前の記事へ 次の記事へ▶
≡ はじめに
前回は、「仮説検定《その3：ANOVA》」について書きました。
内容としては、「一元配置分散分析」をRコマンダーで実施して、3群以上の群の平均値について有意差検定を実施し、全ての群について差がなければ「全群の平均値に統計的有意差なし」というものでした。
ANOVAによって、p値が0.05未満となり、「全群の平均値に有意な差がないとはいえない」という結果になったときに、どの群とどの群の間の有意差があるのかまではANOVAでは検定できないということと、要因が複数あった場合は「一元配置分散分析」ではなく「多元配置分散分析」を使うけれど、実験数が多くなりすぎるので、普通は実験計画法を使うといったことも書きました。
3回にわたって、「対応のあるt検定」、「独立サンプルt検定」、「ANOVA」と平均に差があるか調べたいときに使う有意差検定の話を続けてきましたが、これは、改善策の効果確認のときに使うことが多いからです。
例えば新薬を開発時には、「開発した薬は、今まで以上に効果がある」ことについて知りたいはずです。その時に、たった1人に新薬を服用してもらって結果が良くても「1人じゃあ、偶然じゃない？」って信じてもらえないと思います。だから多くの人を2つのグループ（2群）にわけて、片方には新薬を服用してもらい、もう片方には偽薬（プラセボ）を服用してもらうという実験をします。
ダイエットの薬の効果確認なら服用前後の体重の平均値の差を独立サンプルt検定すれば、新薬に効果があるかどうかを統計的に述べることができます。
前回まで、「p値が0.05未満なら有意差あり」、「p値が0.05以上なら有意差なし」というように検定結論の出し方のみを説明してきました。
実務上は、それで構わないからです。ただ、たまに「p値が小さいと平均値の差が大きく、小さいと平均値の差が小さい」と誤解している人がいます。
さすがに、論文などでは見ませんが、習いはじめに「あるある」なことではあります。そこで、「仮説検定」の紹介の最後に、帰無仮説と対立仮説、p値と有意水準と有意差の関係などの話を書きます。
≡ 仮説検定
仮説検定では、「仮説が真となる確率」を計算しています。計算した確率の値をp値（英語ではP-value）といいます。Pは「Probability（確率）」の頭文字です。
この時の仮説には「帰無仮説」という名前がついています。この名前が混乱のもとだと思っています。私なら「差がない仮説」ってつけたのに……。
仮説検定は、帰無仮説と対立仮説がセットになっています。キャッチイメージを見てください。
帰無仮説の確率が低いと、対立仮説の確率が高いという「公園にあるシーソーのような関係」です。
帰無仮説を否定する（これを“棄却する”といいます）ことで、対立仮説が成り立つことを示します。
ここで、主張したいこと（統計的に証明したいこと）の反対を帰無仮説にすると覚えてしまう人がいるのですが、よく考えると何を主張したいのかは、ときと場合によって異なりますので、この覚え方はイマイチです。
例えば、正規分布かどうかの検定のときの帰無仮説は「検定しようとしているデータ群の分布は、正規分布（と差がない分布）である」です。正規分布かどうかを検定した時のp値が0.01は、「正規分布である確率は1%。すなわち、正規分布という仮説は棄却された。検定対象のデータ群の分布は正規分布ではない」ということです。でも、“正規分布であるかどうかを知りたい人”は間違えがちです。
「帰無仮説」を考えるときには、「差がない仮説」を思い出してください。
繰り返しとなりますが、サンプリングした群の実験結果に差がない確率がp値ということになります。
さらに、「差がない確率はpです」だけにしておけばまだ良いのに、統計学者さんは、「pがいくつ未満だったら差があるというか」を決めたのでそこでも難しくしていると思います。
結論を書くと「差がない確率が5%未満だったら有意差がある」ってことにしました。それが仮説検定です。
確率は0%から100%で表します。でも、「%」は表現として見やすくしただけです。
元の数値は、0～1です。ですから「確率が5%未満 ＝ p値が0.05未満」ということです。
とても重要な仮説検定をしたいときには、基準を5%より小さな1%にすることがあります。これを「有意水準を1%とした」といいます。
論文では、こんな風に書きます。
A p value less than 0.05 was considered statistically significant.
（p値が0.05未満を統計的に有意とみなした）
「独立サンプルt検定」の回で、
p値は、0.717であり、0.05未満ではありませんでした。（差がない確率が71.7%）
したがって、「営業部平均の61.1kgと、開発部平均値の62.1kgには有意差があるとは言えない」
と書きました。帰無仮説（差がない仮説）は、「営業部の平均体重と開発部の平均体重には差がない」です。
で、この仮説が正しい確率がp値であり、Rコマンダーが計算したら0.717だったので、この仮説（＝ 営業部と開発部の平均体重には差がない）は間違いと言い難い（帰無仮説は棄却できない）ということです。
p値はあくまでも「差がないことの確率」であり、「差の大きさを表すものではない」という点を忘れないようにしましょう。
「帰無仮説」と「棄却」という言葉が出てくると、反対の反対を考えないとなりません。ソフトウェア開発でも反対の反対を実装しているところはバグりやすいですよね。
≡ おわりに
今回は、仮説検定の4回目として「p値」を中心に仮説検定そのものについて説明しました。用語としては、p値、帰無仮説、対立仮説、有意水準、棄却など、なじみのない言葉がたくさん出てきました。
専門用語には徐々に慣れるしかありません。まずは、「p値が0.05未満なら有意差あり」だけ覚えておくと良いと思います。
実際に検定を行うとp値が0.051といったことも起こります。このときに絶対してはいけないことがあります。それは「有意水準を5%から6%に変更する」です。有意水準未満だから有意差ありとなりますが、完全に後出しジャンケンです。これがバレた後は、あなたの統計解析結果は一才信用されなくなります。両側検定をあとから片側検定に変えるのも同じです。論文であれば片側検定で良いロジックを厳しく確認されます。
これらは統計でウソをつくレベルですが、次にしてはいけないことは“外れ値を外す”ことです。
「あー、このデータさえなければ0.05未満になるのに……。」ということがあります。「コイツはちょっと違うんですよ。むしろ無い方が正しいんです。」と誰かが言い出します。そしてそのデータは削除されて忘れ去られます。←ダメです。
外れ値を外すときには、外して良い理由を検定前に吟味してください。検定に合格するために外してはなりません。
では、p値が0.051だったときにどうしたら良いかというと、データを追加して検定し直してください。そしてp値の変化を見て希望する変化をしているようならデータを更に増やします。
次回は、「回帰分析（単回帰分析と重回帰分析）」の話題に移ります。こちらは、計画を立てるときに必要となるベースラインのモデルを作るときに使います。
「回帰分析」の山が越えれば、この連載も、残すところ、「クロス集計とカイ二乗検定」→「管理図とEVM」→「確率分布」となります。
終わりが見えてきました。
