第140回： 「統計の実務」1 イントロダクション（変数の種類）
次の記事へ▶
≡ はじめに
これまで、JSTQBのFLシラバスに寄り添う形で編集された「ASTERセミナー標準テキスト」を説明する体で、ソフトウェアテストの話を書いてきました。
一通りテストの話を書き終え、マガジンにもまとめ、書きたかったCFD法についても追加しました。
ちょっとノスタルジーに浸らせていただくと、マガジン最初の記事のタイムスタンプは、2019年9月16日です。今日は2021年09月20日ですので、2年間も続けたわけですね。誰からも褒められず“いいね”を心の支えに。
やっと終わったどー。という軽い達成感はなかなか良いものでしたので、皆さんもブログ書いてください。読みたいです。
せっかくnoteを書く習慣ができたので、次は何を書こうかなと考えました。（休憩してしまうと再開がつらくなることが容易に想像できたので）
続けるにあたっては、毎週テーマを考えるのは大変なので「ある程度、長く書けて、かつ、自分に役立つ情報」にしようと思いました。自分のためなら続くと思うからです。
この2つの条件から、「統計」をテーマにすることにしました。
私の統計とのかかわりですが、統計は、手当たり次第に本を読み、QC検定の練習問題を山ほど解き、実務でも使ってきました。
でも何度挫折したことでしょう。大学は、物理科でしたので、原子崩壊時にランダムに放出される粒子の数を数えて放射性物質の半減期を割り出すというプログラムを作る宿題がありました。詳しいことは忘れてしまいましたが、ランダムかつデジタルなデータの統計解析が面白かったことだけ覚えています。偏微分方程式やら線形代数やらがてんこもりで、そういう式を理解することには挫折していましたが。
会社に入ってからも、統計の本を読んでいました。でも、いつも、飽きずに読むのは平均・分散・標準偏差までのページで、その先は『フーン必要になったら読み返せばいいや』って感じでした。
仕事をはじめてから、10年以上たって、ひょんなことから、ワイブル分析や実験計画法に出会い、品質工学に出会って、タグチメソッドのパラメータ設計でまた統計の知識が必要になりました。
しかし、そこでも、誤差変動とか、SN比とか。田口先生の式をエクセルに入れたものを作って、その後は、“理論はさておき”という感じでした。S言語も使ったけれど、毎日使う物ではなかったから、同じようなパターンでしか使いませんでした。
統計には、いくつかの壁があるように思います。
不偏分散の壁、有意差検定の壁、自由度の壁、、、。
そこから、さらに5年くらいが過ぎたころに、松尾谷さんが私にささやきます。「秋山君、統計は専門家にまかしておいたらいいよ。」って。
専門的な統計の話は、妙に深くてこだわる人も多いので専門家に任せられるのなら私も任せたいです。
ところで、こういった話をすると「挫折したのに続けて来たのはなんで？」と聞く人がいます。多分ですが、挫折して「俺はダメだわ」って思ってマイナスの気分になっても、次の瞬間に「ま、統計なんてどうでもいいか」っていうゼロの気分に戻すからなんだと思います。「長時間、マイナスの気分で居続けないこと」、オススメです。
統計には、専門家に任せるべきという側面がある一方で、非専門家による厳密ではない統計でも、使い方によっては、実務には十分に役立つという側面があるように思います。
なので、「平均と標準偏差で止まっている人にはもう一歩進んだ世界を体験してほしい」という気持ちがつのるようにもなりました。特にQAの人に対しては。
≡ 本書は統計学の入門書ではありません……
キャッチイメージをご覧ください。
Warning:
This is not an introductory textbook in statistics.と書いてあります。
有名な本の“はじめに”（Introduction）に書かれているものです。
「警告： 本書は統計学の入門書ではありません」という意味です。（訳すまでもないですが）
翻訳書も出ています。『論文が読める!早わかり統計学』です。とても面白い本ですが、この本ですら実務で使うにはしんどいかなとも思います。
統計について易しく楽しく書かれている本なのに「本書は統計学の入門書ではありません」と一行目で言い切ってしまうところ、逆にカッコ良くないですか？
そこで、私もこれをリスペクトして「本noteは統計の入門ではありません」と初回に宣言しておきます。(^^)
つまり、このnoteを読んでも統計学の入門にはならないということです。もちろんQC検定の受験対策にもなりません。
QC検定は、歴史があるだけあって、勉強材料としてはとても良いと思います。ソフトウェア関連の転職に有利となる資格ではないと思いますが。
※ QC検定三級は簡単ですが、一級は結構難しいです。
※ 統計検定というのもあるようです。データサイエンティストのニーズは今後も高まると思うので、こちらの資格の方が良いのかな。
≡ なにを書くの？
「統計」について書きます。
でも私が書けることなんて初歩の初歩です。しかも入門にはならないって、「いったい、このnoteには何を書くつもりなの？」と思われたと思います。
「実務」で道具として統計を使う方法について書きます。
つまり、グラフでいえば、書き方（例えば、ヒストグラムの区画の分け方等）よりも読み方について書きたいです。
平均や中央値、標準偏差（SD）や四分位範囲（IQR）の計算式よりも、値の理解の仕方について書きたいですし、検定や分布への適合もその意味について書きたいです。
逆に、グラフを描いたり、統計値やp値を計算するといった面倒なことは、R/Rコマンダーというツールに任せます。任せるとは「Rが出力したグラフや計算結果は、鵜呑みにして正しいものとして疑わない」ということです。統計学者はそこを疑うのが仕事ですが実務者は疑わないというやり方もあるかなと思います。
例えば、25パーセンタイルといったごく基本的な値ですら、Rコマンダーの出力結果と手計算したものとを比較してみると「なんでこの値になるの？」って思うと思います。
25パーセンタイルを手計算するときには、普通は、「ヒンジ」というアルゴリズムを使います。Rでも、fivenumという関数を使えば、それを求めることができます。
しかし、Rコマンダーの要約が出力する四分位点は別の（もっと正しい）アルゴリズムを実装したquantileという関数を使用しています。でも、そんな話は実務ではどうでもいいのです。
私は細かいところが気になるタチなので（右京さんか！？）、こうしてコラムのように書くと思いますが、趣味の補足なので、読み飛ばして構いません。
そうそう。統計の権威の中には、数式と筆算を重視する先生もいます。
私も、統計学を発展させるためには数式と筆算は欠かすことができないと思っています。
でも、日常生活で、3桁の数の掛け算をするときには電卓を使いますよね。それと同じです。
そこで、このnoteでは、統計を使ってやりたいことをRコマンダーを使って最短で行う方法を書きます。
例えば、“この2つの要因に相関関係があるかどうかを知りたい。できたら疑似相関も見つけたい”といったような実務でしたいことはそんなに多くはありません。
さらに、統計計算に期待している正確性は、アルゴリズムの違いが影響する粒度よりもずっと粗いことが多いものです。Rコマンダーでも、計算の前のオプションシートで、適用するアルゴリズムを選択できます。でも、アルゴリズムの違いを考えるくらいなら「サンプリングデータを1件増やしたら？」と思う場面も多いものです。
ただし、前提については書きたいと思っています。どんな分布を仮定していて、サンプリングサイズはいくつ必要なのかなどなど、Rコマンダーが出力した結果を信じられる前提が整っているかどうかを判断できるように書きたいなと思っています。
≡ 統計の変数
本格的な連載は次回からですが、今回一つだけ済ませておきたいことがあります。それは統計の変数の分類の話です。
先日、とある大学が作成した統計入門の動画を視聴しました。Stanley Smith Stevensのあの有名な変数の4つの尺度、「名義尺度」「順序尺度」「間隔尺度」「比例尺度」のお話をされていました。1946年に発表された、こちらの論文です。
でも、4つの尺度の違いの大切さが分かるのは、かなり後になってからだと思うのですが……。
たとえるなら、日本史で最初にならう、丸底深鉢土器と尖底深鉢土器の違いには詳しいのに、大正時代のことは一切知らないのはマズイだろうと、、、そんな感じです。
本noteでは「統計で扱うデータには、『数値』と『文字』の2種類がある」ことだけわかってもらえればOKというスタンスです。欲を言えば、「数値を格納する変数のことをパラメータや数量変数、文字を格納する方は因子やカテゴリ変数と呼ぶ」まで知っていたらRコマンダーツールのメニューを選ぶときに少しだけ楽になりますが、知らなくてもいいです。
知っておいてほしいことは「数値は計算できるけど、文字は計算できない」ということです。
じゃあ、文字データはどういう統計処理をするかというと、その要素の数を数えます。と、そんなふうに変数の違いを記憶してほしいのです。
例えば、社員データベースがあったときに、性別（男子、女子）という文字データ（カテゴリ変数）については、「うちの会社は、男性が500人で、女性が150人」といったように、「性別」という文字を扱う変数をもとに、データ数（度数ともいう）を数えることができるだけです。
いくつか例を挙げてみます。
数： 身長、体重、年齢、収入
文字： 所属、性別、車種
イメージは湧きましたね。
準備はいいですね。（笑）
それでは、パスポートの旅券面に記載されている各項目について、これは「数字」これは「文字」と分けてみてください。（姓は文字、と言った具合です）
下記は、外務省のページにあった見本です。
旅券番号はTで始まっているから文字でしょうか？ 生年月日の月もMAYなので文字でしょうか？？
「だから、4つの尺度、『名義尺度』『順序尺度』『間隔尺度』『比例尺度』の話がいるんだろうがー」と、統計の先生に叱られそうです。
でもそんなことは気にしなくていいんです。実務では数値か文字かだけわかれば、当面は十分ですから。
≡ おわりに
今回は、これからどんな連載が始まるのかについて書きました。最後の「変数の分類の話」を読んで、これからの連載の雰囲気を感じ取っていただけたらと思います。
次回は、Rコマンダーを使ってデータを読み込んでグラフを書く操作の説明をしようと思っています。次回以降は短い2000文字くらいのnoteにしたいと思っています。
まーいつも「短く」とは思っているのです。
