統計処理手法の選び方について（１）
統計処理を難しく考えすぎるのは良くない
かなり以前の話ですが，卒業論文発表会の質疑応答で，学生にこんな質問をしていた先生がいました．
その時の以下のようなデータだったと思います．
（下図で示しているのは仮のデータです）
「君はこの４群の多重比較にテューキー法を使ったようだけど，どうしてテューキーなの？ シェッフェを使わなかった理由は何？」
どうしてそんな小難しい質問を卒論発表会でするのか理解に苦しみます．
たとえ学生がそれに頑張って答えられたとして，こういうのは卒論発表会を有意義にする質問ではありません．
するとしても，ゼミの時間とか勉強会とかにする質問だし，この場でどうしても聞きたいなら空き時間にフロアで声をかければいいだけでしょう．
卒論発表会の質疑応答なんて，多くの場合わずか数分です．
もっと質疑応答が面白くなる質問をすればいいのにと思うのですが，なぜかこんな質問をしたがる先生って，なんだかんだで結構います．
はっきり言って，優越感に浸りだけではないかと邪推したくなる．
たしかに，この先生が言うように，統計処理の手法を選ぶためには，それぞれの理由があります．
代表的なのが，上述したようなテューキー法とシェッフェ法です．
詳細は以下のウィキを読んでください．
■テューキーの範囲検定（Wikipedia）
■シェッフェの方法（Wikipedia）
同じ「多重比較」の手法であっても，計算方法が違うし，計算結果も違ってきます．
計算方法が違うということは，「考察」の仕方にも影響するし，本来なら「実験計画」の段階で考慮しなければならない話なのですが・・・．
実際のところ，データ解釈をする上では，そんなことはこの際どうでもいいんです．
ご存知かと思いますが，シェッフェは有意差が検出されにくく，一方のテューキーはかなり甘め．
たいていの学生は，
「シェッフェは有意差が現れにくいから，テューキーを使う方がいい」
と思っています．
そして，統計学の研究でもない限り，（実験データの分析における）統計処理なんてそんな認識で大丈夫です．
データの統計処理手法を選ぶ基準は，論文を書く人の「祈り」
以前，学部生向けの「統計分析の授業」をやっていたことがあります．
理由は，
「どうせゼミ論や卒論の時に，絶対に必要になるから，あらかじめその知識とスキルを習得させておこう」
というもの．
しかし，私自身も学生の時にそうでしたが，学部生に統計処理のことを教えてもほとんど身につかないんです．
案の定，なかなか上手くいかない授業だったため，学科会議でも話題になりました．
そこで，その道ではかなり高名な研究者の方がこんな発言をしました．
「やっぱり学部生に統計処理のことを教えるのは難しいですよ．はっきり言って，やらなくていいと思う．そもそも，統計処理って実験者本人が『データがこうなってほしいな』という『祈り』があって，初めて意味を持って勉強したくなるものですから．そういう『祈りたいもの』が何もない学生たちには，理解不能な授業ですよ」
これ，至言だと思います．
統計学をやるならまだしも，「統計処理」というのはデータ解釈をするための作業であり，スキルです．
これはちょうど，就職活動をしていない学生に「履歴書の書き方」とか「自己分析」なんかをさせても無意味なのと一緒．
「私はこういう人間になりたい」
という祈りがなければ，こうした分析やスキルが身につかないのと同様，
「このデータでこういうことが言いたい」
という祈りがなければ統計処理のことは理解できません．
この記事のタイトルに引きつけて言い換えれば，統計処理なんて「その実験とデータで言いたいこと」に合わせて選ぶので問題ありません．
（もちろん，統計学の原則的には誤りですが）
「有意性が現れた手法を使う」で大丈夫
これは平均値の比較に限らず，相関関係（ピアソンかスピアマンか）とか，効果量とかにも同じことが言えます．
逆に，「有意差が出てほしくないデータ」であれば，有意差が現れにくい手法を使います．
私が知る限りの話ではありますが，論文投稿においても世界中の研究者がこのスタンスでやっています．
査読者（その論文を審査して掲載OK／NGを出す人）も，統計手法についての細かいチェックはしませんし，
「今回，あなたはテューキー法を使って有意差無しとしているが，あなたの主張を支持するためにも，ノンパラメトリック検定を試みてみてはどうか？」
などというコメントや助言が返ってくることもあります．
逆に，私も査読者のときに，そういうコメントを書くこともあります．
先日も，単純な相関関係とｔ検定のみで「先行研究と異なり，有意性が無い」と考察していた人に，共分散分析（ANCOVA）を使えば，先行研究と類似した主張ができるかもしれないので，それをやってみてほしい．とコメントしました．
簡単に示すと，以下のようなこと．
著者としては，先行研究と同様に，本研究においても相関関係が有意であり，そのグループ間の平均値にも差があると言いたいわけです．
ところが，相関関係は有意だったけど，平均値の比較では思い通りになってくれなかった．
つまり，この例で言えば「ＢはＡよりも有意に大きい」とは言えなかったんですね．
なので，私としては共分散分析で有意差があると言えるのではないかとコメントしたんです．
共分散分析というのは，以下のような近似直線（回帰線）として示される差を比較する統計手法です．
たぶん，著者とその研究グループの人たちは共分散分析を知らないんだと思います．
けど，それを査読者が教えてあげれば，無理やりこじつけた考察をするよりもスマートに議論を展開できます．
それに，研究背景や実際のデータを見させてもらう限り，そういう考察が素直にできると思いましたし．
実際，上記のように散布図として手書きで点を打ってみたら，意味のあるデータのように見えたから．
（ＢはＡよりも右上に分布しているように見えるでしょ？）
今そこでやっている統計手法では有意じゃないからって，リジェクトするのはもったいない話です．
論文を読んでいても，おそらくこの研究グループは，そういうデータの動き方をするんだと主張したいと感じました．
むしろ，先行研究のように平均値を比較するよりも，こっちの方が著者たちの考察に沿うように思います．
つまり，「このデータで言いたいこと」がまず先にあって，それを統計学的に裏付けることができればいいのです．
統計分析は「審判」「レフェリー」ではなく，「パズルのピース探し」
統計学的手順を，まるで審判やレフェリーのような判断基準と考える人がいます．
多くの学生もそう考えますし，私も授業や学生指導ではそんな表現をすることがありますが，あれは間違いです．
これだと，
「このデータに統計学的な有意性があるか否か」
という視点で分析したり実験するクセがついてしまいます．
そうではなくて，
分析したいデータが，どんな統計手法での説明にマッチしているか？
という視点が大事なのです．
そんな話になると，やっぱり結局のところ，冒頭の厭味ったらしい先生の，
「どうしてテューキーなの？ シェッフェを使わなかった理由は何？」
という発言は至極当然の指摘であることになるんですけど．
それでも，繰り返しますが，それはこの際どうでもいいのです．
特に卒業論文や修士論文などであれば，それぞれの統計手法が持つ意味を知ることよりも，そのデータからどんな説明ができるのかに注力してほしいんです．
誤解を恐れずに言えば，自分が言いたいこと支持してくれる統計手法を見つけることは結構大事です．
そういう試行錯誤のなかで，統計手法のスキルがレベルアップしていくものだと思います．
関連記事
■統計処理手法の選び方（２）多重比較の使い分け方法
■統計処理手法の選び方（３）多重比較が不要な多重比較？
■統計学の記事（まとめページ）
■ｔ検定：対応ある／なしの違いは何か
