統計処理手法の選び方（３）多重比較が不要な多重比較？

ｔ検定を繰り返してもＯＫな場合がある

前回の記事は，

と題して，３群以上の平均値の比較をするための多重比較検定の種類を取り上げました．

そこで今回は，

多重比較検定しなくてもいい「多重比較っぽい状況」

を解説します．

卒論に限らず，研究報告や学術論文における考察にも耐えられるものですので参考にしてください．

これは，私が実際に遭遇した状況です．

あるローカルな学会で，以下のようなグラフを見せながら，学部生と思しき若者が，緊張してレーザーポインターをプルプル震わせながら，たどたどしく研究発表していました．

この歳にもなると，こういう学生の姿を見ると，こっちも緊張してしまいます．

新しく開発した方法（新方式）が，これまで問題視されていた３つの方式（旧式A・B・C）と比べて効果的である，という趣旨の研究です．

発表者は，
「このように，グラフからも新方式が効果的であることが示されており，また，ｔ検定による統計学的な分析をしても，全ての旧式方法と比べて有意な差がありました」
と言いました．

おや？そんな統計処理で良いの？

と思われた人も多いかと思います．
会場にもそんな空気がピリッと流れたのです．

案の定，質疑応答では，
「さきほど，群間の比較にｔ検定を用いられたと言われていましたが，この場合は多重比較をしなければならないのではないですか？せめて，ダネットの検定などがあると思いますが？」
という質問が出てきます．

発表者はというと，こちらも案の定，青ざめたように固まってしまいました．
おそらく，「多重比較」とか「ダネット検定」といった用語が，彼にとって意味不明だったんだと推測しますけど（笑）

そんな発表者の様子を見ていた座長の先生が声をかけます．

座長：「えぇーと，確認しますが，今回検証された新方式は，他の全ての旧式方法と比べて有意差があったんですね？で，君は新方式を推奨したいんだよね？」

発表者：「あ，はい・・・・」

座長：「そうですか，分かりました．では，◯◯先生（質問者），そうなりますと，多重比較しなくても，新方式が有意に高いことは認めていいと思います．全ての群と有意差がありますので，この場合，多重比較は不要になります．宜しいですか？はい，では他にご質問のある方はどうぞ」

この座長の先生は誠実な人柄で，研究もかなりしっかりやられている人ですので凄まじい説得力があります．
質問者もそれ以上問わず，納得して座りました．
（そのあとの立食パーティーでこの２人は談笑していたから，その時にでも理由を聞いたと思います）

「この爺さん，マジかっけえー・・・」

こんな研究者になりたいものだと思わされた出来事です．

特定の一つの群に「有意差があるか否か」を知りたい場合は，多重比較やα値の修正は不要

あの座長の先生のように，秒速で周囲を納得させることはできませんが，「ｔ検定を繰り返しても良い理由」とは，その発言をそのまま採用すればＯＫです．

この理由を詳細に解説すると，以下のようになります．

よく目にする「対照群との比較（多対一の比較）」では，前回の記事でお話したように，

＊ダネットの検定
もしくは，
＊ボンフェローニ修正

による，多重比較が行われます．

しかし，一見「対照群との比較」と思えるような，下図のような比較を，ｔ検定のみ行ったとしても，全ての群間で有意差が認められた場合には，
「対照群は，その他の群と有意差がある」
と認めて良いのです．

もちろん，全部の群と有意差がなければ「その他の群と比較して」とは言えません．
例えば以下のような状況では・・・，

こういう検定結果では，
「対照群は，その他の群と有意差がある」
とは言えません．

この場合は，
「旧式Aと旧式Cは，新方式と比べて有意差がある」

としか言えないのです．

対照群とその他全ての群とでｔ検定をしてみて，上記のように一部の群としか有意差が認めれない場合は，

１）ダネットの検定をする
２）ボンフェローニ型の修正をする
３）旧式A〜Cを全て合算し，「新方式 vs 旧式」によるｔ検定をする
４）「対照群との比較」という統計処理をしない

という選択肢になります．

図にして説明します．

いわゆるダネット検定が用いられる「対照群との比較（多対一の比較）」というのは，以下のような検定をしています．

この多重比較は，ある一つの「対照群」と，「その他のそれぞれ一つの群」とを比較して，

「対照群と，？群との間に有意差があるか？」

を論じたい場合に用いられる方法です．

一方，上述してきた「多重比較が不要」な場合の検定では，以下のような考え方をしています．

つまり，対照群と「その他の群たち」を比較して，

「対照群が，その他の群たちと有意差があるか？」

を論じたい場合の検定です．

ですから，この検定では，
「対照群はA群と大きな差があったが，C群とはそうでもなかった」
などといった議論はしませんし，できません．

あくまでも「対照群 VS その他」です．

そういう話をすると，
「だったら，処理群（旧式A・B・C）を全部足しあわせて，２群間のｔ検定でいいじゃないか」
という考え方もありますね．

図にすると以下のような検定です．

はい．それでも構わないのです．

というか，たいていの研究者はそれを意識せず，まるでルーティーンの如くやっています．

しかし，この分析方法は，科学的に不誠実な統計処理です．

どうしてかと言うと，この研究で主張したいのは，

「新方式が，これまでの旧式手法よりも明らかに優れた方法である」

というもの．

だとすると，これまでに明確に分けて実施されていた「旧式」A・B・Cいずれの手法とも有意差があることを示す必要があります．
A・B・Cをまとめてしまい，「旧式」という１個の群を作るのは不誠実です．

なぜなら，各群で２群間のｔ検定をしたとして，旧式Aとは有意差があったけど，旧式Bとは有意差がなかったという結果であれば，
「新方式は旧式よりも明らかに優れている」
とは言えないですよね．
だって，新方式ではなく，旧式Bを採用すればいいわけだから．

なので，新方式である対照群と，比較したい「旧式」を全て２群間の検定により分析した上で，
「全ての群と有意差がある」
と論じる方が，誠実で丁寧な議論になります．

しかし，その場合には「ダネット検定」の考え方を用いる必要はありませんよ，ということなのです．

なぜなら，ダネット検定とは，

「対照群とその他の群の，どの群間に差があるか？」

を知りたい検定であり，上記の例で言う，

「対照群が，その他の群たちと比べて有意差があるか？」

ということを知るための手順ではないからです．

最後に，誤解なきよう繰り返しますが，この分析は，
「対照群が，その他の群のいずれとも有意差があることを論じたい」
という場合に限ります．

もし，その他の群の１つにでも有意差が認められなかった場合は，この分析はそこで終了（つまり，有意差無しという結論）になります．

その後は，ダネット検定とかボンフェローニ修正の出番ということです．

ですが，意外とこの「ダネット検定型の多重比較」が不要なデータであるにも関わらず，わざわざダネットの検定をしている研究や論文は多いと思います．

それが気になってこの記事を検索された方は，そこを確認してみてください．

どういう統計学的な理屈で「多重比較」や「ダネットの検定が不要」なのか知りたい人は，
永田靖・吉田道弘著『統計的多重比較法の基礎』
で詳しく解説されているので，論文投稿や発表会用に理論武装したい方は，こちらを参考にしてください．