【コラム】t検定の使いどころについて

調査データの分析にt検定を使うケースは多いと思います。
例えば①まったく思わない~⑤たいへん思う、などの順序尺度で取ったデータを得点化し
A群とB群で比較、などは良く活用されていると思います。

しかしながら、どういった傾向のデータでも一律にt検定が利用できるかといえばそうではなく
利用する確率分布の性質に合ったデータでなければなりません。
社会調査のデータ分析では、使えるケースのほうが少ないように感じております(私見です)。

今回はそういったケースのご紹介です。

模擬データを作成する

今回は下記の想定で模擬データを作成しました。
心理的な調査を「①まったく思わない~⑤たいへん思う」という順序尺度を用いて複数の設問をしある効果量を測定した。
また本質的に意識差のあるA群とB群で比較し、有意な差があるかt検定を用いて検証した。
A群及びB群のサンプル数は300件ずつである。
※①~⑤の順序尺度のため最小値は1となるはずだが、説明便利のため[0,0.25,0.5,0.75,1]と加点して5倍したことにします。

A群 平均:3.04 標準偏差:0.7574
B群 平均:3.264 標準偏差:0.8207
t統計量:-3.48 自由度:594 p値:0.0005 と明確な差が出ました。

一見、手順には問題がないのですが、注意すべきは分布のグレー箇所。
それぞれの統計量で得た確率分布が最大値の5を超えています。
そもそもt分布とは±∞の範囲で発生する確率分布のため今回のように0~5という限られた区間の中で利用することは
厳密には望ましくない方法となります(という建前)。
分散の値を見て最大値、または最小値に著しく分布が重ならない範囲であれば、その点に言及せず利用されることがありますが
この点に外部から指摘を受けてしまうと、なかなか反論ができなくなってしまいます。

よく検定を掛ける際に「分布(ヒストグラム)を確認し正規性も検証せよ」と言われますが、
シャピロウィルク検定の結果は下記の通りで、正規性はあると判断できます。
A群 p値:0.55/B群 p値:0.13

もちろんB群の検定値はギリギリで、この結果を得るために数回の再計算をした「都合の良い」データではありますが
下記のように平均値が高い場合は正規性がまず前提となりませんので順位和検定などで代替されることが多いです。

A群 p値:1.188e-07/B群 p値:1.31e-09