一口に検定といっても、いろいろな検定法がありますが、検定とは何をやっているのでしょうか。
ある統計に対して、有意差があるかどうかを調べるときに検定が行われますが、どんな意義があるのでしょうか。
検定とはどういうことなのか
例えば日本で街を歩いていたときに、身長が２ｍの人をみかけたとします。
すると、その人は外国人ではないのかなと思ったりします。
日本人の平均身長は、男性でも１７０ｃｍなので、２ｍというとそれに比べてかけ離れた身長なので、日本人ではないんじゃないかと思ったのですが、これが検定の原理になります。
つまり、平均１７０ｃｍの日本人が街を歩いている中で、２ｍの人を見かけるという確率がかなり小さなことが思ったため、その２ｍの人は日本人ではなく、外国人ではないかという仮説を立てたことになります。
検定でくじのいかさまを検証
検定を身の回りのわかりやすい事例で説明すると、くじ引きが説明しやすいかもしれません。
よく商店街などで行われるくじですが、なんかあやしいと思ったことがある人もいると思います。
当たりくじが入っていないんじゃないかとか、ウソの広告をしているのではないかということです。
くじの福引で３分の２が当たりという広告につられて、３回福引をしたけど、３回ともはずれてしまった場合、はたして福引が当たる確率は実際は３分の２より小さいのではないかということを有意水準５％で検定するというような場合に、検定が用いられます。
検証ですが、福引のくじが実際に当たる確率をθとします。
そして差がないとする『帰無仮説（null hypothesis）』は、福引が当たる確率が３分の２ということと差がないとするので、確率は３分の２になります。
一方、逆に差があるとする『対立仮説（alternative hypothesis）』は、３分の１になります。
３回とも外れる確率は、１回外れる確率が３分の１なので、その３乗となり、２７分の１、つまり０．０３７になります。
帰無仮説が正しいという仮定のもとで、実際に起こった出来事がどれくらいの確率で起こるかを計算したのが、０．０３７、つまり３．７％と小さな値になるので、帰無仮説、つまり福引が当たる確率が３分の２であるという広告が疑われるわけです。
有意水準５％とは
さて『有意水準５％』とはどういうことかというと、同じような調査を行った場合、５％つまり２０解に１回は得られた結果が間違っているというレベルかどうかということになります。
実際に帰無仮説で検証した結果、３．７％となり、これは５％よりも小さいので、帰無仮説は間違っていて、対立仮説が採択となるわけです。
もしこれが、２回福引して２回ともはずれた場合は、２回とも外れる確率は、３分の１の２乗なので、９分の１となり、０．１１１、つまり１１．１％となり、５％とよりも大きくなるので、帰無仮説を棄却することはでず、帰無仮説が採択されます。
その場合の判断は、福引が当たる確率は３分の２より小さいとはいえないということになります。
