とある人物がいて、目の前に出されたミルクティーが、紅茶を先に入れて作られたミルクティーか、ミルクを先に入れて作られたミルクティーか、一口飲めば、その味の違いでどちらかわかるというのです。
そんな入っている成分は同じなんだし、味の違いで入れ方の違いがわかるわけないと思うのですが、そんなウソだろ、そんな馬鹿な話はないと言ってしまわず、本当なのかウソなのか証明する方法はないのかという問題があります。
この問題を解決するのが、仮説検定になります。
仮説検定とは
仮説検定（hypothesis testing）とは、「とある仮説に対して、それが正しいのか否かを統計学的に検証する」という推計統計学の手法になります。
実際に、この実験を行ったのが、イギリスの統計学者であるフィッシャーでした。
紅茶を先に入れたミルクティーと、ミルクを先に入れたミルクティーを複数用意し、それをランダムに飲んでどちらか当ててもらうというものです。
仮説を立てる
そんな、紅茶を先に入れようが、ミルクを先に入れようが、カップの中に入っているのは紅茶とミルクの成分だし、そんな入れ方の違いが味の違いでわかるわけないだろうと思われます。
そこで、このとある人物は、ミルクティーの入れ方をその味で見分けることなんかできないと仮定してみます。
例えば、紅茶を先に入れたミルクティーを４つ、ミルクを先に入れたミルクティーを４つ、合計８つのミルクティーを用意したとします。
最初の１杯目を飲んだとき、本当は味で見分けられないけれど、偶然にも当てずっぽうで当てられる確率は、４／８つまり５０％あります。
２杯連続して当てられる確率は、その二乗になるので２５％になります。
本当かウソかを見極める基準
このようにやっていくと、３杯連続して当てられる確率は１２．５％、４杯連続して当てられる確率は６．３５％、５杯連続して当てられる確率は３．１２５％、６杯連続して当てられる確率は１．５６２５％、７杯連続して当てられる確率は０．７８１２５％、８杯連続して全部当てられる確率は０．３９０６２５％になります。
これらの仮想確率は統計学的にはｐ値と呼ばれます。
このｐ値がある閾値、つまり有意水準を下回れば、偶然では滅多におけないので、味を判断できないとした仮説は棄却されることになります。
有意水準の決め方自体には、科学的根拠はありませんが、例えば優位水準５％として考えてみると、５杯連続して当てられる確率が３．１２５％とすでに５％を下回っているので、ランダムに５杯飲んで、全て当てられた時点で、このとある人は、ミルクティーの味で、ミルクを先に入れて作ったか、紅茶を先に入れて作ったかを判別できるということになります。
