IT社会が進んだ現代、『ビッグデータ』という言葉を聞くのもめずらしくなくなってきています。
ビッグデータとは
ビッグデータとは、読んで字のごとくそのまま「大きいデータ」ということになります。
近代のＩＴ社会では、１日当たりＥＢ（エクサバイト）の単位でデータが生まれていると言われています。
パソコンをいじっていておなじみなのは、ＫＢ（キロバイト）、ＭＢ（メガバイト）、ＧＢ（ギガバイト）、ちょっと知っている人でＴＢ（テラバイト）といったところぐらいまでではないでしょうか。
１ＫＢの1000倍が１ＭＢ、１ＭＢの1000倍が１ＧＢ、１ＧＢの1000倍が１ＴＢになります。
１ＴＢ（テラバイト）の1000倍が１ＰＢ（ペタバイト）、さらにその1000倍が１ＥＢ（エクサバイト）になります。
実際の大きさとしては、１ＥＢは、約115京バイトになります。
わかりやすく数字で並べてみると
1,150,000,000,000,000,000バイトということになります。
実際には、これよりもう少し絞られた情報の範囲を社会一般ではビッグデータと呼んでいます。
ビッグデータの例
ビッグデータの例としては、テレビや動画サイトなどのマルチメディアの配信サイトから提供される音声や動画データ、ウェブサイトのＥＣサイトやブログなどに蓄積されている閲覧履歴や購入履歴、サイトで自動的に生成されるアクセスログやエラーログ、SNSなどに書き込まれるコメントやプロフィール、オフィスのパソコンで作成されているビジネス文書やメールなどもビッグデータになります。
交通系のICカードの利用状況などもビッグデータになります。
交通系のICカードで考えてみると、その利用状況を調べようとしたときに、カード利用者の全数の記録が得られるようになっています。
つまり母集団がどんなに大きくても、丸ごと観察して分析が可能になっていて、いわば統計でいえば全数調査に近いものになります。
統計学におけるビッグデータ
一方、統計学では、一般的にその多くがデータを集めて分析するのですが、一部のサンプルから全体像を把握・推定していきます。
代表的なものとしては、世論調査などがありますが、調査の対象、つまりサンプルは無作為に選ばれた一部の人のデータを集めて、そこから推測していく推測統計になります。
こう考えると、全数集めるビッグデータは優れているように思われますが、１つ問題があります。
それは抜けが生じてしまうことです。
国勢調査にしても、その回答率は８０％を少し超えるぐらいです。つまり２割の漏れがあるわけです。
もれなく全数をカバーできればいいのでしょうが、このように漏れがあると、そこでデータの信頼性が下がってしまうのです。
