人工知能・機械学習・自然言語処理周辺の技術情報

2019-05-30

【技術解説】統計学「頻度主義」と「ベイズ主義」の違いとは【徹底比較】

執筆:内野良一

ベイズ統計学ベイズ主義)は一般的な統計学(頻度論的統計学,頻度主義)と何が違うのでしょうか.
それぞれについての解説は多くありますが,それらの違いについて体系的にまとめた資料がほとんど見つからなかったのでまとめてみました.
データサイエンティスト機械学習エンジニアと呼ばれる人でも,これらの違いを説明するとなると戸惑うこともあると思います.
今回はその基礎や歴史的経緯も含め,「違い」に焦点を当てて解説していきたいと思います.
長い記事ですので急ぐ方はページ下部の表に違いをまとめたのでそちらをご参照ください.

目次

統計学
頻度主義(頻度論)とは
ベイズ主義(ベイズ統計学)とは
2つの統計学(主義)を比較
まとめ(比較表)
参考文献

統計学

 太古の時代から人々は生活にかかわるあらゆる数値を調査し記述してきた.15世紀になると古来から行われてきた単なる数値の記述から発展し,そのデータの性質を要約解釈する統計学(statistics)へと進化した.集められた大量の数値からなるデータは,平均分散などの値(統計量)によってその性質を記述することができる.このようにデータの性質を記述していく統計を記述統計(descriptive statistics)(古代統計学)と呼ぶ.19世紀になると集めたデータによって何らかの推測を行おうという動きがみられるようになった.これを推計統計(inferential statistics)と呼ぶ.

記述統計とは

 分析の対象について,集めてきたデータから平均や分散などを計算しその性質や特徴を調べようとする統計学である.
記述統計は得られたデータの要約であるため,分析や調査するためには膨大なデータを取得する必要がある.
そのため,データの取得に時間的または費用的に大きなコストがかかる場合には不向きであった.

推計統計とは

 1921年に遺伝学者で統計学者のロナルド・フィッシャーによって提案された分散分析によって推計統計学が始まる(始まりには諸説あり).
 推計統計学では調査対象の全体(母集団)から抽出(サンプリング)してきた限られたデータ(標本サンプル)を用いることによって母集団についての推定を行う.例えば,日本人成人男性(母集団)の平均身長(変数)を調査したい場合,その全員の身長を測るのは事実上不可能である.
 そこで,ランダムに何人かを選び,測ることによってそこから平均身長を推測しようとするのが推計統計である.母集団から幾つかの要素を選んでくることをサンプリングするといい,選ばれた要素の集合標本またはサンプルという.推計であるため誤差は生じるものの,サンプルサイズ(調査する日本人成人男性の数)を大きくしていくと誤差は少なくなっていく.
 また,日本人成人男性と日本人成人女性の平均身長に差があるのかどうかなどを検証することもできる.男女別にサンプリングしてきた2つのサンプル(サンプル数=2)間に統計的な差がないと仮説(帰無仮説)を立て,それらを特徴づける平均や分散などの統計量から,仮説を棄却し差があることを示す.これを(仮説)検定という.サンプル間に有意な差がないのであればその母数についても差がないはずである.この仮説のもとで母数を推定し,それらに差がない確率を求める.この確率が一定の値以下になれば,その確率で差があるということが言える.
 推計統計では得られたサンプルが母集団の一部であってもその性質を推定することができるため,現在でも医学計算経済学などの幅広い分野で用いられている.
 頻度主義もベイズ主義も推計統計へのアプローチの仕方,考え方の一つのである.それぞれの違いは確率そのものをどう捉えるかによる.

推計統計へのアプローチ手法

 データサイエンスの分野で用いられる現代的な統計学は大きく分けて,頻度論的統計(頻度主義,頻度論)ベイズ統計学(ベイズ主義,ベイジアン)に分かれる.
データサイエンティストと呼ばれる人たちはこの2つの分野に精通していることが好ましいが,一般的にどちらかの分野に長けていることが多い.
この二つの統計学はやりたいことやそれに対するアプローチが大きく異なっており,好き嫌いが分かれているようだ.
 界隈では二つの統計学の生みの親(FisherとBayes)にちなんで,頻度論者(Frequentist)をFisherian(フィッシャリアン,日本ではあまりこの呼び方はされない),ベイズ論者やその手法をBayesian(ベイジアン)と呼ぶ.

頻度主義(頻度論)とは

 一般的に統計学と言われたらこれに該当すると言って差し支えないだろう.頻度主義では,観測する事象は何度も繰り返し起こり,そのなかである特定の事象が起こる相対頻度によって確率を定義する.つまり,事象は起こるか起こらないのかのみを考える.確率には事前分布のようないかなる仮説も未知の値も含まれないため客観的である.
 長い目で見れば確率分布の母数に対する推定値は大数の法則により真の確率分布の母数の値に収束する.つまり,たくさん試行をするほど確率の推定値は真の確率に近づく.しかし,サンプルサイズが小さい時にはその推定精度は低く信憑性も低い.例えば,目が出る確率が同様に確からしいサイコロを3回だけ振ってたまたま3回とも6が出た場合,このサイコロを振って6が出る確率の推定値は1となり真の値である1/6とは大きくズレが生じる.この場合,サンプルサイズは3であろ,正しい推定を行うのには不十分でったと考えられる.ちなみにサンプルサイズを無限大にしたときには1/6に収束する.

頻度論的な仮説検定

 頻度論的な仮説検定では,データをx,仮説をHとしたとき,以下の式を用いて検証する.
$$p(x|H)$$
仮説が正しい場合,既知の確率分布から手元のデータが得られうるのかを,頻度(確率)をもとに検証する.

ベイズ主義(ベイズ統計学)とは

 ベイズ主義では確率は事象の信憑性を表し,新たなデータが観測されるたびにベイズの定理に基づいて更新されていく.更新される前の確率を事前確率,された後の確率を事後確率と呼ぶ.確率値は事前分布とデータによって導かれる.観測する事象は何度も起こらず観測された限られたデータをもとに推計を行う.推計には事前分布を使用するが,正確にわからない時にはこれを仮定するため,主観的になる.これが頻度論者の批難の的となっている.

ベイズ統計的な仮説検定

 ベイズ統計的な仮説検定では,データをx,仮説をHとしたとき,以下の式を用いて検証する.
$$p(H|x)$$
 データがある分布に従っていると仮定し,あるデータが得られた時にそれを証拠として仮説(母数がある値より大きい,または小さい)が成立するかどうかを検定する.

2つの統計学(主義)を比較

推定

 頻度主義では手元のデータからその真の確率分布を,母集団のパラメータ(定数)に対する推定(最尤推定)を通して求めたい.パラメータがわかると対象の事象がどのくらいの確率で起こるかが推定できる.
 ベイズ主義では事前知識(事前確率)と手元のデータ(証拠)を元に,事後確率のパラメータを求めたい.つまり,手元のデータに最も合うようなパラメータを求めたい.この推定をベイズ推定と呼ぶ.パラメータの確率分布が求まると新たなデータをサンプリングできたり,対象の事象がどのくらいの確率で起こるかが推定できる.

サンプルに対する考え

 頻度主義において,サンプルは繰り返し得られるものとして,特定の事象の相対頻度から確率を求める.サイコロの6の目が5回続けて出た場合などサンプルサイズが小さな場合にはノイズの影響を受けやすい.そのため,サンプルサイズは大きいことが望ましい.
 ベイズ主義において,サンプルは貴重な証拠であり,それを元に近似的な確率分布を求める.サンプルサイズが小さくても事前知識を事前分布として用いることができるためそれなりの推定ができる.

客観性

 頻度主義では観測されたデータのみから推論を行うため客観的である.
一方でベイズ主義では前項で述べた通り,事前知識も用いる.そのため,限られたデータを有効に活用することができるが,ここに主観が入りうる.分析時に観測していない事象に対して分布を仮定する.これが頻度主義者に主観的であると揶揄される所以である.

まとめ(比較表)

参考文献

【本】
エリオット・ソーバー, 2012, 科学と証拠 ―統計の哲学 入門―, 名古屋大学出版会.
渡辺澄夫, 2012, ベイズ統計の理論と方法, コロナ社.
【Webサイト】
【ベイズ推定って結局何なの?】 – HELLO CYBERNETICS
ようやく分かった!最尤推定とベイズ推定 – SlideShare
イカサマコインの例で最尤推定とベイズ推定の違いを理解してみる – Qiita
ベイズ推定 – Wikipedia (JP)
Bayesian statistics – Wikipedia (EN)
Frequentist probability – Wikipedia (EN)
Statistical Probabilities – Wikipedia (EN)
Statistical inference – Wikipedia (EN)

大変参考になりました.この場を借りてお礼申し上げます.

関連記事はこちら