Link
長くなりすぎたので分割。Part1はこちら。
Part1
Part1 Fundamentals of Bayesian Inference
Chapter 3 Introduction to multiparameter models
3.1 Averaging over ‘nuisance parameters’
局外パラメータnuisance parametersの話である。ベクトルとする。このとき、のみに興味があるとすると、は局外パラメータになる。単純な例としてを考える。とはどちらも未知であるが、多くの場合興味があるのは平均だけだろう。興味があるパラメータの条件付き確率分布を観測データに基づき求める。これは以下の同時事後分布の式と、から得ることができる。または、以下のようにしても良い。この式は興味ある事後分布が与えられた局外パラメータによる条件付き事後分布と、の混合であることを示している。また、はの取り得る値に対しての重み付き関数である。局外パラメータの平均化は一般的に解釈できる。たとえばには考えられるさまざまなサブモデルを表す個別のコンポーネントを含めることができる。
3.2 Normal data with a noninformative prior distribution
A noninformative prior distribution
章(p.54)では位置と尺度パラメータの事前分布が独立であるならば、に対してはともに一様分布に従うということを見た。あるいは、である。
The joint posterior distribution,
この従来の不適切な事前密度では、結合事後分布は尤度関数に係数を掛けたものに比例する。であり、で単純なの分散である。の十分統計量はとなる。同時事後分布をのように因数分解するために、最初に条件付き事後分布を考慮し、次に周辺事後分布を考える。与えられたに対しての事後分布を決定するため、2.5章で得られた既知の分散を有する正規分布の平均および一様事前分布に関する以下の結果を用いる。
The marginal posterior distribution,
を決定するため、結合分布をについて積分する。これは、これは尺度付き逆カイ二乗分布であり、以下のように書ける。このように結合事後分布であるを条件付き事後分布と周辺事後分布の積に因数分解することができた。このについての周辺事後分布は類似のサンプリング理論の結果と驚くほど一致している。すなわち、とに条件付けられた適切に尺度化された十分統計量を有する分布である。しかし,section2.8で行ったスケールパラメーターの参照事前分布の導出を考慮すればこの結果は驚くには値しない。
Sampling from the joint posterior distribution
まずからを引き、次にからを引けば、結合事後分布から簡単にサンプルを導くことができる。これは閉形式で解ける簡単な数少ないマルチパラメーター問題であり、事後分布の解析的な結果も導出することができる。
Analytic form of the marginal posterior distribution of
母平均は一般的に注目される推定量であり、ベイズ分析の目的はの周辺事後分布であり,これは結合事後分布からを積分することによって得られる。の表現から、の事後分布は、分散に対して尺度付き逆分布上で混合された正規分布の混合物とみなすことができる。共同事後密度を上で積分することにより、の周辺事後密度を導出することができる。この積分は以下の置換を行うことで評価できる。そして、結果は正規化されていないガンマ積分である。これは、である。別の言い方をすれば、に対する非情報的一様事前分布のもとで、の事後分布は次のような形になることを示した。ここでは標準分布(位置パラメータ、尺度)を表し、その自由度はである。この周辺事後分布は、サンプリング理論とのもう一つの興味深い比較を提供する。サンプリング分布の元で、以下の関係式が成り立つ。主成分のサンプリング分布は局外パラメータに依存せず、その事後分布はデータに依存しない。推定量に対する重要な量とはデータと推定量の自明でない関数で、そのサンプリング分布がすべてのパラメータとデータから独立であると定義される。
Posterior predictive distribution for a future observation
将来の観測に対する事後予測分布は以下の様に表される。積分の中の最初の項は与えられたにおける将来の観測に対する正規分布であり、に依存しない。事後予測分布を導くため、最初に結合事後分布からを導き、によってを推定している。
実際、の事後予測分布は位置で尺度で自由度の分布である。
3.3 Normal data with a conjugate prior distribution
A family of conjugate prior distributions
より一般的なモデルへの第一歩として、先ほど考えた非情報的な事前分布の代わりに,パラメータ変量正規サンプリングモデルに対する共役事前分布を仮定してみる。で示された尤度の形とその後の議論は、共役事前分布がの積の形をしていなければならないことを示している。ここで、の周辺分布は尺度付き分布であり、与えられたにおけるの条件付き分布は正規分布である。したがって、の周辺分布は分布である。以下のパラメータ化が簡便である。これは以下の結合事後分布に相当する。
3.5 Multivariate normal model with known variance
Multivariate normal likelihood
基本的なモデルとして、観察可能な次元のベクトルの多変量正規分布モデルを考慮する。ここでは長さの列ベクトルであり、はの対称行列で、各要素はすべて正である。一観測要素に対する尤度はであった。個の独立で同一分布に従う観測に対してはとなる。
Conojugate analysis
単一変数の場合と同様に、多変量正規分布モデルについて、最初にが知られている場合について考える。
Conjugate prior distribution for with known
の対数尤度は二次式の形になり、それ故の共役事前分布は多変量正規分布になる。これをと表す。
Posterior distribution for for with known
の事後分布はとなる。これはについて二次式の指数の形になっている。計算を進めると、となる。ここで、である。
これは2.2.5 2.5 Normal distribution with known varianceで得た結果と同様であり、事後分布の平均はデータの平均と事前分布の平均によって重み付けされている。その重みというのが、データと事前精度であるとである。
Posterior conditional and marginal distributions of subvectors of with known
多変量正規分布の特徴から、例えばパラメータの集合であるなどの周辺事後分布は、また多変量正規分布であり、その平均ベクトルは事後平均ベクトルの適切な部分ベクトルに等しく、分散行列はの適切な部分行列に等しい。また、次の集合が与えられた上での集合の条件付き事後分布はまた多変量正規分布である。上付き文字を括弧で囲んで適切な部分ベクトルと部分行列を示すと、となる。ここで回帰係数と条件付き分散行列は次のように定義される。
Posterior predictive distribution for new data
新しい観測に対する事後予測分布について検討する。
コメント