【統計検定１級対策】$p$変量正規分布（$p$変量ガウス分布）の積率母関数・期待値・分散の導出
目次
前書き
今まで紹介した確率分布は一変数のものがほとんどでした。 今回紹介するのは多項分布と同様に多変量の確率分布としての$p$変量ガウス分布です。 $p$変量正規分布は、$p$次元確率ベクトル$\mathbf{X}$が平均ベクトル$\boldsymbol{\mu}$、分散共分散行列$\Sigma$としたとき、モーメント母関数$E(\exp{(\mathbf{t}^T\mathbf{X})})$が $$M(\mathbf{t};\boldsymbol{\mu},\Sigma)=\exp{\left(\boldsymbol{\mu}^T\mathbf{t}+\frac12\mathbf{t}^T\Sigma\mathbf{t}\right)}\quad\mathbf{t}\in \mathbb{R}^p$$ であることと定義されるものです。
それではいつものように結論を見て導出の詳細を見ていきましょう。
初めに結論
| 項目 | 値 |
|---|---|
| 台 | $\mathbf{x}\in \mathbb{R}^p $ |
| 確率関数 | $f(\mathbf{x};\boldsymbol{\mu},\Sigma)=\frac{1}{(2\pi)^{p/2} |\Sigma|^{1/2}}\exp{\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T\Sigma(\mathbf{x}-\boldsymbol{\mu})\right)}$ |
| 積率母関数 | $\exp{\left(\boldsymbol{\mu}^T\mathbf{t}+\frac12\mathbf{t}^T\Sigma\mathbf{t}\right)}$ |
| 平均ベクトル | $\boldsymbol{\mu}$ |
| 分散共分散行列 | $\Sigma$ |
導出
積率母関数
積率母関数については、この多変量正規分布の定義として与えられるものなので特に導出はありません。
平均ベクトル
$M_{\mathbf{X}}(\mathbf{t})$を$\mathbf{t}$で微分して$\mathbf{t}=0$をやっていきます。
$$
\begin{eqnarray}
E(X)&=&\frac{d}{d\mathbf{t}}M_X(\mathbf{t})|_{\mathbf{t}=\mathbf{0}}\\\
&=&\left.(\boldsymbol{\mu}+\Sigma\mathbf{t})\exp{\left(\boldsymbol{\mu}^T \mathbf{t}+\frac12\mathbf{t}^T\Sigma\mathbf{t}\right)}\right|_{\mathbf{t}=\mathbf{0}}\\\
&=&\boldsymbol{\mu}
\end{eqnarray}
$$
行列・ベクトル表記になっており考え方が分からなくなってしまった方もいるかもしれませんが、大丈夫です落ち着いてください。 やってることは一変数の時と変わらないです。 $\boldsymbol{\mu}^T\mathbf{t}$は次数が１なので$\mathbf{t}$を消してあげて定数の部分だけのこせばいいです、この時型をそろえるため$\boldsymbol{\mu}$として転置を消しておきます。 そもそも転置していたのは行列として積を成り立たせるため（ベクトルも立派な行列です）なので、最終的に行列の型がどうなるかを考えてあげれば自然と転置をなくしておくべきということが分かるかと思います。 分かり辛い方は要素が二つの行列として成分表記して手を動かしてみるといいと思います。 同様に次数２を表すため$\mathbf{t}^T\Sigma\mathbf{t}$があります。 係数の部分が真ん中に入ってくることが分かり辛ければ成分表記して確かめてみてください。 次数２を微分するので係数として２が出てきて、次数を一つ下げるので前半の$\mathbf{t}^T$の部分が要らなくなるだけですね。
分散共分散行列
分散共分散行列は$E(X^2)-(E(X))^2$で求めることができますので、二次のモーメントを求めます。
$$
\begin{eqnarray}
E(\mathbf{X}^2)&=&\frac{d^2}{d\mathbf{t}^2}M_\mathbf{X}(\mathbf{t})|_{\mathbf{t}=\mathbf{0}}\\\
&=&\frac{d}{d\mathbf{t}}\left.(\boldsymbol{\mu}+\Sigma\mathbf{t})\exp{\left(\boldsymbol{\mu}^T \mathbf{t}+\frac12\mathbf{t}^T\Sigma\mathbf{t}\right)}\right|_{\mathbf{t}=\mathbf{0}}\\\
&=&\left.\Sigma\exp{\left(\boldsymbol{\mu}^T \mathbf{t}+\frac12\mathbf{t}^T\Sigma\mathbf{t}\right)}+(\boldsymbol{\mu}+\Sigma\mathbf{t})^T(\boldsymbol{\mu}+\Sigma\mathbf{t})\exp{\left(\boldsymbol{\mu}^T \mathbf{t}+\frac12\mathbf{t}^T\Sigma\mathbf{t}\right)}\right|_{\mathbf{t}=\mathbf{0}}\\\
&=&\Sigma+\boldsymbol{\mu}^T\boldsymbol{\mu}
\end{eqnarray}
$$
なので分散共分散行列は、 $$ \begin{eqnarray} V(X)=\Sigma+\boldsymbol{\mu}^T\boldsymbol{\mu}-\boldsymbol{\mu}^T\boldsymbol{\mu}=\Sigma \end{eqnarray} $$
まとめ
線形代数を理解していれば一変数の時のガウス分布と全く同じことをしていることが分かるかと思います。 行列表記でいきなり書かれても、、、という方は一回成分表記して実際に手を動かせば納得がいくと思いますのでやってみることをお勧めします。 私も初めて$\boldsymbol{\mu}^T\mathbf{t}\mbox{や}\mathbf{t}^T\Sigma\mathbf{t}$を見たときは「おお！？」となりましたが、成分表記して手計算してみることで納得できました。 いきなり一般化すると分かり辛いので具体化してそれを一般化するというのが数学の鉄則でしたね。
それでは、統計検定１級を目指されている方や統計を勉強している方に良い情報提供となることを願って本日は失礼します。
参考文献
- 日本統計学会編, “日本統計学会公式認定 統計検定１級対応 統計学”, 第６刷, 2013, 東京図書, ISBN 978-4-489-02150-3.
