【統計検定１級対策】多項分布の積率母関数・期待値・分散の導出

目次

前書き

　離散分布の最後です、多項分布に関して紹介したいと思います。 多項分布は先日紹介しました二項分布の多クラス拡張です。 二項分布は例えばサイコロを$10$回投げて$2$以下が出るクラスAとそれ以外はクラスBになるとしてクラスAに所属する回数を確率変数$x$としたときに従う確率分布でしたが、多項分布はサイコロを$10$回投げて$1$が出たらクラスA、$2,3$が出たらクラスB、$4,5,6$が出たらクラスCとしてあげると、各クラスの所属回数$\textbf{X}=(x_1,x_2,x_3)^T$を確率変数とした場合に従う分布が多項分布$Mul(\textbf{X};10,\frac16,\frac26,\frac36)$に従うわけです。
　それではいつものように結論を確認してから、詳細を見ていきましょう。

初めに結論

導出

積率母関数

　積率母関数の導出は二項定理の形を無理やり作り出すところにあります。

$$ \begin{eqnarray} M_{\mathbf{X}}(\mathbf{t})&=&E(e^{\mathbf{t}^T\mathbf{X}})\\\
&=&\sum_{x_1\ge 0}\sum_{x_2\ge 0}\cdots\sum_{x_K\ge 0}e^{t_1x_1}e^{t_2x_2}\cdots e^{t_Kx_K}\frac{n!}{x_1!x_2!\cdots x_K!}p_1^{x_1}p_2^{x_2}\cdots p_K^{x_K}\\\
&=&\sum_{x_1=0}^n\frac{n!}{x_1!(n-x_1)!}(e^{t_1}p_1)^{x_1} \sum_{x_2=0}^{n-x_1}\frac{(n-x_1)!}{x_2!(n-x_1-x_2)!}(e^{t_2}p_2)\\\
&\cdots&\sum_{x_{K-1}=0}^{n-(\sum_{i=1}^{K-2}x_i)}\frac{(n-\sum_{i=1}^{K-2}x_i)!}{x_{K-1}!x_K!}(e^{t_{K-1}}p_{K-1})^{x_{K-1}}(e^{t_K}p_{K})^{x_K}\\\
&=&\sum_{x_1=0}^n\frac{n!}{x_1!(n-x_1)!}(e^{t_1}p_1)^{x_1} \sum_{x_2=0}^{n-x_1}\frac{(n-x_1)!}{x_2!(n-x_1-x_2)!}(e^{t_2}p_2)\\\
\cdots&\sum_{x_{K-2}=0}^{n-(\sum_{i=1}^{K-3}x_i)}&\frac{(n-\sum_{i=1}^{K-3}x_i)!}{x_{K-2}!(n-\sum_{i=1}^{K-2}x_i)!}(e^{t_{K-2}}p_{K-2})^{x_{K-2}}(e^{t_{K-1}}p_{K-1}+e^{t_K}p_{K})^{n-\sum_{i=1}^{K-2}x_i}\\\
&=&(e^{t_1}p_1+e^{t_2}p_2+\cdots e^{t_K}p_K)^n \end{eqnarray} $$

式変形のトリックを順にみていきましょう。

• 第三式から第四式：$x_1$に関係がある項だけをまとめて(二項定理の形っぽくするために$(n-x_1)$をわざと作っているのもポイント)$x_2$以降のシグマの外側に出しています。残った部分で$x_2$に関係のある項だけまとめて出すを順に繰り返していきます。この時注意したいのが$x_2$のシグマの最終項の部分です、$n-x_1$となっていますね？これは$x_1$を固定してあげると残る個数は$n-x_1$となるためです、ある変数を固定すれば残りの自由に動ける個数はその固定した変数以外となることを順々に繰り返せば第四式のようになります。また、式の最後の部分の分母で$x_K$となっているのは、$n=x_1+x_2+\cdots+x_K$であることを利用しただけです。
• 第四式から第五式：第四式の最後の部分$\sum_{x_{K-1}=0}^{n-(\sum_{i=1}^{K-2}x_i)}\frac{(n-\sum_{i=1}^{K-2}x_i)!}{x_{K-1}!x_K!}(e^{t_{K-1}}p_{K-1})^{x_{K-1}}(e^{t_K}p_{K})^{x_K}$はよく見ると二項定理の形$\sum_{x=0}^{n}\frac{n!}{x!(n-x)!}a^xb^{n-x}=(a+b)^n$になっていますね、二項定理を適用します。
• 第五式から第六式：後ろから順々に二項定理を適用していくだけです。

　慣れないとこれは気付かないですよねー、私もこの導出するのに結構時間を使ってしまいました。。。

平均

　期待値を求めたいクラスのインデックス$i$すなわち$t_i$で積率母関数を偏微分し、$\mathbf{t}=\mathbf{0}$を代入してあげれば導出完了です。

$$ \begin{eqnarray} E(X_i)&=&\left.\frac{d}{dt_i}M_{\mathbf{X}}(\mathbf{t})\right|_{\mathbf{t}=\mathbf{0}}\\\
&=&\left.np_ie^{t_i}(e^{t_1}p_1+e^{t_2}p_2+\cdots+e^{t_K}p_K)^{n-1}\right|_{\mathbf{t}=\mathbf{0}}\\\
&=&np_i \end{eqnarray} $$

分散

　二次のモーメントを求めていきます。 $$ \begin{eqnarray} E(X_i^2)&=&\left.\frac{d^2}{dt_i^2}M_{\mathbf{X}}(\mathbf{t})\right|_{\mathbf{t}=\mathbf{0}}\\\
&=&\left.\frac{d}{dt_i}np_ie^{t_i}(e^{t_1}p_1+e^{t_2}p_2+\cdots+e^{t_K}p_K)^{n-1}\right|_{\mathbf{t}=\mathbf{0}}\\\
&=&np_ie^{t_i}(e^{t_1}p_1+e^{t_2}p_2+\cdots+e^{t_K}p_K)^{n-1}+\\\
&n&(n-1)p_i^2(e^{t_1}p_1+e^{t_2}p_2+\cdots+e^{t_K}p_K)^{n-2}|_{\mathbf{t}=\mathbf{0}}\\\
&=&np_i+n(n-1)p_i^2 \end{eqnarray} $$

　では分散を求めましょう。 $$ \begin{eqnarray} V(X_i)&=&E(X_i^2)-(E(X_i))^2\\\
&=&np_i+n(n-1)p_i^2-(np_i)^2=np_i(1-p_i) \end{eqnarray} $$

周辺化

　周辺化はある変数に着目し、それ以外の変数を積分消去することを言います。この辺りまだちゃんとエントリかけていないので、詳しくは後日まとめますエントリを待っていて下さい。

　結論から言うと着目変数か、それ以外かの二項分布となります。今回は具体例で三項分布$Mul((x_1,x_2,x_3);n,p_1,p_2,p_3)$で$X_1$の周辺分布を求めてみましょう。
やることは先の積率母関数を求めた時と同じことをします。 $$ \begin{eqnarray} P(X_1=x_1)&=&\sum_{x_2=0}^{n-x_1}\frac{n!}{x_1!x_2!x_3!}p_1^{x_1}p_2^{x_2}p_3^{x_3}\\\
&=&\frac{n!}{x_1!(n-x_1)!}p_1^{x_1}\sum_{x_2=0}^{n-x_1}\frac{(n-x_1)!}{x_2!x_3!}p_2^{x_2}p_3^{x_3}\\\
&=&\frac{n!}{x_1!(n-x_1)!}p_1^{x_1}(p_2+p_3)^{n-x_1}\\\
&=&\frac{n!}{x_1!(n-x_1)!}p_1^{x_1}(1-p_1)^{n-x_1}\\\
&\sim&B(n,p_1) \end{eqnarray} $$

やっていることは$x_1$に関係する項をまとめてシグマの前に出し、二項分布の形を見つけ置き換える、$1=p_1+p_2+p_3$を利用すれば導出完了です。
確かに二項分布になりましたね。

条件付き分布

　ある確率変数の実現値が分かっているうえで残りの確率変数の確率分布を考えるような状況が、条件付き分布の出番です。 具体的に三項分布$Mul((x_1,x_2,X_3);n,p_1,p_2,p_3)$において$X_1=x_1$で条件付けた$X_2=x_2$の条件付き分布を計算してみましょう。

$$ \begin{eqnarray} P(X_2=x_2|X_1=x_1)&=&\frac{P(X_1=x_1,X_2=x_2)}{P(X_1=x_1)}\\\
&=&\frac{\frac{n!}{x_1!x_2!x_3!}p_1^{x_1}p_2^{x_2}p_3^{x_3}}{\frac{n!}{x_1!(n-x_1)!}p_1^{x_1}(1-p_1)^{n-x_1}}\\\
&=&\frac{(n-x_1)!}{x_2!x_3!}p_2^{x_2}p_3^{x_3}(1-p_1)^{-(n-x_1)}\\\
&=&\frac{(X_2+x_3)!}{x_2!x_3!}\left(\frac{p_2}{p_2+p_3}\right)^{x_2}\left(\frac{p_3}{p_2+p_3}\right)^{x_3}\\\
&\sim&Mul\left((x_2,x_3);n-x_1,\frac{p_2}{p_2+p_3},\frac{p_3}{p_2+p_3}\right) \end{eqnarray} $$

条件付けた確率変数を除いた形の多項分布になりましたね。
私の方で四項分布$Mul((x_1,x_2,x_3,x_4);n,p_1,p_2,p_3,p_4)$における他のパターンも計算してみた結果だけ記載しておきますので、計算練習として導出をやってみてください。

$$ \begin{eqnarray} &P&(X_1=x_1|X_4=x_4)\sim\\\
&Mul&\left((x_1,x_2,x_3);n-x_4,\frac{p_1}{p_1+p_2+p_3},\frac{p_2}{p_1+p_2+p_3},\frac{p_3}{p_1+p_2+p_3}\right)\\\
&P&(X_1=x_1,X_2=x_2|X_3=x_3)\sim\\\
&Mul&\left((x_1,x_2,x_4);n-x_3,\frac{p_1}{p_1+p_2+p_4},\frac{p_2}{p_1+p_2+p_4},\frac{p_4}{p_1+p_2+p_4}\right)\\\
&P&(X_1=x_1|X_3=x_3,X_4=x_4)\sim\\\
&Mul&\left((x_1,x_2);n-x_3-x_4,\frac{p_1}{p_1+p_2},\frac{p_2}{p_1+p_2}\right)\\\
\end{eqnarray} $$

まとめ

　初めての多変量の確率分布でしたがいかがだったでしょうか？ やることは一変量とほぼ同じですよね？ちょっと微分の回数が多くなるや、$0$を代入する箇所が多いくらいですね。 多変量ならではの周辺分布は後日とはなってしまいますがエントリを書こうと思います。

　それではこのブログが統計を学んでいる方や統計検定１級取得を目指している方に少しでも情報提供になれること、このブログを通して数学・統計学を面白いと思っていただけることを願いまして本日もこのあたりで失礼します。

参考文献

• 日本統計学会編, “日本統計学会公式認定 統計検定１級対応 統計学”, 第６刷, 2013, 東京図書, ISBN 978-4-489-02150-3.
• 藤澤洋徳, “確率と統計”, 第9刷, 2006, 朝倉書店, ISBN 978-4-254-11763-9.
• 小寺平治, “明解演習 数理統計”, 初版30刷, 1986, 共立出版, ISBN 978-4-320-01381-0.