【統計検定１級対策】十分統計量とフィッシャー・ネイマンの分解定理

目次

前書き

　先日のエントリでは推定と点推定量が満たしてくれると嬉しい性質について紹介しました。 今回からのエントリでは有名な統計量・推定量を紹介していきたいと思います。 統計検定では本エントリで紹介します十分統計量の問題が頻出しているように感じます。 十分統計量は定義通り計算すると面倒なのですが、その手間を省いてくれるのが必要十分条件であるフィッシャー・ネイマンの分解定理です。

　それでは今回紹介する二つの関係性が分かったところで順に詳細を見ていくことにしましょう。

十分統計量

　十分統計量とは、ある分布のパラメータを推定したい時に推定するに十分な情報を含んだ統計量$T=T(X)$のことを言います。 数式で表現すると、パラメータ$\theta$を持つ確率分布を$P(X;\theta)$、$T(X)$をある統計量としたとき、 $$P(X=x|T(X)=t,\theta)=P(X=x|T(X)=t)$$ を満たす$T$を十分統計量といいます。 つまり、十分統計量で条件付けるとパラメータ$\theta$によらなくなるということです。 と言われてもよく分らないですよね、私は初めて十分統計量を知った際は全然理解できませんでした。 なので具体例を挙げたいと思います。

　確率$p$で表の出るコインを$n$回投げるとします。 $i$番目のコインが表であることを$X_i=1$、裏であることを$X_i=0$と表現するとします。 このパラメータ$p$を推定したい時とすると、コインの表が出た回数$T(X)=\sum_{i=1}^nX_i$は十分統計量となります。 表の出る確率を推定したいので表が出た回数というのは確率の推定をするのに使えそうな情報ですよね？ 少なくとも第一投目の結果だけよりかは十分に情報を持っていそうですよね。 ちゃんと十分統計量となっていることを証明してみましょう。

　表が出た回数を確率変数$X$とします、コイン投げ一回の試行はベルヌーイ試行に従うため、表の出る確率を表すパラメータを$p$としたとき $$ \begin{eqnarray} P(X=x|p)&=&\prod_{i=1}^np^{x_i}(1-p)^{1-x_i}\\\
&=&p^{T(x)}(1-p)^{n-T(x)}\\\
&=&(1-p)^n\left(\frac{p}{1-p}\right)^{T(x)} \end{eqnarray} $$ となります。 第二式は独立なベルヌーイ試行を$n$回繰り返したから積で表現されることを利用しています。 第三式は$x_i={0,1}$であることから$p^{x_i}(1-p)^{1-x_i}$は$p$か$1-p$となるので表が出る回数$T(x)$が$p$の指数に、残りの$n-T(x)$が$1-p$の指数に来ています。 第三式は指数法則を利用して$T(x)$をまとめただけですね。 次に条件付き確率$P(X=x|T(X)=t,p)$を計算するために統計量$T(X)$の確率密度を先に求めておきます。 $$ \begin{eqnarray} P(T(X)=t|p)&=&\sum_{x;T(x)=t}P(X=x|p)\\\
&=&{}_nC_t(1-p)^n\left(\frac{p}{1-p}\right)^{T(x)} \end{eqnarray} $$ これは非常に単純で表となるのは$n$回のうち合計$t$回なので組み合わせですね。 これにより目的の条件付き確率はベイズの定理から、 $$ \begin{eqnarray} P(X=x|T(X)=t,p)&=&\frac{P(X=x,T(X)=t|p)}{P(T(X)=t|p)}\\\
&=&\frac{(1-p)^n\left(\frac{p}{1-p}\right)^t\textbf{1}(T(X)=t)}{{}_nC_t(1-p)^n\left(\frac{p}{1-p}\right)^t}\\\
&=&\frac{\textbf{1}(T(X)=t)}{{}_nC_t} \end{eqnarray} $$ ただし、$\textbf{1}(T(X)=t)$は$T(X)=t$を満たすとき$1$それ以外の時は$0$となる定義関数です。 この式変形により、表が出た回数$T(X)$で条件付けした確率がパラメータ$p$によらない式に変形されたため、この$T(X)$は十分統計量であることが分かります。

　最後に十分統計量は一意性はないということだけ注意しておきます。 十分統計量に余分な統計量を足しても十分統計量となります。 また、統計量$T(X)$の関数$S(T(X))$が十分統計量ならば$T(X)$も十分統計量となります、これは関数を介することで情報を損失したものが十分統計量なら、損失する前のものも十分統計量だよねという直感からも理解されると思います。

フィッシャー・ネイマンの分解定理

　十分統計量を調べるには先ほどは一生懸命定義通りに計算しました。 しかしこれは少し面倒な計算だったかと思います。 そんな十分統計量の判断を簡単にできるよと主張するものが次のフィッシャー・ネイマンの分解定理です。

【フィッシャー・ネイマンの分解定理】
$T(X)$が十分統計量の時に限り標本$X$の同時密度関数（標本$X$の分布が持つ確率密度関数）$f_n(x;\theta)$は、 $$f_n(x;\theta)=h(x)g(T(x);\theta)$$ となる、非負関数$h,g$が存在する。

　つまり、標本の同時密度関数をパラメータ$\theta$によらない関数とパラメータに依存する関数の積に分解した際に、パラメータを含む方の関数が$T(X)$のみを含む形の分解が存在するということです。 先ほどの確率$p$で表が出るコインを$n$回投げる例でいえば、表の出る回数を$T(X)$としたとき、 $$ \begin{eqnarray} f(x;\theta)&=&\prod_{i=1}^np^{x_i}(1-p)^{1-x_i}\\\
&=&p^{T(x)}(1-p)^{n-T(x)}\\\
&=&(1-p)^n\left(\frac{p}{1-p}\right)^{T(x)}\\\
&=&1\times(1-p)^n\left(\frac{p}{1-p}\right)^{T(x)} \end{eqnarray} $$ のように、$h(x)=1, g(T(x);p)=(1-p)^n\left(\frac{p}{1-p}\right)^{T(x)}$と分解される。 定義通り計算を頑張らなくても、表の出る回数がパラメータ$p$の十分統計量となることが分かりました。 次に、日本統計学会の統計検定一級対応の参考書では証明が載っていませんので、このエントリでは離散の場合で証明しておきます。¹

【証明】

• $T(X)$が$\theta$の十分統計量$\Rightarrow (\exists g,h)[f_n(x;\theta)=h(x)g(T(X);\theta)]$の証明。
  $t=T(x)$とすると、仮定より$t$はパラメータ$\theta$の十分統計量なので$T=t$の条件付密度関数はパラメータに依存しなくなる。 つまり$f(x|T=t;\theta)=\frac{f(x,T=t;\theta)}{f_T(t;\theta)}=\frac{f_n(x;\theta)}{f_T(t;\theta)}=h(x)$と書ける。 ここで$f_T(t;\theta)=g(T(X);\theta)$としてあげることで証明される。

• $(\exists g,h)[f_n(x;\theta)=h(x)g(T(X);\theta)] \Rightarrow T(X)$が$\theta$の十分統計量の証明。
  統計量$T$の密度関数は $$ \begin{eqnarray} f_T(t;\theta)&=&\sum_{x;T(X)=t}f_n(x;\theta)\\\
  &=&\sum_{x;T(X)=t}h(x)g(T(X);\theta)=g(t;\theta)\sum_{x;T(X)=t}h(x) \end{eqnarray} $$となる。 統計量による条件付き確率は $$ \begin{eqnarray} f(x|T(x)=t;\theta)&=&\frac{f(x,T(x)=t;\theta)}{f_T(t;\theta)}\\\
  &=&\frac{f_n(x;\theta)}{f_T(t;\theta)}\\\
  &=&\frac{h(x)g(t;\theta)}{g(t;\theta)\sum_{x;T(X)=x}h(x)}\\\
  &=&\frac{h(x)}{\sum_{x;T(X)=x}h(x)} \end{eqnarray} $$となり、パラメータに依存していないことが分かる。

まとめ

• 十分統計量はパラメータを推定するに十分な情報を含んだ統計量のこと
• 十分統計量の定義：$P(X=x|T(X)=t;\theta)=P(X=x|T(X)=t)$
• 言葉で表現すれば「十分統計量の条件付確率密度関数はパラメータによらない形に変形される」
• フィッシャー・ネイマンの分解定理：$T(X)$が十分統計量$\Leftrightarrow$標本の同時密度関数をパラメータによらない項と$T(X)$のみを含むパラメータを含む項の積で表現できる

参考文献

• 日本統計学会編, “日本統計学会公式認定 統計検定１級対応 統計学”, 第６刷, 2013, 東京図書, ISBN 978-4-489-02150-3.
• 藤澤洋徳, “確率と統計”, 第9刷, 2006, 朝倉書店, ISBN 978-4-254-11763-9.