Technical Note - 区間推定
区間推定とは
- 母集団の真の統計量（母数）$a$
- 母集団から標本を取り出して計算した推定量 $\hat{a}$
の間には誤差が生じる。
点推定では母集団のただ一つの推定値を求めたのに対して、区間推定 では「標本から推定すると、95%の確率で母数がこの範囲に収まるはず」というような値の範囲（信頼区間）を求める。
この例で言う「95%」を 信頼度 と呼び、他にも問題設定に応じて 99% 信頼区間や 99.9% 信頼区間を求めることがある。
区間推定の理論
母平均の区間推定（母分散：未知 / 標本数：大）
問題設定
現実世界で、「母集団の平均は分からないが分散だけは分かっている」ということは考えにくい。
そのため、ここでは
- 母分散 $\sigma^2$ が分からない
- 標本数 $n$ が十分に大きい
という条件を仮定し、母平均 $\mu$ について、信頼度 $1-\alpha$ の信頼区間を推定する。
区間推定の流れ
標本数 $n$ が十分に大きい場合、中心極限定理により、標本平均 $\bar{x}$ は平均 $\mu$、分散 $\sigma^2/n$ の正規分布 $N \left( \mu, \sigma^2/n \right)$ に従うと考えて良い。
\[\bar{x} \sim N \left( \mu, \sigma^2/n \right)\]$\bar{x}$ を標準化した確率変数 $z$ は標準正規分布 $N(0, 1)$ に従う。
\[z := \cfrac{\bar{x}-\mu}{\sigma/\sqrt{n}} \sim N(0, 1)\]母分散 $\sigma^2$ は未知であるが、$n$ が十分大きい場合は不偏分散
\[s^2 = \cfrac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2\]で近似できるので、
\[z = \cfrac{\bar{x}-\mu}{s/\sqrt{n}} \sim N(0, 1)\]信頼度 $c$ の信頼区間を求めるには、標準正規分布の面積（= 確率）のうち割合 $1-\alpha$ を占める範囲内に $z$ があれば良い。
すなわち、下のグラフで「赤色部分の面積 $= 1-\alpha$」となれば良い。
正規分布は左右対称なので、「グラフ右側の灰色部分の面積 $= \alpha/2$」と言い換えることもできる。
「標準正規分布に従う確率変数 $z$ がある値以上を取る確率」は、標準正規分布表 としてまとめられ広く知られている。
上のグラフで言うと、「グラフ右側の灰色部分の面積」と「それを与える $z_{\alpha/2}$ の値」の対応表が標準正規分布表。
この対応表を用いて「赤色部分の面積 $= 1-\alpha$」となるような $z_{\alpha/2}$ を求めると、$z$ が満たすべき不等式は
\[\begin{eqnarray} & -z_{\alpha/2} \le z \le z_{\alpha/2} \\ \Longleftrightarrow & -z_{\alpha/2} \le \cfrac{\bar{x}-\mu}{s/\sqrt{n}} \le z_{\alpha/2} \\ \Longleftrightarrow & \quad \bar{x}-\cfrac{s}{\sqrt{n}} z_{\alpha/2} \le \mu \le \bar{x}+\cfrac{s}{\sqrt{n}} z_{\alpha/2} \qquad (1) \end{eqnarray}\]これが $\mu$ の信頼区間となる。
具体例
- A 県の16歳男子の健康診断データから1000人分の身長を標本としてランダムに抽出
- 標本の平均 $\bar{x} = 162.0\ \mathrm{cm}$、不偏分散 $s^2 = 5.8^2$
このとき、A 県の16歳男子の平均身長 $\mu$（母平均）の信頼区間を信頼度 95% で推定する。
$n=1000$ が十分大きいので、$\bar{x}$ は正規分布に従うと考えて良い。
また、信頼度 95%（$\alpha=0.05$）となるような $z_{\alpha/2}$ の値は、標準正規分布表より$z_{\alpha/2} = 1.96$
したがって、$(1)$ 式に既知の数値を代入して、
\[162.0 - \cfrac{5.8}{\sqrt{1000}} \times 1.96 \le \mu \le 162.0 + \cfrac{5.8}{\sqrt{1000}} \times 1.96\]左辺・右辺を計算すれば、
\[161.64 \le \mu \le 162.36\]これが求める信頼区間となる。
母平均の区間推定（母分散：未知 / 標本数：小）
問題設定
前節と同じく母集団の分散が不明であり、多数の標本を取ることも困難であるような状況を考える。
ex. 1台あたりが高価な家電製品の不良品率を調べるためのサンプリング
このような場合であっても、母集団が正規分布に従う と仮定できるのであれば、母平均 $\mu$ に関して信頼度 $1-\alpha$ の信頼区間を推定できる。
- 母分散 $\sigma^2$ が分からない
- 標本数 $n$ が小さい
- 母集団は正規分布に従う
区間推定の流れ
標本数 $n$ が小さいので、中心極限定理は適用できない。
しかし、母集団が正規分布に従うとしているので、以下の統計量 $t$ は自由度 $n-1$ の t 分布 $t(n-1)$ に従う。
ただし、$\bar{x}$ は標本平均、$s^2$ は不偏分散を表す。
t 分布は正規分布のように、$t=0$ を中心とする左右対称の釣り鐘型をしている。
よって、前節と同様に「$-t_{\alpha/2} \le t \le t_{\alpha/2}$の範囲内の確率密度関数の面積 $= 1-\alpha$」となるような $t_{\alpha/2}$ を求めれば良い。
標準正規分布表と同じく t 分布についても、「確率密度関数の $t_{\alpha/2} \le t$ 部分の面積」と「それを与える $t_{\alpha/2}$ の値」をまとめた t 分布表 が広く知られている。
それを参照して $t_{\alpha/2}$ を求めると、$t$ が満たすべき不等式は
これが $\mu$ の信頼区間となる。
具体例：工場の部品の製造精度
- ある工場で生産している部品 A をランダムに10個抽出し、質量を測定
- 標本平均 $\bar{x} = 100.03\ \mathrm{g}$、不偏分散 $s^2 = 2.22$
このとき、部品 A の平均質量 $\mu$（母平均）の信頼区間を信頼度 95% で推定する。
部品の質量分布として正規分布を仮定すると、標本数 $n=10$ なので、
\[t = \cfrac{\bar{x}-\mu}{\sqrt{s^2/n}}\]は自由度 $n-1=9$ の t 分布に従う。
t 分布表より、自由度9で信頼度 95% となるような $t_{\alpha/2}$ の値は $t_{\alpha/2} = 2.262$
したがって、$(2)$ 式に既知の数値を代入して、
\[100.03 - \sqrt{\cfrac{2.22}{10}} \times 2.262 \le \mu \le 100.03 + \sqrt{\cfrac{2.22}{10}} \times 2.262\]左辺・右辺を計算すれば、
\[98.96 \le \mu \le 101.10\]これが求める信頼区間となる。
この結果から、「この工場で作られる部品 A の重さは95%の確率で98.96 g〜101.10 gの間に収まる」といえる。
母比率の区間推定
母比率 $p$：母集団において、ある事象が起こる確率。
母平均と同じように、母比率 $p$ についても信頼区間を推定できる。
問題設定
真の成功確率（母比率）が $p$ である試行を $n$ 回行ったとき、実際に成功した割合（標本比率）が $\hat{p}$ であったとする。
試行回数 $n$ が十分に大きいとき、信頼度 $1-\alpha$ で母比率 $p$ の信頼区間を求める。
区間推定の流れ
成功確率 $p$ の試行を $n$ 回行ったときの成功回数 $x$ は二項分布 $B(n,p)$ に従う。
\[x \sim B(n,p)\]二項分布の期待値と分散は
\[\begin{eqnarray} E(x) &=& np \\ V(x) &=& np(1-p) \end{eqnarray}\]で表され、$n$ が十分に大きい時、二項分布 $B(n,p)$ は正規分布 $N(np, np(1-p))$ に近似できる。
\[x \sim N(np, np(1-p))\]よって、$x$ を標準化した確率変数 $z$ は標準正規分布 $N(0,1)$ に従う。
\[z := \cfrac{x-np}{\sqrt{np(1-p)}} \sim N(0, 1)\]標本比率 $\hat{p} = x/n$ であるから、$z$ の分母分子を $n$ で割ると
\[z = \cfrac{\cfrac{x}{n}-p}{\sqrt{\cfrac{p(1-p)}{n}}} = \cfrac{\hat{p}-p}{\sqrt{\cfrac{p(1-p)}{n}}} \sim N(0,1)\]母平均の推定と同様に、「$-z_{\alpha/2} \le z \le z_{\alpha/2}$の範囲内の確率密度関数の面積 $= c$」となるような $z_c$ を標準正規分布表から求めて、
\[\begin{eqnarray} & -z_{\alpha/2} \le t \le z_{\alpha/2} \\ \Longleftrightarrow & -z_{\alpha/2} \le \cfrac{\hat{p}-p}{\sqrt{\cfrac{p(1-p)}{n}}} \le z_{\alpha/2} \\ \Longleftrightarrow &\quad \hat{p} - z_{\alpha/2} \sqrt{\cfrac{p(1-p)}{n}} \le p \le \hat{p} + z_{\alpha/2} \sqrt{\cfrac{p(1-p)}{n}} \end{eqnarray}\]式の両辺にまだ母比率 $p$ が含まれているので、信頼区間は計算できない。
しかし、$\hat{p}$ は $p$ の一致推定量なので、$n$ が大きいときは $p \simeq \hat{p}$ と近似できる。
したがって、
これが $p$ の信頼区間となる。
具体例：選挙の「当確」
- とある市の市長を2名の候補者 A, B から選ぶ選挙を実施
- 全ての票の開票が終わって候補者 A の真の得票率 $p$ が分かる前に、投票所の出口調査で投票者1000人の投票結果を確認すると、候補者 A に投票した人数は547人だった
この結果を元に、候補者 A の真の得票率 $p$ について、信頼度 99% の区間推定を行う。
- 試行回数 $n = 1000$（十分大きい）
- 標本比率 $\hat{p}=547/1000=0.547$
- 信頼度 $1-\alpha=0.99$
として、母比率に関する区間推定を適用すれば良い。
標準正規分布表より、信頼度 99% を実現する $z_{\alpha/2}$ の値は、$z_{\alpha/2} = z_{0.005} = 2.58$
したがって、式 $(3)$ に既知の値を代入して、
\[0.547 - 2.58 \sqrt{\cfrac{0.547(1-0.547)}{1000}} \le p \le 0.547 + 2.58 \sqrt{\cfrac{0.547(1-0.547)}{1000}}\]左辺・右辺を計算すれば、
\[0.506 \le p \le 0.588\]これが求める信頼区間となる。
99% 信頼区間の最小値が50%を超えているので、「99%以上の確率で候補者 A が過半数の票を獲得する」と言える。
【NOTE】
選挙の当確速報を出したい、という目的で区間推定を行う場合、得票率が過半数、すなわち「$0.5 \lt p$」が示せれば良いので、$p$ の上限には制限を設けなくて良いはず。
なので「候補者 A が当選する確率が99%を超えるか」を推定したい場合は、標準正規分布の面積について、$(1-0.99)/2 = 0.005$ ではなく $1-0.99 = 0.01$ を適用して、$p$ が下限以下となる確率が1%となるように区間推定する方が目的に合う…？その場合、$z_{\alpha} = z_{0.01} = 2.32$ を用いて、
\[\begin{eqnarray} & 0.547 - 2.32 \sqrt{\cfrac{0.547(1-0.547)}{1000}} \le p \\ \Longleftrightarrow & 0.51048 \le p \end{eqnarray}\]
母分散の区間推定（母平均：未知）
問題設定
平均も分散も不明な 正規分布に従う 母集団の分散 $\sigma^2$ を、$n$ 件の標本から信頼度 $1-\alpha$ で区間推定したい。
区間推定の流れ
正規分布に従う母集団から抽出した標本について、不偏分散を
\[s^2 = \cfrac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2\]とすると、確率変数
\[\chi^2 := \cfrac{(n-1)s^2}{\sigma^2}\]は自由度 $n-1$ のカイ二乗分布 $\chi^2(n-1)$ に従うことが知られている。（→ 参考：「不偏分散とカイ二乗分布」）
母平均や母比率のときと同様に、分布関数の面積が信頼度 $1-\alpha$ と一致するような $\chi^2$ の範囲を自由度 $n-1$ の カイ二乗分布表 から求めれば良い。
正規分布や t 分布と異なり、カイ二乗分布は左右対称でない ため、分布の左右の裾（グラフのグレー部分）それぞれについて、面積が $\alpha/2$ となる点 $\chi_{\alpha/2}^2, \chi_{(1-\alpha/2)}^2$ を求める必要がある。
求めた $\chi_{\alpha/2}^2, \chi_{(1-\alpha/2)}^2$ を用いて、$\chi^2$ が満たすべき不等式は
\[\begin{eqnarray} & \chi_{(1-\alpha/2)}^2 \le \chi^2 \le \chi_{\alpha/2}^2 \\ \Longleftrightarrow & \chi_{(1-\alpha/2)}^2 \le \cfrac{(n-1)s^2}{\sigma^2} \le \chi_{\alpha/2}^2 \\ \Longleftrightarrow &\quad \cfrac{(n-1)s^2}{\chi_{\alpha/2}^2} \le \sigma^2 \le \cfrac{(n-1)s^2}{\chi_{(1-\alpha/2)}^2} \qquad (4) \end{eqnarray}\]これが $\sigma^2$ の信頼区間となる。
具体例：工場の部品の製造精度
- ある工場で生産している部品 A をランダムに10個抽出し、質量を測定
- 標本の質量の不偏分散 $s^2 = 3.7$
このとき、部品 A の質量の分散 $\sigma^2$（母分散）の信頼区間を信頼度 95% で推定する。
部品の質量分布として正規分布を仮定すると、標本数 $n=10$ なので、
\[\chi^2 = \cfrac{(n-1) s^2}{\sigma^2}\]は自由度 $n-1 = 9$ のカイ二乗分布に従う。
カイ二乗分布表より、自由度9で信頼度 95% となるような $\chi_{\alpha/2}^2, \chi_{(1-\alpha/2)}^2$ の値は
\[\begin{eqnarray} \chi_{\alpha/2}^2 &=& \chi_{0.025}^2 &=& 19.02 \\ \chi_{(1-\alpha/2)}^2 &=& \chi_{0.975}^2 &=& 2.70 \end{eqnarray}\]したがって、$(4)$ 式に既知の数値を代入して、
\[\cfrac{(10-1) \times 3.7}{19.02} \le \sigma^2 \le \cfrac{(10-1) \times 3.7}{2.70}\]左辺・右辺を計算すれば、
\[1.75 \le \sigma^2 \le 12.33\]これが求める信頼区間となる。