やさしいノンパラメトリック統計

安田正實 (千葉大学）

today

統計の理論では中心極限定理をもとに正規分布がもっとも重要な位置を占めている。しかしこのような分布が果たして標本データとして得られた母集団の分布として真のものかどうか、あるいは真でなくとも十分によい近似していると見なせるだろうか？ いままで述べてきた検定や信頼区間においては、この条件を仮定されて、その結果が得られきた。もし正規分布という前提条件が満たされなければ、どうしたらよいだろうか？別な方法が求められるべきであろう。必ずしも正規分布でなくてもよいが、対象とした分布の情報がわかっているならば、その情報を用いたほうがよい。 実験者あるいは観測者がもとにしている分布の形がわからない、形状について情報がなければければ、密度関数の形には依らない方法が望ましい。いままでは正規分布とか 2 項分布など密度関数の形を限定して、その平均や分散のパラメータについて取り扱ってきた。ここでは「ノンパラメトリック (nonparametric)」あるいは「分布形によらない (distribution-free)」とよばれる方法を説明しよう。パラメータ（母数）は母集団を限定する。たとえば、仮説検定では尤度比を求めるときには、分布を限定してパラメータが変化できる空間から構成してきた。ここでの方法は、このようなパラメータを変化させた密度関数やパラメータの変化できる空間などは用いない。したがっていままでの特定な関数形に限定されない広範囲は分布の族、集まりに適用することができる。分布形によらないという用語も同様な意味に用いられ、分布を記述する分布形に依存しないということに用いられる。

1 基本の概念

これから述べる推定や検定には、このような分布を限定しないため、よく用いられる概念は、抽出した標本データ (大きさの順になっていない) を大きさの順に並び替えること、順序統計量が重要な働きをする。いくつか性質を調べてみる。

• 抽出したデータ： X_{1}, X_{2}, X_{3}, ⋯, X_{n} (大きさの順になっていない)

• 大きさの順に並べたデータ： Z_{1} ≤ Z_{2} ≤ Z_{3} ≤ ⋯ ≤ Z_{n}

(I) 順序統計量の分布；与えられた確率変数 X_{1}, X_{2}, ⋯, X_{n} は連続型分布でその密度 f(x) をもつとする。大きさの順に並び替えた確率変数 Z_{1} ≤ Z_{2} ≤ ⋯ < Z_{n} の分布を求めよう。ここでの仮定として、与えられた分布は連続型で、密度関数をもつとしているから、等号の起こる場合は確率ゼロであるから、等号なしの不等号の場合のみを考える。

例えば 3 個の確率変数がある場合には、これらは独立と仮定し、同じ分布に従うとすると、同時（結合）分布は積に等しい。したがって g(x_{1}, x_{2}, x_{3}) = f(x_{1})f(x_{2})f(x_{3}), ただし大きさの大きさの順ではなく、 −∞ < x_{1} < ∞, −∞ < x_{2} < ∞, −∞ < x_{3} < ∞。もし x_{1} < x_{2} < x_{3} ならば、順位統計量の定義から z_{1} = x_{1}, z_{2} = x_{2}, z_{3} = x_{3} となる。同様に, もしデータの大きさの順が、 x_{2} < x_{1} < x_{3} ならば、 z_{1} = x_{2}, z_{2} = x_{1}, z_{3} = x_{3} などととなる。このときの同時（結合）分布は、同一の分布とするから, x_{2} < x_{1} < x_{3} ならば h(z_{1}, z_{2}, z_{3}) = f(x_{2})f(x_{1})f(x_{3}) = f(x_{1})f(x_{2})f(x_{3}) = f(z_{1})f(z_{2})f(z_{3}) で与えられる。このように場合分けしたならば、 {x_{2} < x_{1} < x_{3}} = {z_{1} < z_{2} < z_{3}} に等しいから、 3 個のデータをすべて考えると {1, 2, 3} からの並び替え (i, j, k), i < j < k、 {x_{i} < x_{j} < x_{k}} = {z_{1} < z_{2} < z_{3}}、 3! = 6 通りについて同じであるから、 h(z_{1}, z_{2}, z_{3}) = 3!f(z_{1})f(z_{2})f(z_{3}), z_{1} < z_{2} < z_{3} で与えられる。

定理：一般に n 個の場合には

h(z_{1}, z_{2}, ⋯, z_{n}) = n!f(z_{1})f(z_{2}) ⋯ f(z_{n}), z_{1} < z_{2} < ⋯ < z_{n}  (1.1)

で与えられる。この定理をもとにしていくつかの性質を求める。 (II) 最大最小の結合密度 n 個のうちの最大 z_{n} と最小 z_{1} の同時 (結合) 分布を求める。変数が n 個あって、

最大と最小の分布を求めるには、残りの n − 2 個の z_{2}, ⋯, z_{n−1} で積分して、周辺分布を求めればよい。したがって

\begin{aligned}g(z_{1}, z_{n}) & = \underbrace{∫_{−∞}^{∞} ⋯ ∫_{−∞}^{∞} ∫_{−∞}^{∞}}_{n − 2 個の積分}h(z_{1}, z_{2}, ⋯, z_{n})dz_{2}dz_{3} ⋯ dz_{n−1} \\ & = n(n − 1)[F (z_{n}) − F (z_{1})]^{n−2}f(z_{1})f(z_{n}), −∞ < z_{1} < z_{n} < ∞ \end{aligned}

なぜならば、累次 (逐次) 積分は、分布関数 ∫_{a}^{b} f(t)dt = F (b) − F (a), ∫_{a}^{b}[F (t) − F (a)]^{k}f(t)dt =

\frac{[F (b) − F (a)]^{k+1}}{k + 1} などをもちいて計算できる。 z_{1} < z_{2} < z_{3} < ⋯ < z_{n} だから z_{2} で積分すれば、

∫_{z_{1}}^{z_{3}} f(z_{2})dz_{2} = F (z_{3}) − F (z_{1}), ただし z_{1} < z_{3} < z_{4} < ⋯ < z_{n} に注意する。つぎに z_{3} で積分すれ

ば、 ∫_{z_{1}}^{z_{4}}[F (z_{3}) − F (z_{1})]f(z_{3})dz_{3} = \frac{1}{2}[F (z_{4}) − F (z_{1})]^{2}, z_{1} < z_{4} < ⋯ < z_{n} となる。これを繰り返して

∫_{z_{1}}^{z_{5}} \frac{1}{2}[F (z_{4}) − F (z_{1})]^{2}f(z_{4})dz_{4} = \frac{1}{3!}[F (z_{5}) − F (z_{1})]^{2} を得る。さらにこれを続けて、結局

g(z_{1}, z_{n}) = n(n − 1)[F (z_{n}) − F (z_{1})]^{n−2}f(z_{1})f(z_{n}), −∞ < z_{1} < z_{n} < ∞  (1.2)

を得ることができる。 (III) 最大の密度関数と最小の密度関数；上で求めた (1.2) における周辺分布を求めることで、最大あるいは最小の分布が計算できる。それぞれの密

度関数を h_{(n)}, h_{(1)} と表せば、つぎの式で与えられる。

h_{(n)}(z_{n}) = n[F (z_{n})]^{n−1}f(z_{n}), −∞ < z_{n} < ∞  (1.3)
h_{(1)}(z_{1}) = n[1 − F (z_{1})]^{n−1}f(z_{1}), −∞ < z_{1} < ∞  (1.4)

(IV) 一般の i 番目の密度関数 (i = 1, 2, ⋯ n) ；

h_{(i,i)}(z_{i}) = i\binom{n}{i}[F (z_{i})]^{i−1}[1 − F (z_{i})]^{n−i}f(z_{i})  (1.5)

定理の式 (1.1) をもとにして、上からつぎつぎと周辺分布を求め、さらに下からも周辺分布を求めていく。その密度関数を h_{(i,j)}(z_{i}, z_{i+1}, ⋯, z_{j−1}, z_{j}) とおく。まず z_{1} < z_{2} < ⋯ < z_{n−1} について

\begin{aligned}h_{(1,n−1)}(z_{1}, z_{2}, ⋯, z_{n−2}, z_{n−1}) & = ∫_{z_{n−1}}^{∞} h(z_{1}, z_{2}, ⋯, z_{n−1}, z_{n})dz_{n} \\ & = n!f(z_{1})f(z_{2}) ⋯ f(z_{n−1})[1 − F (z_{n−1})] \end{aligned}

さらに ∫_{z_{n−2}}^{∞}[1 − F (z_{n−1})]f(z_{n−1})dz_{n−1} = \frac{[1 − F (z_{n−2})]^{2}}{2} であるから、 z_{1} < z_{2} < ⋯ < z_{n−2} について

\begin{aligned}h_{(1,n−2)}(z_{1}, z_{2}, ⋯, z_{n−2}) & = ∫_{z_{n−1}}^{∞} h_{(1,n−1)}(z_{1}, z_{2}, ⋯, z_{n−1})dz_{n−1} \\ & = n!f(z_{1})f(z_{2}) ⋯ f(z_{n−2})\frac{[1 − F (z_{n−2})]^{2}}{2} \end{aligned}

順次繰り返して z_{1} < z_{2} < ⋯ < z_{i} について

\begin{aligned}h_{(1,i)}(z_{1}, z_{2}, ⋯, z_{i}) & = ∫_{z_{i}}^{∞} h_{(1,i+1)}(z_{1}, z_{2}, ⋯, z_{i+1})dz_{i+1} \\ & = n!f(z_{1})f(z_{2}) ⋯ f(z_{i})\frac{[1 − F (z_{i})]^{n−i}}{(n − i)!} \end{aligned}

こんどは z_{1}, z_{2}, ⋯, z_{i−1} の変数について積分していく。 z_{2} < ⋯ < z_{i} について

h_{(2,i)}(z_{2}, ⋯, z_{i}) = ∫_{−∞}^{z_{2}} h_{(1,i)}(z_{1}, z_{2}, ⋯, z_{i})dz_{1}

= n! ∫_{−∞}^{z_{2}} f(z_{1})dz_{1}f(z_{2}) ⋯ f(z_{i})\frac{[1 − F (z_{i})]^{n−i}}{(n − i)!}

= n!F (z_{2})f(z_{2}) ⋯ f(z_{i})\frac{[1 − F (z_{i})]^{n−i}}{(n − i)!}

同様に z_{k} < ⋯ < z_{i} について

\begin{aligned}h_{(k,i)}(z_{k}, ⋯, z_{i}) & = ∫_{−∞}^{z_{k}} h_{(k−1,i)}(z_{k−1}, ⋯, z_{i})dz_{k−1} \\ & = n!\frac{[F (z_{k})]^{k−1}}{(k − 1)!} f(z_{k}) ⋯ f(z_{i})\frac{[1 − F (z_{i})]^{n−i}}{(n − i)!} \end{aligned}

とくに k = i まで繰り返せば、 −∞ < z_{i} < ∞ について

h_{(i,i)}(z_{i}) = ∫_{−∞}^{z_{i}} h_{(i−1,i)}(z_{i−1}, z_{i})dz_{i−1} = n!\frac{[F (z_{i})]^{i−1}}{(i − 1)!} f(z_{i})\frac{[1 − F (z_{i})]^{n−i}}{(n − i)!}

= \frac{n!}{(i − 1)!(n − i)!}[F (z_{i})]^{i−1}[1 − F (z_{i})]^{n−i}f(z_{i})

= i\binom{n}{i}[F (z_{i})]^{i−1}[1 − F (z_{i})]^{n−i}f(z_{i})

いま独立で同一分布に従うとして、その分布を一様分布 F (x) = P (X_{i} ≤ x) = x, i = 1, 2, ⋯ とすると

E(Z_{i}) = \frac{i}{n + 1}, i = 1, 2, ⋯, n  (1.6)

が成り立つ。特にすなわち最小値 z_{1} の期待値は\frac{1}{n + 1}, 最大値 z_{n} の期待値は\frac{n}{n + 1} である。一般性を失うことなく、一様分布を考える理由はつぎの変換が可能であるから。与えられた確率変数 X とその分布関数 F (x) = P (X ≤ x) から Z = F (X) とおくと、 Z の分布 F_{Z} は一様分布にしたがう。つまり F_{Z}(z) = P (Z ≤ z) = P (F (X) ≤ z) = P (X ≤ F^{−1}(z)) = F (F^{−1}(z)) = z となるから。上式 (1.6) は次のようにして求められる。式 (1.5) において, 一様分布の場合 F (x) = x, f(x) = 1, 0 < x < 1 を考えれば、

E[u_{i}] = ∫_{0}^{1} u × i\binom{n}{i}u^{i−1}(1 − u)^{n−i}du

= i\binom{n}{i} ∫_{0}^{1} u^{i}(1 − u)^{n−i}du

= i\binom{n}{i} \frac{Γ(i + 1)Γ(n − i + 1)}{Γ(i + 1 + n − i + 1)}

= i\binom{n}{i} \frac{i!(n − i)!}{(n + 1)!}

= \frac{i}{n + 1}

ここで積分 ∫_{0}^{1} u^{p−1}(1 − u)^{q−1}du, p > 0, q > 0 はベータ積分 B(p, q) = \frac{Γ(p)Γ(q)}{Γ(p + q)} とよばれ、ガンマ関数

Γ(p) = ∫_{0}^{∞} x^{p−1}e^{−x}dx, p > 0 を使って表すことができ、さらに正の整数に対するカンマ関数は Γ(k) = (k−1)! となることを利用した。

(V) 範囲 (最大から最小まで) の分布最大と最小の同時 (結合) 分布は

h_{(1,n)}(z_{1}, z_{n}) = n(n − 1)(z_{n} − z_{1})^{n−2}, 0 < z_{1} < z_{n} < 1

で与えられたから、これから範囲 R = Z_{n} − Z_{1} の分布を求めることができる。

r 1 − r 1 0 z_{n} 1 z_{n} − z_{1} = r z_{n} = z_{1} z_{1}_{図 1 積分の領域}

分布関数 F_{R}(r) = P (R ≤ r) = P (Z_{n} − Z_{1} ≤ r) = ∫∫_{{z_{n}−z_{1}≤r}} h_{(1,n)}(z_{1}, z_{n})dz_{1}dz_{n} を計算すればよい。図にあるようにこの 2 重積分において積分範囲を 2 つに分ければ、

F_{R}(r) = (∫_{0}^{1−r} dz_{1} ∫_{z_{1}}^{r+z_{1}} dz_{n} + ∫_{1−r}^{1} dz_{1} ∫_{z_{1}}^{1} dz_{n})h_{(1,n)}(z_{1}, z_{n})
= nr^{n−1} ∫_{0}^{1−r} dz_{1} + n ∫_{1−r}^{1}(1 − z_{1})^{n−1}dz_{1}
= nr^{n−1}(1 − r) + r^{n} = nr^{n−1} − (n − 1)r^{n}, 0 < r < 1

したがって微分をすれば、密度関数

f_{R}(r) = n(n − 1)r^{n−2}(1 − r), 0 < r < 1

が得られる。

2 Wilcoxon の符号順位検定

A.J.Lee; U-Statistics – Theory and Proctice Statistics:Textbook and Monograph vol.110 Marcel Dekker, Inc. ISBN:0-8247-8253-4

Wilcoxson one-sample statistics X_{1}, X_{2}, ⋯, X_{n} は独立同一で、かつ連続型でその分布関数を F, 密度関数を f とする。 R_{i}^{+} the rank of

|X_{i}|, (i = 1, 2, ⋯, n). R_{i}^{+} the position of |X_{i}| when r.v. |X_{1}|, |X_{2}|, ⋯, |X_{n}|.

Wilcoxson W_{n}^{+} = sum of the qualities R_{i} corresponding to the position X_{i}. Walsh average \frac{1}{2}(X_{i} + X_{j}), 1 ≥ i ≥ j ≥ n(等号あり） i < j, I{X_{i} + X_{j} > 0} = I{X_{i} > 0}I{|X_{j}| < X_{i}} + I{X_{j} > 0}I{|X_{i}| < X_{j}}

W_{n}^{+} = ∑_{1≤i≤j≤n} I\{\frac{1}{2}(X_{i} + X_{j}) > 0\}
= ∑_{1≤i<j≤n} I{X_{i} > 0}I{|X_{j}| < X_{i}} + ∑_{1≤i<j≤n}{X_{j} > 0}I{|X_{i}| < X_{j}} + ∑_{i=1}^{n} I{X_{i} > 0}
= ∑_{i<j} I{X_{i} + X_{j} > 0} + ∑_{i=1}^{n} I{X_{i} > 0}
= \binom{n}{2}U_{n}^{(2)} + nU_{n}^{(2)}
= ∑_{i=1}^{n} R_{i}^{+}I{X_{i} > 0}

ここで U_{n}^{(}1) = \frac{1}{n} ∑_{i=1}^{n} I(X_{i} > 0), U_{n}^{(}2) = \frac{1}{\binom{n}{2}} ∑_{i<j} I(X_{i} + X_{j} > 0).

もし分布がゼロの周りで対称ならば、次の性質が成り立つ： ∀x; f(x) = f(−x), F (x) = 1 − F (−x), F (0) = 1/2

これから確率の計算をする。

(1) p_{1} = P (X_{1} > 0) = 1/2

(2) p_{2} = P (X_{1} + X_{2} > 0) = 1/2

(3) p_{3} = P (X_{1} + X_{2} > 0, X_{1} > 0) = 3/8

(4) p_{4} = P (X_{1} + X_{2} > 0, X_{2} + X_{3} > 0) = 1/3

(証明) (1) P (X_{1} > 0) = ∫_{0}^{∞} f(x)dx = \frac{1}{2}\{ ∫_{0}^{∞} f(x)dx + ∫_{0}^{∞} f(x)dx\} = \frac{1}{2}\{ ∫_{0}^{∞} f(x)dx +

∫_{−∞}^{0} f(x)dx} = 1/2

(2) P (X_{1} + X_{2} > 0) = ∫ ∫_{{(x,y):x+y>0}} f(x)f(y)dxdy = ∫_{−∞}^{∞} f(y)dy ∫_{−y}^{∞} f(x)dx = ∫_{−∞}^{∞} f(y){1 − F (−y)}dy =

∫_{−∞}^{∞} f(y)F (y)dy = ∫_{−∞}^{∞} F (y)dF (y) = ∫_{0}^{1} zdz = 1/2

(3) P (X_{1} + X_{2} > 0, X_{1} > 0) = ∫ ∫_{{(x,y):x+y>0,x>0}} f(x)f(y)dxdy = ∫_{0}^{∞} f(x)dx ∫_{−x}^{∞} f(y)dy = ∫_{0}^{∞} f(x){1 −

F (−x)\}dx = ∫_{0}^{∞} f(x)F (x)dx = ∫_{0}^{∞} F (x)dF (x) = ∫_{1/2}^{1} zdz = \frac{1}{2} − \frac{1}{2}(\frac{1}{2})^{2} = 3/8

(4) P (X_{1}+X_{2} > 0, X_{1}+X_{2} > 0) = ∫ ∫ ∫_{{(x,y):x+y>0,y+z>0}} f(x)f(y)dxdy = ∫_{∞}^{∞} f(x)dx ∫_{−x}^{∞} f(y)dy ∫_{−y}^{∞} f(z)dz =

∫_{−∞}^{∞} f(x)dx ∫_{−x}^{∞} f(y){1 − F (−y)}dy = ∫_{−∞}^{∞} f(x)dx ∫_{−x}^{∞} f(y)F (y)dy = ∫_{−∞}^{∞} f(x)dx ∫_{−x}^{∞} F (y)dF (y) =

∫_{−∞}^{∞} f(x)[\frac{w^{2}}{2} ]_{w=F (−x)}^{1}dx = ∫_{−∞}^{∞} f(x)\frac{1 − F (−x)^{2}}{2} dx = ∫_{−∞}^{∞} f(−x)\frac{1 − F (x)^{2}}{2} dx = ∫_{−∞}^{∞} f(x)\frac{1 − F (x)^{2}}{2} dx =

\frac{1}{2}(1 − E[F (X_{1})^{2}]) ここで P (F (X_{1}) ≤ w) = P (X_{1} ≤ F^{−1}(w)) = ∫_{−∞}^{F^{−1}(w)} f(x)dx = F (t)|_{t=−∞}^{t=F^{−1}(w)} =

F (F^{−1}(w)) − F (−∞) = w より、 F (X_{1}) は単位区間 [0, 1] 上の一様分布にしたがう。 E[F (X_{1})^{2}] =

∫_{0}^{1} z^{2}dz = 1/3 よって、 P (X_{1} + X_{2} > 0, X_{1} + X_{2} > 0) = \frac{1}{2}(1 − E[F (X_{1})^{2}]) = \frac{1}{2}(1 − \frac{1}{3}) = 1/3

確率変数 Y_{1}, Y_{2}, …, Y_{n} は独立で同一な確率分布にしたがい、連続型で対称であるとする。この密度関数を f_{Y} (y) とする。帰無仮説と対立仮説を構成する。

Define the sign indecator Z_{i}, i = 1, 2, ⋯, n, as

Z_{i} = Y_{i} − X_{i}

The Wilcoxon test statistic is calculated as:

If the null hypothesis is true, the mean and variance of the Wilcoxon test statistic are given by :

For n > 12, the z score of W has an approximately standard normal distribution, i.e., Therefore, if n is large, H_{o} will be rejected in favor of H_{1} if

Z_{W} < z_{a/2} or Z_{W} > z_{1−a/2}

http://davidmlane.com/hyperstat/dist_free.html
http://faculty.vassar.edu/lowry/webtext.html
http://lbm.ab.a.u-tokyo.ac.jp/~omori/kensyu/nonpara.htm

例題

列 1 列 2 列 3 列 4 列 5 列 6 列 7
番号 X_{A} X_{B} X_{A} − X_{B} 絶対値 |X_{A} − X_{B}| 絶対値の順位符号付き順位
1  78 78  0  0  –  –
2  24 24  0  0  –  –
3  64 62  +2  2  1  +1
4  45 48  −3  3  2  −2
5  64 68  −4  4  3.5  −3.5
6  52 56  −4  4  3.5  −3.5
7  30 25  +5  5  5  +5
8  50 44  +6  6  6  +6
9  64 56  +8  8  7  +7
10 50 40  +10  10  8.5  +8.5
11 78 68  +10  10  8.5  +8.5
12 22 36  −14  14  10  −10
13 84 68  +16  16  11  +11
14 40 20  +20  20  12  +12
15 90 58  +32  32  13  +13
16 72 32  +40  40  14  +14

W = 67.0 TN = 14

To illustrate, suppose that 16 students in an introductory statistics course are presented with a number of questions (of the sort you encountered in Chapters 5 and 6) concerning basic probabilities. In each instance, the question takes the form ”What is the probability of such-and-such?” However, the students are not allowed to perform calculations. Their answers must be immediate, based only on their raw intuitions. They are instructed to frame each answer in terms of a zero to 100 percent rating scale, with 0% corresponding to P=0.0, 27% corresponding to P=.27, and so forth. They are also told that they can give non-integer answers if they wish to make really fine-grained distinctions; for example, 49.0635...%. (As it turns out, none do.)

The instructor of the course is particularly interested in student’s responses to two of the questions, which we will designate as question A and question B. He reasons that if students have developed a good, solid understanding of the basic concepts, they will tend to give higher probability ratings for question A than for question B; whereas, if they were sleeping through that portion of the course, their answers will be mere shots in the dark and there will be no overall tendency one way or the other. The instructor’s hypothesis is of course directional: he expects his students have mastered the concepts well enough to sense, if only intuitively, that the event described in question A has the higher probability. The following table shows the probability ratings of the 16 subjects for each of the two questions.

Voila! The observed results are consistent with the hypothesis. The probability ratings do on average end up higher for question A than for question B. Now to determine whether the degree of the observed difference reflects anything more than some lucky guessing.

The sum of the signed ranks in column 7 is a quantity symbolized as W, which for the present example is equal to 67. Two of the original 16 subjects were removed from consideration because of the zero difference they produced in columns 4 and 5, so our observed value of W is based on a sample of size N=14.