確率論

なまえ

Feburuary 2008

目次

はじめに . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i

第 1 章確率論の準備 1

1.1 確率論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1.1 独立な確率変数の積 . . . . . . . . . . . . . . . . . . . . 21 1.1.2 分散 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 1.1.3 エントロピー . . . . . . . . . . . . . . . . . . . . . . . 31 1.1.4 収束概念 . . . . . . . . . . . . . . . . . . . . . . . . . . 41 1.1.5 大数の法則 . . . . . . . . . . . . . . . . . . . . . . . . . 46 1.1.6 中心極限定理 . . . . . . . . . . . . . . . . . . . . . . . 51

さらに勉強するために . . . . . . . . . . . . . . . . . . . . . . . . . . 57

はじめに

自分たちのまわりをちょっと見回してみてもわかるように，世の中では多くの財・サービスが生産され，販売されています．財・サービスの生産の現代的特徴は，それらが多品種であれ少品種であれ，大規模なレベルで作られていることです．さまざまな商品の大規模な生産やサービスの創造またその販売のためには，多額の資金が常に必要です．資金を入手し，これを有効な投資に振り向け，販売市場で成功するものだけが，成果を得ることができます．ファイナンス (finance) とは，企業，金融機関，また個人のそれぞれにとって，資金の流れに関連した個々の活動とそれを取り巻く資本市場での行動指針に関する学問分野であると定義してあります．現代社会におけるファイナンスの重要な機能とは，経済活動をスムーズに動かす助けをすることです．

ファイナンスを研究するにはファイナンスにおける基礎的な概念と数学の確率の知識が必要です．学んだ知識を応用に実践してみることと自分の知識をもっと深めるために研究を始まりました．研究してわかったことは問題を発見し，それを解決するのは難しいと思います．例えばマーコヴィッツの投資家は投資収益率 R(x) の平均が大きく分散が小さいポートフォリオ x を望むという基準に基づいて，最適化問題の平均・分散モデルを作って研究したのはすごく難しく感じました．そして，その株式のみの場合の平均・分散モデルの最適解 x (最小ポートフォリオ) を求めてグラフも描くことが出来ました．

第1章確率論の準備

1.1 確率論

金融工学は金融リスクに対する工学的アプローチといっても過言ではない．ここでは，リスクを構造的かつ定量的に把握するためのツールとしての確率論の基礎を，金融工学への応用列とともに学ぶ．

確率測度

Ω を非空集合, A を Ω 上の σ-加法族とする. Ω が可算であれば, 通常, A は Ω の部分集合の全体である. Ω が非可算, 例えば, Ω = [0, 1] の場合, 大抵 A は Ω のボレル加法族である.A の各要素は事象とよばれる. 確率の公理的定義を与えるためには, 事象 A が起こる確率を示す数 P{A} を各事象 A に対して割り当てる必要がある. 次に, 数 P{A} に期待される数学的性質を満たすために, 次の三つの公理を挙げる.

公理 1. P{Ω} = 1.

公理 2. 任意の A ∈ A に対して, P{A} ≥ 0

公理 3. あらゆる互いに素な事象 {A_{i}}_{i=1}^{∞} の可算数列に対して,

P { ⋃_{i=1}^{∞} A_{i}} = ∑_{i=1}^{∞} P{A_{i}}.  (1.1.1)

定義 1.1.1 集合関数 P が三つの公理を満たすとき, 確率測度とよばれる.

例題 1.1.1 Ω = {ω_{1}, ω_{2}, ⋯}, A を Ω の部分集合の全体とする. また, p_{1}, p_{2}, ⋯ を p_{1} + p_{2} + ⋯= 1 であるような非負の数と仮定する. A 上の集合関数を次式で定義する.

P{A} = ∑_{ω_{i}∈A} p_{i}, A ∈ A.  (1.1.2)

P は確率測度である.

例題 1.1.2 Ω = [0, 1], A を Ω 上のボレル加法族とする. P がルベーグ測度ならば, P は確率測度である.

定理 1.1.1 Ω を非空集合, A を Ω 上の σ-加法族, P を確率測度とする. このとき,

(a) P{∅} = 0;

(b) P は自己双対. つまり, 任意の A ∈ A に対して, P{A} + P{A^{c}} = 1;

(c) P は増加関数. つまり, A ⊂ B ならば, P{A} ≤ P{B};

(d) 任意の A ∈ A に対して, 0 ≤ P{A} ≤ 1.

証明：(a) ∅ と Ω は背反事象で, ∅ ∪ Ω = Ω なので, P{∅} + P{Ω} = P{Ω} が成り立つことから, P{∅} = 0 がいえる.

(b) A と A^{c} は背反事象で, A ∪ A^{c} = Ω なので, P{A} + P{A^{c}} = P{Ω} = 1.

(c) A ⊂ B であることから, A と B ∩ A^{c}が背反事象ならば, B = A ∪ (B ∩ A^{c}) が成り立つ. ゆえに, P{B} = P{A} + P{B ∩ A^{c}} ≥ P{A}.

(d) ∅ ⊂ A ⊂ Ω なので, (c) から 0 ≤ P{A} ≤ 1 が従う. □

確率拡張定理

通常, 確率測度の構成は, ある制限された集合を考えることから始まる. 確率拡張定理は, 確率測度の構成方法を与えるものである.

定理 1.1.2 (確率拡張定理) Ω を非空集合, A_{0} を Ω 上の加法族, P を F_{0} 上の P{Ω} = 1 を満たす測度とする. このとき, P は F_{0} を含む最小の σ-加法族 A 上の確率測度に唯一の拡張をもつ.

証明：カラテオドリの拡張定理の特殊な場合である.

確率連続定理

定理 1.1.3 Ω を非空集合, A を Ω 上の σ-加法族, P を確率測度とする. このとき, 次式が成り立つ.

π { lim inf_{i→∞} A_{i}} ≤ lim inf_{i→∞} π{A_{i}} ≤ lim sup_{i→∞} π{A_{i}} ≤ π { lim sup_{i→∞} A_{i}} .

(1.1.3)

証明：定理の特殊な場合である.

定理 1.1.4 (確率連続定理) Ω を非空集合, A を Ω 上の σ-加法族, P を確率測度とする. A_{1}, A_{2}, ⋯∈ A で, lim_{i→∞} A_{i} が存在するならば,

lim_{i→∞} P{A_{i}} = P { lim_{i→∞} A_{i}} .  (1.1.4)

証明：測度連続性定理の特殊な場合である.

確率空間

定義 1.1.2 Ω を非空集合, A を Ω 上の σ-加法族, P を確率測度とする. このとき, 3 つの組 (Ω, A, P) は確率空間とよばれる.

例題 1.1.3 Ω = {ω_{1}, ω_{2}, ⋯}, A を Ω の部分集合の全体, P を (1.1.2) により定義された確率測度とする. このとき, (Ω, A, P) は確率空間である.

例題 1.1.4 Ω = [0, 1], A を Ω 上のボレル加法族, P をルベーグ測度とする. このとき, (Ω, A, P) は確率空間である.

直積確率空間

(Ω_{i}, A_{i}, P_{i}), i = 1, 2, ⋯, n を確率空間, Ω = Ω_{1} × Ω_{2} × ⋯× Ω_{n}, A = A_{1} × A_{2} × ⋯× A_{n} とする. 確率測度 P_{i}, i = 1, 2, ⋯, n は有限になる. 直積測度定理から, 任意の A_{i} ∈ A_{i}, i = 1, 2, ⋯, n に対して, 次式を満たす測度 P が A 上に一意に存在する

P{A_{1} × A_{2} × ⋯× A_{n}} = P_{1}{A_{1}} × P_{2}{A_{2}} × ⋯× P_{n}{A_{n}}

この結論は直積確率定理とよばれる. 測度 P もまた, 次式から確率測度であることがわかる.

P{Ω} = P_{1}{Ω_{1}} × P_{2}{Ω_{2}} × ⋯× P_{n}{Ω_{n}} = 1.

このような確率測度は直積確率測度とよばれ, P = P_{1} × P_{2} × ⋯× P_{n} と記される.

定義 1.1.3 (Ω_{i}, A_{i}, P_{i}), i = 1, 2, ⋯, n を確率空間, Ω = Ω_{1} × Ω_{2} × ⋯× Ω_{n}, A = A_{1} × A_{2} × ⋯× A_{n}, P = P_{1} × P_{2} × ⋯× P_{n} とする. このとき, 3 つの組 (Ω, A, P) は直積確率空間とよばれる.

無限直積確率空間

(Ω_{i}, A_{i}, P_{i}), i = 1, 2, ⋯を任意の確率空間の列, さらに,

Ω = Ω_{1} × Ω_{2} × ⋯, A = A_{1} × A_{2} × ⋯  (1.1.5)

とおく. 無限直積測度定理から, 任意の可測長方形 A_{1} × ⋯× A_{n} × Ω_{n+1} × Ω_{n+2} × ⋯と全ての n = 1, 2, ⋯に対して, 次式を満たす A 上の確率測度 P が一意に存在する.

P {A_{1} × ⋯× A_{n} × Ω_{n+1} × Ω_{n+2} × ⋯} = P_{1}{A_{1}} × ⋯× P_{n}{A_{n}} 確率測度 P は P_{i}, i = 1, 2, ⋯の無限直積とよばれ,

P = P_{1} × P_{2} × ⋯  (1.1.6)

と記される.

定義 1.1.4 Let (Ω_{i}, A_{i}, P_{i}), i = 1, 2, ⋯を確率空間 Ω = Ω_{1} × Ω_{2} × ⋯, A = A_{1} × A_{2} × ⋯, P = P_{1} × P_{2} × ⋯とする. このとき, 3 つの組 (Ω, A, P) は無限直積確率空間とよばれる.

確率変数

定義 1.1.5 確率変数とは, 確率空間 (Ω, A, P) から実数集合への可測関数である.

例題 1.1.5 Ω = {ω_{1}, ω_{2}}, P{ω_{1}} = P{ω_{2}} = 0.5 とする. このとき, (Ω, A, P) は確率空間で, 下式の関数は確率変数である.

ξ(ω) = \{ \begin{matrix}0, & if ω = ω_{1} \\ 1, & if ω = ω_{2} \end{matrix}

例題 1.1.6 Ω = [0, 1], A を Ω 上のボレル加法族, P をルベーグ測度とする. このとき, (Ω, A, P) は確率空間である. ここで, ξ を Ω から [0,1] への恒等関数とする. ξ は可測関数なので確率変数である.

例題 1.1.7 定数 c を特殊な確率変数として捉えることができる. 実際, それは確率空間 (Ω, A, P) 上の恒等関数 ξ(ω) ≡ c である.

定義 1.1.6 確率変数 ξ が

(a) 非負であるとは, P{ξ < 0} = 0;

(b) 正であるとは, P{ξ ≤ 0} = 0;

(c) 連続であるとは, 各 x ∈ R に対して, P{ξ = x} = 0;

(d) 単純であるとは, 次式を満たす有限数列 {x_{1}, x_{2}, ⋯, x_{m}} が存在すること.

P {ξ ≠ x_{1}, ξ ≠ x_{2}, ⋯, ξ ≠ x_{m}} = 0;  (1.1.7)

(e) 離散的であるとは, 次式を満たす可算数列 {x_{1}, x_{2}, ⋯} が存在すること.

P {ξ ≠ x_{1}, ξ ≠ x_{2}, ⋯} = 0.  (1.1.8)

定義 1.1.7 ξ と η を確率空間 (Ω, A, P) 上で定義される確率変数とする. ξ = η とは, ほとんど全ての ω ∈ Ω に対して, ξ(ω) = η(ω) となることである.

確率ベクトル

定義 1.1.8 n-次元確率ベクトルは, 確率空間 (Ω, A, P) から n-次元実ベクトル集合への可測関数である.

確率ベクトル¸は, Ω から R^{n} への関数なので, あらゆる ω ∈ Ω に対して, ¸ (ω) = (ξ_{1}(ω), ξ_{2}(ω), ⋯, ξ_{n}(ω)) と記せる. 但し, ξ_{1}, ξ_{2}, ⋯, ξ_{n} は Ω から R への関数. ξ_{1}, ξ_{2}, ⋯, ξ_{n} は, 定義 1.1.5 の意味で確率変数か? 反対に, ξ_{1}, ξ_{2}, ⋯, ξ_{n} を確率変数と仮定したとき, (ξ_{1}, ξ_{2}, ⋯, ξ_{n}) は, 定義 1.1.8 の意味で確率ベクトルか? 答えは是である. 実際, 次の定理が存在する.

定理 1.1.5 ベクトル (ξ_{1}, ξ_{2}, ⋯, ξ_{n}) が確率変数であるための必要十分条件は, ξ_{1}, ξ_{2}, ⋯, ξ_{n} が確率変数であること.

証明： ¸ = (ξ_{1}, ξ_{2}, ⋯, ξ_{n}) とし, ¸を確率空間 (Ω, A, P) 上の確率ベクトルとする. 任意の R のボレル集合 B に対して, 集合 B × R^{n−1} もまた R^{n} のボレル集合なので次式をえる.

\begin{aligned}\{ω ∈ Ω | ξ_{1}(ω) ∈ B\} & = \{ω ∈ Ω | ξ_{1}(ω) ∈ B, ξ_{2}(ω) ∈ R, ⋯, ξ_{n}(ω) ∈ R\} \\ & = \{ω ∈ Ω | ¸ (ω) ∈ B × R^{n−1} \} ∈ A \end{aligned}

上式は, ξ_{1} が確率変数であることを示している. 同様にして, ξ_{2}, ξ_{3}, ⋯, ξ_{n} が確率変数であることを証明できる.

逆に, 全ての ξ_{1}, ξ_{2}, ⋯, ξ_{n} が確率空間 (Ω, A, P) 上の確率変数と仮定する. ここで次を定義する.

B = {B ⊂ R^{n} | {ω ∈ Ω|¸ (ω) ∈ B} ∈ A} .

B が R^{n} の全てのボレル集合を含んでいることを示せれば, ベクトル ¸ = (ξ_{1}, ξ_{2}, ⋯, ξ_{n}) は確率変数であることが証明されたことになる. まず, 次式から, 集合族 B は R^{n} の全ての開区間を含んでいる.

{ ω ∈ Ω | ¸ (ω) ∈ ∏_{i=1}^{n} (a_{i}, b_{i})} = ⋂_{i=1}^{n} {ω ∈ Ω | ξ_{i}(ω) ∈ (a_{i}, b_{i})} ∈ A.

さらに, 集合族 B は R^{n} の σ-加法族である. なぜならば, (i) {ω ∈ Ω|¸ (ω) ∈ R^{n}} = Ω ∈ A なので R^{n} ∈ B; (ii) B ∈ B ならば, {ω ∈ Ω|¸ (ω) ∈ B} ∈ A, かつ

{ω ∈ Ω | ¸ (ω) ∈ B^{c}} = {ω ∈ Ω | ¸ (ω) ∈ B}^{c} ∈ A.

上式は, B^{c} ∈ B を主張している; (iii) i = 1, 2, ⋯に対して, B_{i} ∈ B ならば, {ω ∈ Ω|¸ (ω) ∈ B_{i}} ∈ A, かつ

{ ω ∈ Ω | ¸ (ω) ∈ ⋃_{i=1}^{∞} B_{i}} = ⋃_{i=1}^{∞} {ω ∈ Ω | ¸ (ω) ∈ B_{i}} ∈ A.

上式は, ∪_{i}B_{i} ∈ B を主張している. R^{n} の全ての開区間を含む最小の σ-加法族は R^{n} のボレル加法族なので, 集合族 B は全ての R^{n} のボレル集合を含む. 定理は証明された.

確率算術

定義 1.1.9 (確率空間上の確率算術) f : R^{n} → R を可測関数, ξ_{1}, ξ_{2}, ⋯, ξ_{n} を確率空間 (Ω, A, P) 上で定義された確率変数とすると, ξ = f(ξ_{1}, ξ_{2}, ⋯, ξ_{n}) は次式で定義される確率変数.

ξ(ω) = f(ξ_{1}(ω), ξ_{2}(ω), ⋯, ξ_{n}(ω)), ∀ω ∈ Ω.  (1.1.9)

例題 1.1.8 ξ_{1} と ξ_{2} を確率空間 (Ω, A, P) 上の確率変数とする. このとき, 和と積は次式で定義される.

(ξ_{1}+ ξ_{2})(ω) = ξ_{1}(ω) + ξ_{2}(ω), (ξ_{1}× ξ_{2})(ω) = ξ_{1}(ω) × ξ_{2}(ω), ∀ω ∈ Ω.

定義 1.1.10 (異なる確率空間上の確率算術) f : R^{n} → R を可測関数, ξ_{i} をそれぞれ確率空間 (Ω_{i}, A_{i}, P_{i}), i = 1, 2, ⋯, n 上で定義される確率変数とする. このとき, ξ = f(ξ_{1}, ξ_{2}, ⋯, ξ_{n}) は確率空間 (Ω, A, P) 上で全ての (ω_{1}, ω_{2}, ⋯, ω_{n}) ∈ Ω に対して, 次式で定義される確率変数.

ξ(ω_{1}, ω_{2}, ⋯, ω_{n}) = f(ξ_{1}(ω_{1}), ξ_{2}(ω_{2}), ⋯, ξ_{n}(ω_{n}))  (1.1.10)

例題 1.1.9 ξ_{1} と ξ_{2} をそれぞれ確率空間 (Ω_{1}, A_{1}, P_{1}), (Ω_{2}, A_{2}, P_{2}) 上の確率変数とする. 任意の (ω_{1}, ω_{2}) ∈ Ω_{1} × Ω_{2} に対して, 和と積は次式で定義される.

(ξ_{1}+ ξ_{2})(ω_{1}, ω_{2}) = ξ_{1}(ω_{1}) + ξ_{2}(ω_{2}), (ξ_{1}× ξ_{2})(ω_{1}, ω_{2}) = ξ_{1}(ω_{1}) × ξ_{2}(ω_{2}).

読者は, (1.1.10) で定義される ξ(ω_{1}, ω_{2}, ⋯, ω_{n}) が確率変数であるかどうかと考えるかもしれない. 次の定理がこの問いに答える.

定理 1.1.6 ¸を n-次元確率ベクトル, f : R^{n} → R を可測関数とする. このとき, f(¸ ) は確率変数である.

証明：¸を確率空間 (Ω, A, P) 上の確率ベクトルと仮定する. 任意の R のボレル集合 B に対して, f は可測関数なので, f^{−1} (B) もまた R^{n} のボレル集合になる. よって,

{ω ∈ Ω | f(¸ (ω)) ∈ B} = {ω ∈ Ω | ¸ (ω) ∈ f^{−1} (B)} ∈ A.

上式は, f(¸ ) が確率変数であることを示している.

連続性定理

定理 1.1.7 (a) {ξ_{i}} を lim_{i→∞} ξ_{i} が確率変数である確率変数の増加列とする. このとき, 任意の実数 r に対して, 次式が成り立つ.

lim_{i→∞} P{ξ_{i} > r} = P { lim_{i→∞} ξ_{i} > r} .  (1.1.11)

(b) {ξ_{i}} を lim_{i→∞} ξ_{i} が確率変数である確率変数の減少列とする. このとき, 任意の実数 r に対して, 次式が成り立つ.

lim_{i→∞} P{ξ_{i} ≥ r} = P { lim_{i→∞} ξ_{i} ≥ r} .  (1.1.12)

(c) 式 (1.1.11) と (1.1.12) は, “>” と “≥” が “≤” と “<” にそれぞれ代わっても成り立つ.

証明： {ξ_{i}} は, 確率変数の増加列なので,

{ξ_{i} > r} ↑ { lim_{i→∞} ξ_{i} > r} .

確率連続性定理から (1.1.11) は成り立つ. 同様にして, {ξ_{i}} が確率変数の減少列ならば,

{ξ_{i} ≥ r} ↓ { lim_{i→∞} ξ_{i} ≥ r}

上式と確率連続性定理から, (1.1.12) は成り立つ.

例題 1.1.10 (1.1.11) において, 記号 “>” は “≥” にすることはできない. (Ω, A, P) を確率空間とし, 全ての ω ∈ Ω に対して, 次式を定義する.

ξ(ω) = 1, ξ_{i}(ω) = 1 − \frac{1}{i}, i = 1, 2, ⋯

このとき, ξ_{i} ↑ ξ(i → ∞). しかし,

lim_{i→∞} P{ξ_{i} ≥ 1} = 0 ≠ 1 = P {ξ ≥ 1} .

定理 1.1.8 {ξ_{i}} を極限 lim_{i→∞} ξ_{i} が存在し, かつ確率変数である確率変数列とする. このとき, ほとんど全ての r ∈ R に対して,

lim_{i→∞} P{ξ_{i} ≥ r} = P { lim_{i→∞} ξ_{i} ≥ r} .  (1.1.13)

式 (1.1.13) は “≥” が “≤”, “>” または “<” にしても成り立つ.

証明： ξ_{i} → ξ とする. P{ξ ≥ r} は, r の減少関数で, いたるところ連続である. P{ξ ≥ r} の任意の連続点 r_{0} に対して, (1.1.13) の成立がいえれば, 定理は証明される. 任意の ε > 0 に対して, 次式を満たす δ > 0 が存在する.

|P\{ξ ≥ r_{0} ± δ\} − P\{ξ ≥ r_{0}\}| ≤ \frac{ε}{2}.  (1.1.14)

ここで, 次式を定義する.

Ω_{n} = ⋂_{i=n}^{∞} {|ξ_{i} − ξ| < δ}, n = 1, 2, ⋯

{Ω_{n}} は Ω_{n} → Ω を満たす増加数列. よって, P{Ω_{m}} > 1 − ε/2 と P{Ω_{m}^{c}} < ε/2 を満たす自然数 m が存在するので, 任意の i > m に対して, {ξ_{i} ≥ r_{0}} = ({ξ_{i} ≥ r_{0}} ∩ Ω_{m}) ∪ ({ξ_{i} ≥ r_{0}} ∩ Ω_{m}^{c}) ⊂ {ξ ≥ r_{0} − δ} ∪ Ω_{m}^{c}. (1.1.14) により,

P{ξ_{i} ≥ r_{0}} ≤ P{ξ ≥ r_{0} − δ} + P{Ω_{m}^{c}} ≤ P{ξ ≥ r_{0}} + ε.  (1.1.15)

同様に, i > m に対して, 次式をえる. {ξ ≥ r_{0}+ δ} = ({ξ ≥ r_{0} + δ} ∩ Ω_{m}) ∪ ({ξ ≥ r_{0} + δ} ∩ Ω_{m}^{c}) ⊂ {ξ_{i} ≥ r_{0}} ∪ Ω_{m}^{c}. (1.1.14) により,

P\{ξ ≥ r_{0}\} − \frac{ε}{2} ≤ P\{ξ ≥ r_{0} + δ\} ≤ P\{ξ_{i} ≥ r_{0}\} + \frac{ε}{2}.  (1.1.16)

(1.1.15) と (1.1.16) から, 次式が従う.

P{ξ ≥ r_{0}} − ε ≤ P{ξ_{i} ≥ r_{0}} ≤ P{ξ ≥ r_{0}} + ε.

ε → 0 とすると, P{ξ_{i} ≥ r_{0}} → P{ξ ≥ r_{0}} をえる. 定理は証明された.

確率分布

定義 1.1.11 確率変数 ξ の確率分布 Φ: R → [0, 1] は次式で定義される.

Φ(x) = P {ω ∈ Ω | ξ(ω) ≤ x} .  (1.1.17)

つまり, Φ(x) は確率変数 ξ が, x 以下である確率. 例題 1.1.11 確率変数 ξ と η が等しい確率分布をもつと仮定する. ここで, ξ = η であるかという疑問が起こる. 一般に, これは成り立たない. Ω = {ω_{1}, ω_{2}} と次式を定めると

P\{ω\} = \{ \begin{matrix}1/2, & if ω = ω_{1} \\ 1/2, & if ω = ω_{2}. \end{matrix}

(Ω, A, P) は確率空間になる. また, 2 つの確率変数を次式で定義する.

ξ(ω) = \{ \begin{matrix}−1, & if ω = ω_{1} \\ 1, & if ω = ω_{2}, \end{matrix} η(ω) = \{ \begin{matrix}1, & if ω = ω_{1} \\ −1, & if ω = ω_{2}. \end{matrix}

このとき, ξ と η は, 次式のように等しい確率分布をもつ,

Φ(x) = \{ \begin{matrix}0, & if x < −1 \\ 0.5, & if − 1 ≤ x < 1 \\ 1, & if x ≥ 1. \end{matrix}

しかし, 定義 1.1.7 の意味で ξ ≠ η であることは明らか.

定理 1.1.9 (確率分布であるための必要十分条件) 関数 Φ : R → [0, 1] が確率分布であるための必要十分条件は, それが, 次式を満たす増加, 右連続関数であること.

lim_{x→−∞} Φ(x) = 0;  lim_{x→+∞} Φ(x) = 1.  (1.1.18)

証明：任意の x, y ∈ R(x < y) に対して,

Φ(y) − Φ(x) = P{x < ξ ≤ y} ≥ 0.

よって, 確率分布 Φ は増加関数. 次に, {ε_{i}} を ε_{i} → 0(i → ∞) を満たす正数の数列とする. このとき, あらゆる i ≥ 1 に対して,

Φ(x + ε_{i}) − Φ(x) = P{x < ξ ≤ x + ε_{i}}.

確率連続性定理から, 次式が従う.

lim_{i→∞} Φ(x + ε_{i}) − Φ(x) = P{∅} = 0.

よって, Φ は右連続関数である. また,

lim_{x→−∞} Φ(x) = lim_{x→−∞} P{ξ ≤ x} = P{∅} = 0,

lim_{x→+∞} Φ(x) = lim_{x→+∞} P{ξ ≤ x} = P{Ω} = 1.

逆に, 定理 ??から, R 上のボレル加法族上に, 全ての x ∈ R に対して, P{(−∞, x]} = Φ(x) を満たす確率測度 P が一意に存在する. さらに, 確率空間 (R, A, P) から R への確率変数 ξ(x) = x が, 確率分布 Φ をもつことは容易に確かめられる.

注意定理 1.1.9 states that the identity function is a universal function for any probability distribution by defining an appropriate probability space. In fact, there is a universal probability space for any probability distribution by defining an appropriate function. 例えば, Ω = [0, 1], A を Ω 上のボレル加法族, P をルベーグ測度と仮定する. このとき, (Ω, A, P) は確率空間になる. Φ が確率分布ならば,

ξ(ω) = sup {x | Φ(x) ≤ ω}  (1.1.19)

上式は, 確率分布 Φ をもつ確率変数である. なぜならば, 任意の y ∈ R に対して

P{ξ ≤ y} = P {ω | sup {x|Φ(x) ≤ ω} ≤ y} = P {ω | ω ≤ Φ(y)} = Φ(y).

確率分布は単調関数なので, 確率分布の不連続点の集合は可算である. 言い換えると, 連続な点の集合は R において至るところ稠密である.

定理 1.1.10 Φ_{1} と Φ_{2} を全ての x ∈ D に対して, Φ_{1}(x) = Φ_{2}(x) である確率分布とする. 但し, D は R の稠密な集合とする. このとき, Φ_{1} ≡ Φ_{2}.

証明： D はいたるところ稠密なので, 任意の点 x に対して, x_{i} ↓ x(i → ∞) と, 全ての i に対して, Φ_{1}(x_{i}) = Φ_{2}(x_{i}) を満たす数列 {x_{i}} が D に存在する. 確率分布の右連続性から, Φ_{1}(x) = Φ_{2}(x) が従う. 定理は証明された.

定理 1.1.11 確率分布 Φ をもつ確率変数 ξ が

(a) 非負であるための必要十分条件は, 全ての x < 0 に対して, Φ(x) = 0;

(b) 正であるための必要十分条件は, 全ての x ≤ 0 に対して, Φ(x) = 0;

(c) 単純であるための必要十分条件は, Φ が単純関数であること;

(d) 離散型であるための必要十分条件は, Φ が階段関数であること;

(e) 連続であるための必要十分条件は, Φ が連続関数であること.

証明： (a), (b), (c), (d) は定義から直ちに従うので, (e) を証明する. ξ が連続型確率変数ならば, P{ξ = x} = 0. 確率連続性定理から

lim_{y↑x} (Φ(x) − Φ(y)) = lim_{y↑x} P{y < ξ ≤ x} = P{ξ = x} = 0

上式は, Φ の左連続性を示している. 確率分布は常に右連続なので, Φ は連続である. 逆に, Φ が連続ならば, 各 x ∈ R に対して, P{ξ = x} = 0 であることは直ぐにわかる.

定義 1.1.12 連続型確率変数が

(a) 単関数になるとは, 確率分布が単関数であること;

(b) 絶対連続であるとは, 確率分布が絶対連続関数であること.

定理 1.1.12 (確率分布の分解定理)Φ を確率分布とするとき

Φ(x) = r_{1}Φ_{1}(x) + r_{2}Φ_{2}(x) + r_{3}Φ_{3}(x), x ∈ R  (1.1.20)

但し, Φ_{1}, Φ_{2}, Φ_{3} は, それぞれ, 離散型で単関数かつ絶対連続な確率変数の確率分布, r_{1}, r_{2}, r_{3} は, r_{1} + r_{2} + r_{3} = 1 である非負の数とする. さらに, 分解 (1.1.20) は一意である.

証明： {x_{i}} を Φ の不連続点の可算集合とし, 次の関数を定義する.

f_{1}(x) = ∑_{x_{i}≤x} ( Φ(x_{i}) − lim_{y↑x_{i}} Φ(y)) , x ∈ R.

f_{1}(x) は, x に関して増加, 右連続関数になる. ここで,

f_{2}(x) = Φ(x) − f_{1}(x), x ∈ R.

を定めると

lim_{z↓x} f_{2}(z) − f_{2}(x) = lim_{z↓x} (Φ(z) − Φ(x)) − lim_{z↓x} (f_{1}(z) − f_{1}(x)) = 0,
lim_{z↑x} f_{2}(z) − f_{2}(x) = lim_{z↑x} (Φ(z) − Φ(x)) − lim_{z↑x} (f_{1}(z) − f_{1}(x)) = 0.

をえる. つまり, 関数 f_{2}(x) は連続である. 次に, f_{2}(x) が増加関数であることを証明する. x′< x が与えられたとき,

∑_{x′<x_{i}≤x} ( Φ(x_{i}) − lim_{y↑x_{i}} Φ(y)) ≤ Φ(x) − Φ(x′).

よって,

f_{2}(x) − f_{2}(x′) = Φ(x) − Φ(x′) − ∑_{x′<x_{i}≤x} ( Φ(x_{i}) − lim_{y↑x_{i}} Φ(y)) ≥ 0

上式は, f_{2}(x) が x の増加関数であることを示している. 増加連続関数 f_{2} には, 一意な分解 f_{2} = g_{2} + g_{3} が存在し, 但し, g_{2} は増加単関数, g_{3} は増加絶対連続関数であることが証明された. ゆえに,

Φ(x) = f_{1}(x) + g_{2}(x) + g_{3}(x), ∀x ∈ R.

ここで, 次式を定める.

lim_{x→∞} f_{1}(x) = r_{1}, lim_{x→∞} g_{2}(x) = r_{2}, lim_{x→∞} g_{3}(x) = r_{3}.

r_{1}, r_{2}, r_{3} は, r_{1} + r_{2} + r_{3} = 1 を満たす非負の数とし, 次式を定める.

Φ_{1}(x) = \frac{f_{1}(x)}{r_{1}} , Φ_{2}(x) = \frac{g_{2}(x)}{r_{2}} , Φ_{3}(x) = \frac{g_{3}(x)}{r_{3}} , x ∈ R.

Φ_{1}, Φ_{2}, Φ_{3} が, それぞれ, 離散型で, 単関数である絶対連続な確率変数の確率分布であることは容易に確かめられる. ゆえに, (1.1.20) が従う. 階段関数は一意であるので, 分解もまた一意である.

確率密度関数

定義 1.1.13 確率変数 ξ の確率密度関数 ϕ: R → [0, +∞) は, 全ての x ∈ R に対し,

Φ(x) = ∫_{−∞}^{x} ϕ(y) ∫ dy  (1.1.21)

である関数. 但し, Φ は確率変数 ξ の確率分布.

例題 1.1.12 確率密度関数は確率分布が連続で, ほとんど全てのところで微分可能だとしても存在しないことがある. ?? ページで定義されたカントール関数 f を思い出そう. 次式を定める.

Φ(x) = \{ \begin{matrix}0, & if x < 0 \\ f(x), & if 0 ≤ x ≤ 1 \\ 1, & if x > 1. \end{matrix}  (1.1.22)

Φ は, Φ(x) → 0(x → −∞) と Φ(x) → 1(x → ∞) を満たす増加, 連続関数である. ゆえに上式は確率分布である. またほとんど至るところ Φ′(x) = 0, かつ

∫_{−∞}^{+∞} Φ′(x) ∫ dx = 0 ≠ 1.

よって, 確率密度関数は存在しない.

注意ϕ : R → [0, +∞) を ∫_{−∞}^{+∞} ϕ(x) ∫ dx = 1 を満たす可測関数とする. このとき, ϕ はある確率変数の確率密度関数である. なぜならば,

Φ(x) = ∫_{−∞}^{x} ϕ(y) ∫ dy

上式は, (1.1.18) を満足する増加, 連続関数である.

定理 1.1.13 ξ を確率密度関数 ϕ をもつ確率変数とする. このとき, 任意の R のボレル集合 B に対して

P{ξ ∈ B} = ∫_{B}ϕ(y) ∫ dy.  (1.1.23)

証明： C を次式を満たす R のあらゆる部分集合 C からなる集合族とする.

P{ξ ∈ C} = ∫_{C}ϕ(y) ∫ dy  (1.1.24)

C が R のあらゆるボレル集合を含むことを示す. 確率連続定理と (1.1.24) から C は単調族である. また, C が全ての区間 (−∞, a], (a, b], (b, ∞) と ∅ を含むことも明らかである. なぜならば

P{ξ ∈ (−∞, a]} = Φ(a) = ∫_{−∞}^{a} ϕ(y) ∫ dy,

P{ξ ∈ (b, +∞)} = Φ(+∞) − Φ(b) = ∫_{b}^{+∞} ϕ(y) ∫ dy,
P{ξ ∈ (a, b]} = Φ(b) − Φ(a) = ∫_{a}^{b}ϕ(y) ∫ dy,
P{ξ ∈ ∅} = 0 = ∫_{∅} ϕ(y) ∫ dy

但し, Φ は ξ の確率分布. F を (−∞, a], (a, b], (b, ∞) と ∅ の全ての互いに素な有限な和集合を含む加法族とする. このとき, 任意の F の互いに素な集合 C_{1}, C_{2}, ⋯, C_{m} と C = C_{1} ∪ C_{2} ∪ ⋯∪ C_{m} に対して,

P{ξ ∈ C} = ∑_{j=1}^{m} P{ξ ∈ C_{j}} = ∑_{j=1}^{m} ∫_{C_{j}} ϕ(y) ∫ dy = ∫_{C}ϕ(y) ∫ dy.

つまり, C ∈ C. ゆえに, F ⊂ C. F を含む最小の σ-加法族は, R のボレル加法族なので, 単調族定理より, C は R の全てのボレル集合を含む.

特殊な分布

一様分布: 確率変数 ξ が一様分布に従うとは, 確率密度関数が下式で定義される場合である.

ϕ(x) = \{ \begin{matrix}\frac{1}{b − a} , & if a ≤ x ≤ b \\ 0, & otherwise \end{matrix}  (1.1.25)

U(a, b) と記され, a と b は, a < b を満たす実数.

指数分布: 確率変数 ξ が指数分布に従うとは, 確率密度関数が下式で定義される場合である.

ϕ(x) = \{ \begin{matrix}\frac{1}{β} exp ( −\frac{x}{β}) , & if x ≥ 0 \\ 0, & if x < 0 \end{matrix}  (1.1.26)

EX P(β) と記され, β は正数.

正規分布:確率変数 ξ が正規分布に従うとは, 確率密度関数が下式で定義される場合である.

ϕ(x) = \frac{1}{σ\sqrt{2π}} exp ( −\frac{(x − μ)^{2}}{2σ^{2}} ) , x ∈ R  (1.1.27)

N (μ, σ^{2}) と記され, μ と σ は実数.

結合確率分布

定義 1.1.14 確率ベクトル (ξ_{1}, ξ_{2}, ⋯, ξ_{n}) の結合確率分布 Φ : R^{n} → [0, 1] は, 次式で定義される.

Φ(x_{1}, x_{2}, ⋯, x_{n}) = P {ω ∈ Ω | ξ_{1}(ω) ≤ x_{1}, ξ_{2}(ω) ≤ x_{2}, ⋯, ξ_{n}(ω) ≤ x_{n}} .

定義 1.1.15 確率ベクトル (ξ_{1}, ξ_{2}, ⋯, ξ_{n}) の結合確率密度関数 ϕ: R^{n} → [0, +∞) は, 全ての (x_{1}, x_{2}, ⋯, x_{n}) ∈ R^{n} に対して, 次式を満たす.

Φ(x_{1}, x_{2}, ⋯, x_{n}) = ∫_{−∞}^{x_{1}} ∫_{−∞}^{x_{2}} ⋯∫_{−∞}^{x_{n}} ϕ(y_{1}, y_{2}, ⋯, y_{n}) ∫ dy_{1} ∫ dy_{2} ⋯∫ dy_{n}

(1.1.28)

但し, Φ は確率ベクトル (ξ_{1}, ξ_{2}, ⋯, ξ_{n}) の確率分布.

独立

定義 1.1.16 確率変数 ξ_{1}, ξ_{2}, ⋯, ξ_{m} が独立であるとは, R の任意のボレル集合 B_{1}, B_{2}, ⋯, B_{m} に対して, 次式が成り立つことである.

P { ⋂_{i=1}^{m} {ξ_{i} ∈ B_{i}}} = ∏_{i=1}^{m} P{ξ_{i} ∈ B_{i}}  (1.1.29)

定理 1.1.14 ξ_{1}, ξ_{2}, ⋯, ξ_{m} を独立な確率変数, i = 1, 2, ⋯, m に対して, f_{i} : R → R を可測関数とする. このとき, 確率変数 f_{1}(ξ_{1}), f_{2}(ξ_{2}), ⋯, f_{m}(ξ_{m}) は独立である.

証明： R の任意のボレル集合 B_{1}, B_{2}, ⋯, B_{m} に対して

\begin{matrix}P \{ ⋂_{i=1}^{m} \{f_{i}(ξ_{i}) ∈ B_{i}\}\} = P \{ ⋂_{i=1}^{m} \{ξ_{i} ∈ f_{i}^{−1} (B_{i})\}\} \\ = ∏_{i=1}^{m} P\{ξ_{i} ∈ f_{i}^{−1} (B_{i})\} = ∏_{i=1}^{m} P\{f_{i}(ξ_{i}) ∈ B_{i}\}. \end{matrix}

よって, f_{1}(ξ_{1}), f_{2}(ξ_{2}), ⋯, f_{m}(ξ_{m}) は独立な確率変数.

定理 1.1.15 ξ_{i} をそれぞれ, 確率分布 Φ_{i}, i = 1, 2, ⋯, m をもつ確率変数, Φ を確率ベクトル (ξ_{1}, ξ_{2}, ⋯, ξ_{m}) の確率分布とする. このとき, ξ_{1}, ξ_{2}, ⋯, ξ_{m} が独立であるための必要十分条件は, 全ての (x_{1}, x_{2}, ⋯, x_{m}) ∈ R^{m} に対して, 次式が成り立つこと.

Φ(x_{1}, x_{2}, ⋯, x_{m}) = Φ_{1}(x_{1})Φ_{2}(x_{2}) ⋯Φ_{m}(x_{m}).  (1.1.30)

証明： ξ_{1}, ξ_{2}, ⋯, ξ_{m} が独立な確率変数ならば, 全ての (x_{1}, x_{2}, ⋯, x_{m}) ∈ R^{m} に対して

Φ(x_{1}, x_{2}, ⋯, x_{m}) = P{ξ_{1} ≤ x_{1}, ξ_{2} ≤ x_{2}, ⋯, ξ_{m} ≤ x_{m}}
= P{ξ_{1} ≤ x_{1}}P{ξ_{2} ≤ x_{2}} ⋯P{ξ_{m} ≤ x_{m}}
= Φ_{1}(x_{1})Φ_{2}(x_{2}) ⋯Φ_{m}(x_{m})

逆に, (1.1.30) が成り立つと仮定する. x_{2}, x_{3}, ⋯, x_{m} を固定された実数, C を R のあらゆる部分集合 C からなる次式を満たす集合族とする.

P{ξ_{1} ∈ C, ξ_{2} ≤ x_{2}, ⋯, ξ_{m} ≤ x_{m}} = P{ξ_{1} ∈ C} ∏_{i=2}^{m} P{ξ_{i} ≤ x_{i}}  (1.1.31)

C が R のあらゆるボレル集合を含むことを示す. 確率連続定理と (1.1.31) から C は単調族である. また, C が全ての区間 (−∞, a], (a, b], (b, ∞) と ∅ を含むことも明らかである. F を (−∞, a], (a, b], (b, ∞) と ∅ の全ての互いに素な有限な和集合を含む加法族とする. 任意の F の互いに素な集合 C_{1}, C_{2}, ⋯, C_{m} と C = C_{1} ∪ C_{2} ∪ ⋯∪ C_{m} に対して,

P{ξ_{1} ∈ C, ξ_{2} ≤ x_{2}, ⋯, ξ_{m} ≤ x_{m}}
= ∑_{j=1}^{m} P{ξ_{1} ∈ C_{j}, ξ_{2} ≤ x_{2}, ⋯, ξ_{m} ≤ x_{m}}
= P{ξ_{1} ∈ C}P{ξ_{2} ≤ x_{2}} ⋯P{ξ_{m} ≤ x_{m}}.

つまり, C ∈ C. ゆえに, F ⊂ C. F を含む最小の σ-加法族は, R のボレル加法族なので, 単調族定理より, C は R の全てのボレル集合を含む.

各 ξ_{i} に対して, 順に同様の議論を行うと, 確率変数が独立であることがわかる.

定理 1.1.16 ξ_{i} をそれぞれ, 確率密度関数 ϕ_{i}, i = 1, 2, ⋯, m をもつ確率変数, ϕ を確率ベクトル (ξ_{1}, ξ_{2}, ⋯, ξ_{m}) の確率密度関数とするとき, ξ_{1}, ξ_{2}, ⋯, ξ_{m} が独立であるための必要十分条件は, ほとんど全ての (x_{1}, x_{2}, ⋯, x_{m}) ∈ R^{m} に対して次式が成り立つことである.

ϕ(x_{1}, x_{2}, ⋯, x_{m}) = ϕ_{1}(x_{1})ϕ_{2}(x_{2}) ⋯ϕ_{m}(x_{m}).  (1.1.32)

証明：もし, ほとんどいたるところで, ϕ(x_{1}, x_{2}, ⋯, x_{m}) = ϕ_{1}(x_{1})ϕ_{2}(x_{2}) ⋯ ϕ_{m}(x_{m}) ならば, 全ての (x_{1}, x_{2}, ⋯, x_{m}) ∈ R^{m} に対して,

\begin{aligned}Φ(x_{1}, x_{2}, ⋯, x_{m}) & = ∫_{−∞}^{x_{1}} ∫_{−∞}^{x_{2}} ⋯∫_{−∞}^{x_{m}} ϕ(t_{1}, t_{2}, ⋯, t_{m}) ∫ dt_{1} ∫ dt_{2} ⋯∫ dt_{m} \\ & = ∫_{−∞}^{x_{1}} ∫_{−∞}^{x_{2}} ⋯∫_{−∞}^{x_{m}} ϕ_{1}(t_{1})ϕ_{2}(t_{2}) ⋯ϕ_{m}(t_{m}) ∫ dt_{1} ∫ dt_{2} ⋯∫ dt_{m} \\ & = ∫_{−∞}^{x_{1}} ϕ_{1}(t_{1}) ∫ dt_{1} ∫_{−∞}^{x_{2}} ϕ_{2}(t_{2}) ∫ dt_{2} ⋯∫_{−∞}^{x_{m}} ϕ_{m}(t_{m}) ∫ dt_{m} \\ & = Φ_{1}(x_{1})Φ_{2}(x_{2}) ⋯Φ_{m}(x_{m}) \end{aligned} .

よって, ξ_{1}, ξ_{2}, ⋯, ξ_{m} は独立である. 逆に, ξ_{1}, ξ_{2}, ⋯, ξ_{m} が独立ならば, 任意の (x_{1}, x_{2}, ⋯, x_{m}) ∈ R^{m} に対して

\begin{aligned}Φ(x_{1}, x_{2}, ⋯, x_{m}) & = Φ_{1}(x_{1})Φ_{2}(x_{2})ḑotsΦ_{m}(x_{m}) \\ & = ∫_{−∞}^{x_{1}} ∫_{−∞}^{x_{2}} ⋯∫_{−∞}^{x_{m}} ϕ_{1}(t_{1})ϕ_{2}(t_{2}) ⋯ϕ_{m}(t_{m}) ∫ dt_{1} ∫ dt_{2} ⋯∫ dt_{m} \end{aligned}

上式は, ほとんどいたるところで, ϕ(x_{1}, x_{2}, ⋯, x_{m}) = ϕ_{1}(x_{1})ϕ_{2}(x_{2}) ⋯ϕ_{m}(x_{m}) が成り立つことを示している.

同一分布

定義 1.1.17 確率変数 ξ と η が同一分布であるとは, 任意の R のボレル集合 B に対して

P{ξ ∈ B} = P{ξ ∈ B}  (1.1.33)

定理 1.1.17 確率変数 ξ と η が同一分布に従うための必要十分条件は, 等しい確率密度関数をもつこと.

証明： Φ と Ψ をそれぞれ, ξ と η の確率分布とする. ξ と η が同一分布の確率変数ならば, 任意の x ∈ R に対して,

Φ(x) = P{ξ ∈ (−∞, x]} = P{η ∈ (−∞, x]} = Ψ(x).

ゆえに, ξ と η は, 等しい確率分布をもつ.

逆に, ξ と η が等しい確率分布に従うと仮定する. C を次式を満たす R のあらゆる部分集合 C からなる集合族とする.

P{ξ ∈ C} = P{η ∈ C}  (1.1.34)

C が R のあらゆるボレル集合を含むことを示す. 確率連続定理と (1.1.34) から C は単調族である. また, ξ, η が等しい確率分布をもつことから, C が全ての区間 (−∞, a], (a, b], (b, ∞) と ∅ を含むことも明らかである. F を (−∞, a], (a, b], (b, ∞) と ∅ の全ての互いに素な有限な和集合を含む加法族とする. 任意の F の互いに素な集合 C_{1}, C_{2}, ⋯, C_{m} と C = C_{1} ∪ C_{2} ∪ ⋯∪ C_{m} に対して,

P{ξ ∈ C} = ∑_{j=1}^{k} P{ξ ∈ C_{j}} = ∑_{j=1}^{k} P{η ∈ C_{j}} = P{η ∈ C}.

つまり, C ∈ C. よって, F ⊂ C. F を含む最小の σ-加法族は, R のボレル集合なので, 単調族定理より C は, R の全てのボレル集合を含んでいる.

定理 1.1.18 ξ と η を確率密度関数が存在する 2 つの確率変数とする. このとき, ξ と η が同一分布に従うための必要十分条件は, 確率密度関数が等しいことである.

証明：定理 1.1.17 から, 確率変数 ξ と η が同一分布に従うための必要十分条件は, 等しい確率分布をもつか, 等しい確率密度関数をもつことである.

期待値

定義 1.1.18 ξ を確率変数とするとき, ξ の期待値は次式で定義される.

E[ξ] = ∫_{0}^{+∞} P{ξ ≥ r} ∫ dr − ∫_{−∞}^{0} P{ξ ≤ r} ∫ dr  (1.1.35)

但し, 2 つの積分の内, 少なくとも 1 つは有限とする.

例題 1.1.13 ξ をそれぞれ, 確率 p_{i}, i = 1, 2, ⋯, m で, 値 a_{i} をとる離散型確率変数と仮定する. 期待値作用素の定義から次式が従う.

E[ξ] = ∑_{i=1}^{m} a_{i}p_{i}.

例題 1.1.14 ξ を一様分布 U(a, b) に従う確率変数とする. このとき, 期待値は, E[ξ] = (a + b)/2.

例題 1.1.15 ξ を指数分布 EX P(β) に従う確率変数とする. このとき, 期待値は β.

例題 1.1.16 ξ を正規分布 N (μ, σ^{2}) に従う確率変数とする. このとき, 期待値は μ.

定理 1.1.19 ξ を確率密度関数 ϕ が存在する確率変数とする. もし, 次のルベーグ積分が有限であるならば

∫_{−∞}^{+∞} xϕ(x) ∫ dx

次式をえる.

E[ξ] = ∫_{−∞}^{+∞} xϕ(x) ∫ dx.  (1.1.36)

証明：定義 1.1.18 とフビニの定理から

E[ξ] = ∫_{0}^{+∞} P{ξ ≥ r} ∫ dr − ∫_{−∞}^{0} P{ξ ≤ r} ∫ dr
= ∫_{0}^{+∞} [∫_{r}^{+∞} ϕ(x) ∫ dx] ∫ dr − ∫_{−∞}^{0} [∫_{−∞}^{r} ϕ(x) ∫ dx] ∫ dr
= ∫_{0}^{+∞} [∫_{0}^{x} ϕ(x) ∫ dr] ∫ dx − ∫_{−∞}^{0} [∫_{x}^{0} ϕ(x) ∫ dr] ∫ dx
= ∫_{0}^{+∞} xϕ(x) ∫ dx + ∫_{−∞}^{0} xϕ(x) ∫ dx
= ∫_{−∞}^{+∞} xϕ(x) ∫ dx.

定理は証明された.

定理 1.1.20 ξ を確率分布 Φ に従う確率変数とする. もし, 次のルベーグ-スティルチェス積分が有限ならば

∫_{−∞}^{+∞} x ∫ dΦ(x)

次式をえる.

E[ξ] = ∫_{−∞}^{+∞} x ∫ dΦ(x).  (1.1.37)

証明：ルベーグ-スティルチェス積分 ∫_{−∞}^{+∞} x ∫ dΦ(x) が有限なので, 直ちに次の 2 式が成り立つ

lim_{y→+∞} ∫_{0}^{y} x ∫ dΦ(x) = ∫_{0}^{+∞} x ∫ dΦ(x), lim_{y→−∞} ∫_{y}^{0} x ∫ dΦ(x) = ∫_{−∞}^{0} x ∫ dΦ(x)

lim_{y→+∞} ∫_{y}^{+∞} x ∫ dΦ(x) = 0, lim_{y→−∞} ∫_{−∞}^{y} x ∫ dΦ(x) = 0.

また, 次の 2 式から

∫_{y}^{+∞} x ∫ dΦ(x) ≥ y ( lim_{z→+∞} Φ(z) − Φ(y)) = y(1 − Φ(y)) ≥ 0, if y > 0,

∫_{−∞}^{y} x ∫ dΦ(x) ≤ y ( Φ(y) − lim_{z→−∞} Φ(z)) = yΦ(y) ≤ 0, if y < 0

次式が従う.

lim_{y→+∞} y (1 − Φ(y)) = 0, lim_{y→−∞} yΦ(y) = 0.

0 = x_{0} < x_{1} < x_{2} < ⋯< x_{n} = y を [0, y] の分割とする. このとき

∑_{i=0}^{n−1} x_{i} (Φ(x_{i+1} ) − Φ(x_{i})) → ∫_{0}^{y} x ∫ dΦ(x)

∑_{i=0}^{n−1} (1 − Φ(x_{i+1} ))(x_{i+1} − x_{i}) → ∫_{0}^{y} P{ξ ≥ r} ∫ dr

但し, max{|x_{i+1} − x_{i}| : i = 0, 1, ⋯, n − 1} → 0. また, y → +∞ のとき

∑_{i=0}^{n−1} x_{i} (Φ(x_{i+1} ) − Φ(x_{i})) − ∑_{i=0}^{n−1} (1 − Φ(x_{i+1} ))(x_{i+1} − x_{i}) = y(Φ(y) − 1) → 0.

このことから,

∫_{0}^{+∞} P{ξ ≥ r} ∫ dr = ∫_{0}^{+∞} x ∫ dΦ(x).

同様にして, 次式が証明できる.

− ∫_{−∞}^{0} P{ξ ≤ r} ∫ dr = ∫_{−∞}^{0} x ∫ dΦ(x).

よって, 上の 2 つの不等式により, (1.1.37) が確かめられた.

期待値作用素の線形性

定理 1.1.21 ξ と η を有限な期待値をもつ確率変数とする. このとき, 任意の数 a と b に対して, 次式が成り立つ.

E[aξ + bη] = aE[ξ] + bE[η].  (1.1.38)

証明： Step 1: まず, 任意の数 b に対して, E[ξ + b] = E[ξ] + b を証明する. b ≥ 0 のとき,

E[ξ + b] = ∫_{0}^{∞} P{ξ + b ≥ r} ∫ dr − ∫_{−∞}^{0} P{ξ + b ≤ r} ∫ dr
= ∫_{0}^{∞} P{ξ ≥ r − b} ∫ dr − ∫_{−∞}^{0} P{ξ ≤ r − b} ∫ dr
= E[ξ] + ∫_{0}^{b}(P{ξ ≥ r − b} + P{ξ < r − b}) ∫ dr
= E[ξ] + b.

b < 0 ならば, E[ξ + b] = E[ξ] − ∫_{b}^{0} (P{ξ ≥ r − b} + P{ξ < r − b}) ∫ dr = E[ξ] + b. Step 2: 任意の数 a に対して, E[aξ] = aE[ξ] を証明する. a = 0 ならば, 等式 E[aξ] = aE[ξ] の成立は簡単にわかる. a > 0 ならば,

E[aξ]= ∫_{0}^{∞} P{aξ ≥ r} ∫ dr − ∫_{−∞}^{0} P{aξ ≤ r} ∫ dr

= ∫_{0}^{∞} P \{ξ ≥ \frac{r}{a}\} ∫ dr − ∫_{−∞}^{0} P \{ξ ≤ \frac{r}{a}\} ∫ dr

= a ∫_{0}^{∞} P \{ξ ≥ \frac{r}{a}\} ∫ d( \frac{r}{a}) − a ∫_{−∞}^{0} P \{ξ ≤ \frac{r}{a}\} ∫ d( \frac{r}{a})

= aE[ξ].

a < 0 ならば,

E[aξ]= ∫_{0}^{∞} P{aξ ≥ r} ∫ dr − ∫_{−∞}^{0} P{aξ ≤ r} ∫ dr

= ∫_{0}^{∞} P \{ξ ≤ \frac{r}{a}\} ∫ dr − ∫_{−∞}^{0} P \{ξ ≥ \frac{r}{a}\} ∫ dr

= a ∫_{0}^{∞} P \{ξ ≥ \frac{r}{a}\} ∫ d( \frac{r}{a}) − a ∫_{−∞}^{0} P \{ξ ≤ \frac{r}{a}\} ∫ d( \frac{r}{a})

= aE[ξ].

Step 3: ξ と η がそれぞれ, a_{1}, a_{2}, ⋯, a_{m}, b_{1}, b_{2}, ⋯, b_{n} の値をとる非負の単純確率変数のとき, E[ξ + η] = E[ξ] + E[η] であることを証明する. このとき ξ + η もまた, 値 a_{i} + b_{j}, i = 1, 2, ⋯, m, j = 1, 2, ⋯, n をとる非負の単純確率変数である. ゆえに,

E[ξ + η] = ∑_{i=1}^{m} ∑_{j=1}^{n} (a_{i} + b_{j})P{ξ = a_{i}, η = b_{j}}

= ∑_{i=1}^{m} ∑_{j=1}^{n} a_{i}P{ξ = a_{i}, η = b_{j}} + ∑_{i=1}^{m} ∑_{j=1}^{n} b_{j}P{ξ = a_{i}, η = b_{j}}

= ∑_{i=1}^{m} a_{i}P{ξ = a_{i}} + ∑_{j=1}^{n} b_{j}P{η = b_{j}}

= E[ξ] + E[η].

Step 4: ξ と η が両方とも非負の確率変数であるとき, E[ξ + η] = E[ξ] + E[η] であることを証明する. 全ての i ≥ 1 と, 全ての ω ∈ Ω に対して, 次式を定義する.

ξ_{i}(ω) = \{ \begin{matrix}\frac{k − 1}{2^{i}} , & if \frac{k − 1}{2^{i}} ≤ ξ(ω) < \frac{k}{2^{i}}, k = 1, 2, ⋯, i2^{i} \\ i, & if i ≤ ξ(ω), \end{matrix}

η_{i}(ω) = \{ \begin{matrix}\frac{k − 1}{2^{i}} , & if \frac{k − 1}{2^{i}} ≤ η(ω) < \frac{k}{2^{i}}, k = 1, 2, ⋯, i2^{i} \\ i, & if i ≤ η(ω). \end{matrix}

このとき, {ξ_{i}}, {η_{i}}, {ξ_{i} + η_{i}} は, ξ_{i} ↑ ξ, η_{i} ↑ η, ξ_{i} + η_{i} ↑ ξ + η (i → ∞) を満たす 3 つの非負の単純確率変数列である. また, P{ξ_{i} > r}, P{η_{i} > r}, P{ξ_{i} + η_{i} > r}, i = 1, 2, ⋯もまた単純関数である. 定理 1.1.7 から, i → ∞ のとき

P{ξ_{i} > r} ↑ P{ξ > r}, ∀r ≥ 0

期待値 E[ξ] が存在することから, i → ∞ とすると

E[ξ_{i}] = ∫_{0}^{+∞} P{ξ_{i} > r} ∫ dr → ∫_{0}^{+∞} P{ξ > r} ∫ dr = E[ξ]

同様にして, E[η_{i}] → E[η], E[ξ_{i} + η_{i}] → E[ξ + η](i → ∞) を証明できる. Step 3 より, E[ξ + η] = E[ξ] + E[η] がいえる.

Step 5: ξ と η が任意の確率変数のとき, E[ξ + η] = E[ξ] + E[η] であることを証明する. 次式を定義する.

ξ_{i}(ω) = \{ \begin{matrix}ξ(ω), & if ξ(ω) ≥ −i \\ −i, & otherwise, \end{matrix} η_{i}(ω) = \{ \begin{matrix}η(ω), & if η(ω) ≥ −i \\ −i, & otherwise . \end{matrix}

期待値 E[ξ] と E[η] は有限なので,

lim_{i→∞} E[ξ_{i}] = E[ξ], lim_{i→∞} E[η_{i}] = E[η], lim_{i→∞} E[ξ_{i} + η_{i}] = E[ξ + η].

(ξ_{i} + i) と (η_{i} + i) は, 非負の確率変数であることに注意する. Steps 1 と 4 から

E[ξ + η] = lim_{i→∞} E[ξ_{i} + η_{i}]

= lim_{i→∞} (E[(ξ_{i} + i) + (η_{i} + i)] − 2i)

= lim_{i→∞} (E[ξ_{i} + i] + E[η_{i} + i] − 2i)

= lim_{i→∞} (E[ξ_{i}] + i + E[η_{i}] + i − 2i)

= lim_{i→∞} E[ξ_{i}] + lim_{i→∞} E[η_{i}]

= E[ξ] + E[η].

Step 6: 線形性 E[aξ + bη] = aE[ξ] + bE[η] は, Steps 2, 5 から直ちに従う. 定理は証明された.

1.1.1 独立な確率変数の積

定理 1.1.22 ξ と η を有限な期待値をもつ独立な確率変数とする. このとき, ξη の期待値は存在し, 次式が成り立つ.

E[ξη] = E[ξ]E[η].  (1.1.39)

証明： Step 1:まず, ξ と η が, それぞれ a_{1}, a_{2}, ⋯, a_{m} と b_{1}, b_{2}, ⋯, b_{n} の値をとる非負の単純確率変数の場合を証明する. この場合, ξη もまた, a_{i}b_{j}, i = 1, 2, ⋯, m, j = 1, 2, ⋯, n に値をとる非負の単純確率変数になる. ξ と η の独立性から

E[ξη]= ∑_{i=1}^{m} ∑_{j=1}^{n} a_{i}b_{j}P{ξ = a_{i}, η = b_{j}}

= ∑_{i=1}^{m} ∑_{j=1}^{n} a_{i}b_{j}P{ξ = a_{i}}P{η = b_{j}}

= ( ∑_{i=1}^{m} a_{i}P{ξ = a_{i}}) ( ∑_{j=1}^{n} b_{j}P{η = b_{j}})

= E[ξ]E[η].

Step 2: 次に, ξ と η が非負の確率変数である場合を証明する. あらゆる i ≥ 1 と ω ∈ Ω に対して, 次式を定義する.

ξ_{i}(ω) = \{ \begin{matrix}\frac{k − 1}{2^{i}} , & if \frac{k − 1}{2^{i}} ≤ ξ(ω) < \frac{k}{2^{i}}, k = 1, 2, ⋯, i2^{i} \\ i, & if i ≤ ξ(ω), \end{matrix}

η_{i}(ω) = \{ \begin{matrix}\frac{k − 1}{2^{i}} , & if \frac{k − 1}{2^{i}} ≤ η(ω) < \frac{k}{2^{i}}, k = 1, 2, ⋯, i2^{i} \\ i, & if i ≤ η(ω). \end{matrix}

よって, {ξ_{i}}, {η_{i}}, {ξ_{i}η_{i}} は, ξ_{i} ↑ ξ, η_{i} ↑ η, ξ_{i}η_{i} ↑ ξη(i → ∞) を満たす 3 つの非負の単純確率変数列. ξ と η の独立性より, ξ_{i} と η_{i} は独立である. 従って, E[ξ_{i}η_{i}] = E[ξ_{i}]E[η_{i}] i = 1, 2, ⋯をえる. 定理 1.1.7 から, P{ξ_{i} > r}, i = 1, 2, ⋯は i → ∞ のとき, 次式を満たす単純関数である.

P{ξ_{i} > r} ↑ P{ξ > r}, for all r ≥ 0

期待値 E[ξ] が存在することから, i → ∞ のとき

E[ξ_{i}] = ∫_{0}^{+∞} P{ξ_{i} > r} ∫ dr → ∫_{0}^{+∞} P{ξ > r} ∫ dr = E[ξ]

同様にして, E[η_{i}] → E[η], E[ξ_{i}η_{i}] → E[ξη](i → ∞) を証明できる. ゆえに, E[ξη] = E[ξ]E[η].

Step 3: 最後に, ξ と η が任意の確率変数ならば, 非負の確率変数 ξ^{+} と η^{+} は独立, また, ξ^{+} と η^{−} , ξ^{−} と η^{+} , ξ^{−} と η^{−} もそれぞれ独立になる. ゆえに,

\begin{matrix}E[ξ^{+} η^{+} ] = E[ξ^{+} ]E[η^{+} ], & E[ξ^{+} η^{−} ] = E[ξ^{+} ]E[η^{−} ], \\ E[ξ^{−} η^{+} ] = E[ξ^{−} ]E[η^{+} ], & E[ξ^{−} η^{−} ] = E[ξ^{−} ]E[η^{−} ]. \end{matrix}

従って, 次式から定理は証明される.

E[ξη]= E[(ξ^{+} − ξ^{−} )(η^{+} − η^{−} )]
= E[ξ^{+} η^{+} ] − E[ξ^{+} η^{−} ] − E[ξ^{−} η^{+} ] + E[ξ^{−} η^{−} ]
= E[ξ^{+} ]E[η^{+} ] − E[ξ^{+} ]E[η^{−} ] − E[ξ^{−} ]E[η^{+} ] + E[ξ^{−} ]E[η^{−} ]
= (E[ξ^{+} ] − E[ξ^{−} ])(E[η^{+} ] − E[η^{−} ])
= E[ξ^{+} − ξ^{−} ]E[η^{+} − η^{−} ]
= E[ξ]E[η]

確率変数の関数の期待値

定理 1.1.23 ξ を確率分布 Φ に従う確率変数, f : R → R を可測関数とする. もし, ルベーグ-スティルチェス積分

∫_{−∞}^{+∞} f(x) ∫ dΦ(x)

が有限ならば

E[f(ξ)] = ∫_{−∞}^{+∞} f(x) ∫ dΦ(x).  (1.1.40)

証明：期待値作用素の定義から, 次式が従う.

E[f(ξ)] = ∫_{0}^{+∞} P{f(ξ) ≥ r} ∫ dr − ∫_{−∞}^{0} P{f(ξ) ≤ r} ∫ dr.  (1.1.41)

もし,f が非負の単純可測関数, つまり,

f(x) = \{ \begin{matrix}a_{1}, & if x ∈ B_{1} \\ a_{2}, & if x ∈ B_{2} \\ ⋯ \\ a_{m}, & if x ∈ B_{m} \end{matrix}

ならば (B_{1}, B_{2}, ⋯, B_{m} は互いに素なボレル集合), 次式が成り立つ.

\begin{aligned}E[f(ξ)] & = ∫_{0}^{+∞} P\{f(ξ) ≥ r\} ∫ dr = ∑_{i=1}^{m} a_{i}P\{ξ ∈ B_{i}\} \\ & = ∑_{i=1}^{m} a_{i} ∫_{B_{i}} ∫ dΦ(x) = ∫_{−∞}^{+∞} f(x) ∫ dΦ(x). \end{aligned}

次に, f が非負の可測関数である場合を証明する. f_{1}, f_{2}, ⋯を f_{i} ↑ f(i → ∞) を満たす非負の単純関数列とする. 既に, 下式は証明済みであり

E[f_{i}(ξ)] = ∫_{0}^{+∞} P{f_{i}(ξ) ≥ r} ∫ dr = ∫_{−∞}^{+∞} f_{i}(x) ∫ dΦ(x).

定理 1.1.7 から, r ≥ 0 に対して, P{f_{i}(ξ) > r} ↑ P{f(ξ) > r}(i → ∞) がいえる. 単調収束定理から, 次式が従う.

E[f(ξ)] = ∫_{0}^{+∞} P{f(ξ) > r} ∫ dr

= lim_{i→∞} ∫_{0}^{+∞} P{f_{i}(ξ) > r} ∫ dr

= lim_{i→∞} ∫_{−∞}^{+∞} f_{i}(x) ∫ dΦ(x)

= ∫_{−∞}^{+∞} f(x) ∫ dΦ(x).

最後に, f が任意の可測関数の場合, f = f^{+} − f^{−} と, 次式が成り立つ.

E[f(ξ)] = E[f^{+} (ξ) − f^{−} (ξ)]
= E[f^{+} (ξ)] − E[f^{−} (ξ)]
= ∫_{−∞}^{+∞} f^{+} (x) ∫ dΦ(x) − ∫_{−∞}^{+∞} f^{−} (x) ∫ dΦ(x)
= ∫_{−∞}^{+∞} f(x) ∫ dΦ(x).

定理は証明された.

確率変数の変数の和

定理 1.1.24 {ξ_{i}} を iid な確率変数, η を数列 {ξ_{i}} と独立な正の確率整数 (つまり, ”正の整数値”をとる確率変数) と仮定する. このとき, 次式が成り立つ.

E [ ∑_{i=1}^{η} ξ_{i}] = E[η]E[ξ_{1}].  (1.1.42)

証明： η は, 数列 {ξ_{i}} とは独立なので

P { ∑_{i=1}^{η} ξ_{i} ≥ r} = ∑_{k=1}^{∞} P{η = k}P {ξ_{1} + ξ_{2} + ⋯+ ξ_{k} ≥ r} .

もし, ξ_{i} が非負の確率変数ならば

E [ ∑_{i=1}^{η} ξ_{i}] = ∫_{0}^{+∞} P { ∑_{i=1}^{η} ξ_{i} ≥ r} ∫ dr

= ∫_{0}^{+∞} ∑_{k=1}^{∞} P{η = k}P {ξ_{1} + ξ_{2} + ⋯+ ξ_{k} ≥ r} ∫ dr

= ∑_{k=1}^{∞} P{η = k} ∫_{0}^{+∞} P {ξ_{1} + ξ_{2} + ⋯+ ξ_{k} ≥ r} ∫ dr

= ∑_{k=1}^{∞} P{η = k} (E[ξ_{1}] + E[ξ_{2}] + ⋯+ E[ξ_{k}])

= ∑_{k=1}^{∞} P{η = k}kE[ξ_{1}] (iid であることから)

= E[η]E[ξ_{1}].

ξ_{i} が任意の確率変数ならば, ξ_{i} = ξ_{i}^{+} − ξ_{i}^{−} ,

E [ ∑_{i=1}^{η} ξ_{i}] = E [ ∑_{i=1}^{η} (ξ_{i}^{+} − ξ_{i}^{−} )] = E [ ∑_{i=1}^{η} ξ_{i}^{+} − ∑_{i=1}^{η} ξ_{i}^{−} ]

= E [ ∑_{i=1}^{η} ξ_{i}^{+} ] − E [ ∑_{i=1}^{η} ξ_{i}^{−} ] = E[η]E[ξ_{1}^{+} ] − E[η]E[ξ_{1}^{−} ]

= E[η](E[ξ_{1}^{+} ] − E[ξ_{1}^{−} ]) = E[η]E[ξ_{1}^{+} − ξ_{1}^{−} ] = E[η]E[ξ_{1}].

定理は証明された.

1.1.2 分散

定義 1.1.19 ξ を有限期待値 e をもつ確率変数とする. このとき, ξ の分散は, V [ξ] = E[(ξ − e)^{2}] で定義される.

確率変数の分散は期待値のまわりの分布の広がりの測度を与える. 小さな分散は, 確率変数が期待値周辺に集中していることを示し; 大きな分散の場合, 確率変数が期待値のまわりに広くちらばっていることを意味する.

例題 1.1.17 ξ を一様分布 U(a, b) に従う確率変数とする. このとき, 期待値は (a + b)/2, 分散は (b − a)^{2}/12.

例題 1.1.18 ξ を指数分布 EX P(β) に従う確率変数とする. このとき, 期待値は β, 分散は β^{2}.

例題 1.1.19 ξ を正規分布 N (μ, σ^{2}) に従う確率変数とする. このとき, 期待値は μ, 分散は σ^{2}.

定理 1.1.25 ξ を分散が存在する確率変数, a と b を実数とするとき, V [aξ + b] = a^{2}V [ξ].

証明：分散の定義から, 次式が従う.

V [aξ + b] = E [(aξ + b − aE[ξ] − b)^{2}] = a^{2}E[(ξ − E[ξ])^{2}] = a^{2}V [ξ].

定理 1.1.26 ξ を期待値 e をもつ確率変数とする. V [ξ] = 0 であるための必要十分条件は, P{ξ = e} = 1.

証明： V [ξ] = 0 ならば, E[(ξ − e)^{2}] = 0. ゆえに

∫_{0}^{+∞} P{(ξ − e)^{2} ≥ r} ∫ dr = 0.

上式は, P{(ξ − e)^{2} ≥ r} = 0 ∀r > 0 を意味する. ゆえに, P{(ξ − e)^{2} = 0} = 1, つまり, P{ξ = e} = 1 がいえる.

逆に, P{ξ = e} = 1 ならば, P{(ξ − e)^{2} = 0} = 1 と P{(ξ − e)^{2} ≥ r} = 0 ∀r > 0 が成り立つので,

V [ξ] = ∫_{0}^{+∞} P{(ξ − e)^{2} ≥ r} ∫ dr = 0.

定理 1.1.27 ξ_{1}, ξ_{2}, ⋯, ξ_{n} が有限な期待値をもつ独立な確率変数ならば,

V [ξ_{1} + ξ_{2} + ⋯+ ξ_{n}] = V [ξ_{1}] + V [ξ_{2}] + ⋯+ V [ξ_{n}].  (1.1.43)

証明：分散の定義から

\begin{aligned}V [ ∑_{i=1}^{n} ξ_{i}] & = E [(ξ_{1} + ξ_{2} + ⋯+ ξ_{n} − E[ξ_{1}] − E[ξ_{2}] − ⋯− E[ξ_{n}])^{2}] \\ & = ∑_{i=1}^{n} E [(ξ_{i} − E[ξ_{i}])^{2}] + 2 ∑_{i=1}^{n−1} ∑_{j=i+1}^{n} E [(ξ_{i} − E[ξ_{i}])(ξ_{j} − E[ξ_{j}])] . \end{aligned}

ξ_{1}, ξ_{2}, ⋯, ξ_{n} は独立なので, 全ての i, j(i ≠ j) に対して, E [(ξ_{i} − E[ξ_{i}])(ξ_{j} − E[ξ_{j}])] = 0. ゆえに, (1.1.43) は成り立つ.

最大分散定理

ξ を [a, b] に値をとる確率変数, 但し, 確率分布は任意とする. もし, 期待値が既知の場合の分散の最大値は? または, 分散が既知の場合の期待値の最小値と最大値は? 最大分散定理はこれらの問いに答える.

定理 1.1.28 (Edmundson-Madansky Inequality) f を [a, b] 上の凸関数, ξ を [a, b] に値をとる確率変数で, 期待値 e をもつとする. このとき

E[f(ξ)] ≤ \frac{b − e}{b − a} f(a) + \frac{e − a}{b − a} f(b).  (1.1.44)

証明：各 ω ∈ Ω に対して, a ≤ ξ(ω) ≤ b と次式をえる.

ξ(ω) = \frac{b − ξ(ω)}{b − a} a + \frac{ξ(ω) − a}{b − a} b.

f の凸性より, 次式をえる.

f(ξ(ω)) ≤ \frac{b − ξ(ω)}{b − a} f(a) + \frac{ξ(ω) − a}{b − a} f(b).

両辺の期待値をとると, (1.1.44) がえられる.

定理 1.1.29 (最大分散定理) ξ を [a, b] 内に値をとる確率変数で, 期待値 e をもつとする. 確率分布は任意とする. このとき,

V [ξ] ≤ (e − a)(b − e),  (1.1.45)

等号成立のための必要十分条件は, ξ が次式で定められるとき.

P\{ξ = x\} = \{ \begin{matrix}\frac{b − e}{b − a} , & if x = a \\ \frac{e − a}{b − a} , & if x = b. \end{matrix}  (1.1.46)

証明：定理 1.1.28 から, f(x) = (x − e)^{2} と定義すると直ちに従う. また, (1.1.46) により決まる確率変数が, 分散 (e − a)(b − e) をもつことも容易にわかる. 定理は証明された.

定理 1.1.30 ξ を [a, b] 内に値をとる確率変数で, 分散 v をもつとする. 確率分布は任意とするとき,

\frac{a + b − \sqrt{(b − a)^{2} + 4v}}{2} ≤ E[ξ] ≤ \frac{a + b + \sqrt{(b − a)^{2} + 4v}}{2} .  (1.1.47)

証明：定理 1.1.29 から, v ≤ (E[ξ] − a)(b − E[ξ]), ゆえに (1.1.47) は成り立つ .

モーメント

定義 1.1.20 ξ を確率変数, k を正数とするとき

(a) 期待値 E[ξ^{k}] は, k 次モーメントとよばれる;

(b) 期待値 E[|ξ|^{k}] は, k 次絶対モーメントとよばれる;

(c) 期待値 E[(ξ − E[ξ])^{k}] は, k 次中心モーメントとよばれる;

(d) 期待値 E[|ξ − E[ξ]|^{k}] は, k 次絶対中心モーメントとよばれる.

期待値は 1 次モーメント, ξ の 1 次中心モーメントは 0, 2 次中心モーメントは分散である.

定理 1.1.31 ξ を確率変数, t を正数とする. E[|ξ|^{t}] < ∞ ならば,

lim_{x→∞} x^{t}P{|ξ| ≥ x} = 0.  (1.1.48)

逆に, ξ をある t > 0 に対して, (1.1.48) を満たす確率変数とする. このとき, 任意の 0 ≤ s < t に対して, E[|ξ|^{s}] < ∞.

証明：期待値の定義から, 下式が従う.

E[|ξ|^{t}] = ∫_{0}^{∞} P{|ξ|^{t} ≥ r} ∫ dr < ∞.

よって,

lim_{x→∞} ∫_{x^{t}/2}^{∞} P{|ξ|^{t} ≥ r} ∫ dr = 0.

(1.1.48) は, 次の関係式から証明される.

∫_{x^{t}/2}^{∞} P\{|ξ|^{t} ≥ r\} ∫ dr ≥ ∫_{x^{t}/2}^{x^{t}} P\{|ξ|^{t} ≥ r\} ∫ dr ≥ \frac{1}{2}x^{t}P\{|ξ| ≥ x\}.

逆に, (1.1.48) が成り立つならば,

x^{t}P{|ξ| ≥ x} ≤ 1, ∀x ≥ a.

を満たす数 a が存在する. よって,

E[|ξ|^{s}] = ∫_{0}^{a} P {|ξ|^{s} ≥ r} ∫ dr + ∫_{a}^{+∞} P {|ξ|^{s} ≥ r} ∫ dr
≤ ∫_{0}^{a} P {|ξ|^{s} ≥ r} ∫ dr + ∫_{0}^{+∞} sr^{s−1} P {|ξ| ≥ r} ∫ dr
≤ ∫_{0}^{a} P {|ξ|^{s} ≥ r} ∫ dr + s ∫_{0}^{+∞} r^{s−t−1} ∫ dr
< +∞. ( by ∫_{0}^{∞} r^{p} ∫ dr < ∞ for any p < −1)

定理は証明された.

例題 1.1.20 (1.1.48) の条件は, E[|ξ|^{t}] < ∞ を意味しない. ここで, 以下の正の確率変数を考える.

ξ = \sqrt[t]{\frac{2^{i}}{i}} with probability\frac{1}{2^{i}}, i = 1, 2, ⋯

下式は明らか.

lim_{x→∞} x^{t}P\{ξ ≥ x\} = lim_{n→∞} ( \sqrt[t]{\frac{2^{n}}{n}}) ^{t} ∑_{i=n}^{∞} \frac{1}{2^{i}} = lim_{n→∞} \frac{2}{n} = 0.

しかし, ξ^{t} の期待値は

E[ξ^{t}] = ∑_{i=1}^{∞} ( \sqrt[t]{\frac{2^{i}}{i}}) ^{t} · \frac{1}{2^{i}} = ∑_{i=1}^{∞} \frac{1}{i} = ∞.

定理 1.1.32 ξ を [a, b] に値をとり, 期待値 e をもつ確率変数とする. このとき, 任意の正整数 k に対して, k 次絶対モーメントと k 次絶対中心モーメントは, 次の不等式を満たす.

E[|ξ|^{k}] ≤ \frac{b − e}{b − a} |a|^{k} + \frac{e − a}{b − a} |b|^{k},  (1.1.49)
E[|ξ − e|^{k}] ≤ \frac{b − e}{b − a} (e − a)^{k} + \frac{e − a}{b − a} (b − e)^{k}.  (1.1.50)

証明：定理 1.1.28 から, f(x) = |x|^{k}, f(x) = |x − e|^{k} と定義すると直ちにわかる.

クリティカル値

ξ を確率変数とするとき, 一つの測度として期待値を用いることができる. さらに, 順位測度として, α-楽観値, α-悲観値を利用することもできる.

定義 1.1.21 ξ を確率変数, α ∈ (0, 1] とするとき

ξ_{sup}(α) = sup {r | P {ξ ≥ r} ≥ α}  (1.1.51)

は, ξ の α-楽観値とよばれ,

ξ_{inf}(α) = inf {r | P {ξ ≤ r} ≥ α}  (1.1.52)

は, ξ の α-悲観値とよばれる.

これは, 確率変数 ξ が少なくとも確率 α で α-楽観値 ξ_{sup}(α) 以上に存在し, 少なくとも確率 α で, α-悲観値 ξ_{inf}(α) 以下に存在することを意味している. 楽観値は, パーセンチル値ともよばれる.

定理 1.1.33 ξ を確率変数とするとき

P{ξ ≥ ξ_{sup}(α)} ≥ α, P{ξ ≤ ξ_{inf}(α)} ≥ α  (1.1.53)

但し, ξ_{sup}(α) と ξ_{inf}(α) は, それぞれ ξ の α-楽観値と α-悲観値.

証明：楽観値の定義から, P{ξ ≥ r_{i}} ≥ α と r_{i} ↑ ξ_{sup}(α)(i → ∞) を満たす増加数列 {r_{i}} が存在する. {ω|ξ(ω) ≥ r_{i}} ↓ {ω|ξ(ω) ≥ ξ_{sup}(α)} なので, 確率連続定理から次式が従う.

P{ξ ≥ ξ_{sup}(α)} = lim_{i→∞} P{ξ ≥ r_{i}} ≥ α.

不等式 P{ξ ≤ ξ_{inf}(α)} ≥ α も同様に証明される.

例題 1.1.21 P{ξ ≥ ξ_{sup}(α)} > α かつ P{ξ ≤ ξ_{inf}(α)} > α が成り立つ場合がある. 例えば,

ξ = \{ \begin{matrix}0 with probability 0.4 \\ 1 with probability 0.6 . \end{matrix}

α = 0.8 ならば, ξ_{sup}(0.8) = 0 よって, P{ξ ≥ ξ_{sup}(0.8)} = 1 > 0.8. さらに, ξ_{inf}(0.8) = 1, P{ξ ≤ ξ_{inf}(0.8)} = 1 > 0.8.

定理 1.1.34 ξ を確率変数とするとき,

(a) ξ_{inf}(α) は α の増加, 左連続関数;

(b) ξ_{sup}(α) は α の減少, 左連続関数.

証明： (a) ξ_{inf}(α) が, α の増加関数であることは, 簡単に証明できる. 次に, ξ_{inf}(α) の α に対する左連続性を証明する. {α_{i}} を, α_{i} ↑ α を満たす任意の正数列とする. このとき, {ξ_{inf}(α_{i})} は増加数列となる. もし, 極限が ξ_{inf}(α) に等しいならば, 左連続性は証明される. さもなければ, 次式を満たす数 z^{∗} が存在する.

lim_{i→∞} ξ_{inf}(α_{i}) < z^{∗} < ξ_{inf}(α).

すると, 各 i に対して, P{ξ ≤ z^{∗}} ≥ α_{i} が成り立つ. i → ∞ とすると, P{ξ ≤ z^{∗}} ≥ α. ゆえに, z^{∗} ≥ ξ_{inf}(α). 背理法により, ξ_{inf}(α) の α に対する左連続性は証明される. (b) も同様に証明される.

定理 1.1.35 ξ を確率変数とするとき,

(a) α > 0.5 ならば, ξ_{inf}(α) ≥ ξ_{sup}(α);

(b) α ≤ 0.5 ならば, ξ_{inf}(α) ≤ ξ_{sup}(α).

証明： (a): \overline{ξ}(α) = (ξ_{inf}(α) + ξ_{sup}(α))/2 とする. ξ_{inf}(α) < ξ_{sup}(α) ならば,

1 ≥ P\{ξ < \overline{ξ}(α)\} + P\{ξ > \overline{ξ}(α)\} ≥ α + α > 1.

背理法により, ξ_{inf}(α) ≥ ξ_{sup}(α) がいえる. (b): ξ_{inf}(α) > ξ_{sup}(α) を仮定する. ξ_{inf}(α) の定義から, P\{ξ ≤ \overline{ξ}(α)\} < α が従う. 同様に, ξ_{sup}(α) の定義から, P\{ξ ≥ \overline{ξ}(α)\} < α. ゆえに,

1 ≤ P\{ξ ≤ \overline{ξ}(α)\} + P\{ξ ≥ \overline{ξ}(α)\} < α + α ≤ 1.

背理法から, ξ_{inf}(α) ≤ ξ_{sup}(α). 定理は証明された.

定理 1.1.36 ξ を確率変数とするとき,

(a) c ≥ 0 ならば, (cξ)_{sup}(α) = cξ_{sup}(α) かつ (cξ)_{inf}(α) = cξ_{inf}(α);

(b) c < 0 ならば, (cξ)_{sup}(α) = cξ_{inf}(α) かつ (cξ)_{inf}(α) = cξ_{sup}(α).

証明： (a) c = 0 のときは明らか. c > 0 ならば,

(cξ)_{sup}(α) = sup {r | P{cξ ≥ r} ≥ α}
= c sup {r/c | P {ξ ≥ r/c} ≥ α}
= cξ_{sup}(α).

同様に, (cξ)_{inf}(α) = cξ_{inf}(α) も証明できる.

(b) 証明は, (−ξ)_{sup}(α) = −ξ_{inf}(α) と (−ξ)_{inf}(α) = −ξ_{sup}(α) を確かめれば十分である. 実際, 任意の α ∈ (0, 1] に対して,

(−ξ)_{sup}(α) = sup{r | P{−ξ ≥ r} ≥ α}
= − inf{−r | P{ξ ≤ −r} ≥ α}
= −ξ_{inf}(α).

同様にして, (−ξ)_{inf}(α) = −ξ_{sup}(α) を証明できる. 定理は証明された.

1.1.3 エントロピー

確率変数が与えられたとき, 確率変数がとる値を予測する際, その困難さの度合いをどのように定量化するか？この問いに答えるために, Shannon [?] は, 不確実性の測度としてエントロピーの概念を定義した.

離散確率変数のエントロピー

定義 1.1.22 ξ をそれぞれ, 確率 p_{i}, i = 1, 2, ⋯で, 値 x_{i} をとる離散型確率変数とする. このとき, エントロピーは次式で定義される.

H[ξ] = − ∑_{i=1}^{∞} p_{i} ln p_{i}.  (1.1.54)

エントロピーは, 値の数と確率のみに依存し, 実際の確率変数の値には依存しないことに注意しておかなければならない.

定理 1.1.37 ξ をそれぞれ, 確率 p_{i}, i = 1, 2, ⋯で, 値 x_{i} をとる離散型確率変数とするとき

H[ξ] ≥ 0  (1.1.55)

また, 等号成立のための必要十分条件は, p_{k} = 1 を満たす添え字 k が存在すること. つまり, ξ が定数であること.

証明：非負性は明らか. さらに, H[ξ] = 0 であるための必要十分条件は, 各 i に対して p_{i} = 0 または 1. つまり, p_{k} = 1 を満たす添え字 k が唯一つ存在する. 定理は証明された.

この定理は, 離散型確率変数が定数に退化するとき, 確率変数のエントロピーは最小値 0 になる. この場合不確実性はない.

定理 1.1.38 ξ をそれぞれ確率 p_{i}, i = 1, 2, ⋯, n で, 値 x_{i} をとる単純確率変数とする. このとき

H[ξ] ≤ ln n  (1.1.56)

等号成立のための必要十分条件は, 全ての i = 1, 2, ⋯, n に対して, p_{i} ≡ 1/n が成り立つこと.

証明：関数 −t ln t は t の凹関数で, p_{1} + p_{2} + ⋯+ p_{n} = 1 なので

− ∑_{i=1}^{n} p_{i} ln p_{i} ≤ −n ( \frac{1}{n} ∑_{i=1}^{n} p_{i}) ln ( \frac{1}{n} ∑_{i=1}^{n} p_{i}) = ln n

上式から, H[ξ] ≤ ln n であることがわかり, 等号成立のための必要十分条件は, p_{1} = p_{2} = ⋯= p_{n}, つまり, 全ての i = 1, 2, ⋯, n に対して p_{i} ≡ 1/n

この定理は, 単純確率変数が等確率のとき, 最大値 ln n をとることを主張している. この場合, 確率変数がとる全ての値の間に優先順位は存在しない.

絶対連続な確率変数のエントロピー

定義 1.1.23 ξ を確率密度関数 ϕ をもつ確率変数とするとき, エントロピーは次式で定義される.

H[ξ] = − ∫_{−∞}^{+∞} ϕ(x) ln ϕ(x) ∫ dx.  (1.1.57)

例題 1.1.22 ξ を一様分布に従う [a, b] 上の確率変数とする. このとき, エントロピーは H[ξ] = ln(b − a). この例題は, 絶対連続な確率変数のエントロピーは, 正の値も負の値もとり得ることを示している. なぜならば, ln(b − a) < 0(b − a < 1); ln(b − a) > 0(b − a > 1).

例題 1.1.23 ξ を指数分布に従う期待値 β をもつ確率変数とするとき, エントロピーは H[ξ] = 1 + ln β.

例題 1.1.24 ξ を期待値 e と分散 σ^{2} をもつ正規分布に従う確率変数とするとき, エントロピーは H[ξ] = 1/2 + ln \sqrt{2π} σ.

定理 1.1.39 ξ を絶対連続な確率変数とするとき, 任意の実数 a, b に対して, H[aξ + b] = |a|H[ξ].

証明：定義から直ちに従う.

最大エントロピー理念

ある制限, 例えば, 期待値, 分散が与えられたとき, 一般に, それらの制限を満足する複数の確率分布が存在する. この場合, 制限を満たすエントロピーを最大にする確率分布を選択したいことがある. この方法は, しばしば, 最大エントロピー理念とよばれる (Jaynes [?]).

例題 1.1.25 ξ を [a, b] 上の絶対連続な確率変数とする. 最大エントロピー理念により, 次式のエントロピーを最大にする確率密度関数 ϕ(x) を見つけることを試みる.

− ∫_{a}^{b}ϕ(x) ln ϕ(x) ∫ dx

但し, ∫_{a}^{b}ϕ(x) ∫ dx = 1. ラグラジュアンは

L = − ∫_{a}^{b}ϕ(x) ln ϕ(x) ∫ dx − λ ( ∫_{a}^{b}ϕ(x) ∫ dx − 1) .

したがってオイラー・ラグランジュ方程式は次の形に帰着される。^{1}

ln ϕ(x) + 1 + λ = 0

この式から ϕ(x) = exp(−1 − λ) となるから代入すれば

ϕ^{∗}(x) = \frac{1}{b − a} , a ≤ x ≤ b

上式は, 一様分布の確率変数であり, 最大エントロピーは, H[ξ^{∗}] = ln(b − a).

例題 1.1.26 ξ を [0, ∞) 上の絶対連続な確率変数とする. ξ の期待値は, 予め β と与えられていると仮定する. 最大エントロピー確率密度関数 ϕ(x) は次式のエントロピーを最大にする.

− ∫_{0}^{+∞} ϕ(x) ln ϕ(x) ∫ dx.

但し, 次式を満足するものとする.

∫_{0}^{+∞} ϕ(x) ∫ dx = 1, ∫_{0}^{+∞} xϕ(x) ∫ dx = β.

\frac{∂F}{∂ϕ(x)} − \frac{d}{dx} ( \frac{∂F}{∂ϕ′(x)} ) = 0

1L = ∫_{a}^{b}F(x, ϕ(x), ϕ′(x))dx とおく, 但し, F は既知の連続な 1, 2 次導関数をもつ関数. L が極値 (極大値または極小値) を ϕ(x) でもつならば, 上式は, オイラーラグランジュ方程式とよばれる. もし, ϕ′(x) が無ければ, ∂F/∂ϕ(x) = 0. オイラーラグランジュ方程式は, 極値の存在の必要条件であり, 十分条件ではないことに注意する. しかし, 極値の存在が明らかで, オイラーラグランジュ方程式の解が唯一つならば, この解は極値の条件を満たしていなければならない.

ラグラジュアンは

L = − ∫_{0}^{∞} ϕ(x) ln ϕ(x) ∫ dx − λ_{1} ( ∫_{0}^{∞} ϕ(x) ∫ dx − 1) − λ_{2} ( ∫_{0}^{∞} xϕ(x) ∫ dx − β) .

最大エントロピー確率密度関数は, 以下のオイラーラグランジュ方程式を満たす.

ln ϕ(x) + 1 + λ_{1} + λ_{2}x = 0

また, ϕ(x) = exp(−1 − λ_{1} − λ_{2}x) を制約式に代入すると,

ϕ^{∗}(x) = \frac{1}{β} exp ( −\frac{x}{β}) , x ≥ 0

上式は, 指数分布の確率変数で, 最大エントロピーは H[ξ^{∗}] = 1 + ln β.

例題 1.1.27 ξ を (−∞, +∞) 上の絶対連続な確率変数とする. ξ の期待値と分散をそれぞれ, μ, σ^{2} と予め決めておく. 最大エントロピー確率密度関数 ϕ(x) は, 次式のエントロピーを最大にする.

− ∫_{−∞}^{+∞} ϕ(x) ln ϕ(x) ∫ dx

但し, 次式を満たす.

∫_{−∞}^{+∞} ϕ(x) ∫ dx = 1, ∫_{−∞}^{+∞} xϕ(x) ∫ dx = μ, ∫_{−∞}^{+∞} (x − μ)^{2}ϕ(x) ∫ dx = σ^{2}.

ラグラジュアンは

\begin{aligned}L = & − ∫_{−∞}^{+∞} ϕ(x) ln ϕ(x) ∫ dx − λ_{1} ( ∫_{−∞}^{+∞} ϕ(x) ∫ dx − 1) \\ & −λ_{2} ( ∫_{−∞}^{+∞} xϕ(x) ∫ dx − μ) − λ_{3} ( ∫_{−∞}^{+∞} (x − μ)^{2}ϕ(x) ∫ dx − σ^{2}) . \end{aligned}

最大エントロピー確率密度関数は, 以下のオイラーラグランジュ方程式を満たす.

ln ϕ(x) + 1 + λ_{1} + λ_{2}x + λ_{3}(x − μ)^{2} = 0

また, ϕ(x) = exp(−1 − λ_{1} − λ_{2}x − λ_{3}(x − μ)^{2}) を制約式に代入すると,

ϕ^{∗}(x) = \frac{1}{σ\sqrt{2π}} exp ( −\frac{(x − μ)^{2}}{2σ^{2}} ) , x ∈ R

上式は, 正規分布の確率変数になり, 最大エントロピーは, H[ξ^{∗}] = 1/2 + ln \sqrt{2π} σ.

距離

距離の概念は, 科学, 工学の分野において非常に重要である. この節では, 確率変数間の距離を紹介する.

定義 1.1.24 確率変数 ξ と η の距離は次式で定義される.

d(ξ, η) = E[|ξ − η|].  (1.1.58)

定理 1.1.40 ξ, η, τ を確率変数, d(·, ·) を距離とする. このとき

(a) (非負性) d(ξ, η) ≥ 0;

(b) (同一性) d(ξ, η) = 0 であるための必要十分条件は ξ = η;

(c) (対称性) d(ξ, η) = d(η, ξ);

(d) (三角不等式) d(ξ, η) ≤ d(ξ, τ) + d(η, τ).

証明： (a), (b), (c) は定義から直ちに従う. (d) は, 次の関係式から証明される.

E[|ξ − η|] ≤ E[|ξ − τ| + |η − τ|] = E[|ξ − τ|] + E[|η − τ|].

順位基準

ξ と η を二つの確率変数とする. 実数の世界とは異なり, 確率の世界には自然な形での順序は存在しない. よって, 確率変数にどのように順序を与えるかという重要な問題が起こる. ここでは四つの順位基準を与える.

期待値基準: ξ > η であるとは, E[ξ] > E[η]. 但し, E は確率変数の期待値作用素.

楽観値基準: ξ > η であるとは, あらかじめ決められた信頼レヴェル α ∈ (0, 1] に対して, ξ_{sup}(α) > η_{sup}(α). 但し, ξ_{sup}(α) と η_{sup}(α) は, それぞれ ξ と η の α-楽観値.

悲観値基準: ξ > η であるとは, あらかじめ決められた信頼レヴェル α ∈ (0, 1] に対して, ξ_{inf}(α) > η_{inf}(α). 但し, ξ_{inf}(α) と η_{inf}(α) は, それぞれ ξ と η の α-悲観値.

確率基準: ξ > η であるとは, あらかじめ決められたレヴェル\overline{r} に対して, P \{ξ ≥ \overline{r}\} > P \{η ≥ \overline{r}\} .

ここで, 確率変数の順序には, ”黄金の法則” は存在しないことを言及しておく. 異なる基準は, 異なる順序を作り出す.

例題 1.1.28 ξ と η を, それぞれ [0, 6] と [1, 3] 上の二つの一様分布に従う確率変数とする. 期待値基準の場合, ξ > η, なぜならば E[ξ] = 3 > 2 = E[η]. 楽観値基準の場合で α = 0.9 とした場合, ξ < η, なぜならば ξ_{sup}(0.9) = 0.6 < 1.2 = η_{sup}(0.9). この事実は, 期待値基準と楽観値基準が異なることを意味している.

例題 1.1.29 ξ と η を, それぞれ [0, 6] と [3, 5] 上の二つの一様分布に従う確率変数とする. 期待値基準の場合, ξ < η. なぜならば E[ξ] = 3 < 4 = E[η]. 悲観値基準の場合, α = 0.9 とした場合, ξ > η. なぜならば ξ_{inf}(0.9) = 5.4 > 4.8 = η_{inf}(0.9). この事実は, 期待値基準と悲観値基準が異なることを意味している.

例題 1.1.30 ξ と η をそれぞれ, [0, 6] と [1, 3] 上の二つの一様分布に従う確率変数とする. 楽観値基準の場合, α = 0.9 とした場合, ξ < η. なぜならば ξ_{sup}(0.9) = 0.6 < 1.2 = η_{sup}(0.9). 悲観値基準の場合, α = 0.9 とした場合, ξ > η. なぜならば ξ_{inf}(0.9) = 5.4 > 2.8 = η_{inf}(0.9). この事実は, 楽観値基準と悲観値基準が異なることを意味している.

例題 1.1.31 ξ と η をそれぞれ, [0, 6] と [1, 3] 上の二つの一様分布に従う確率変数とする. 楽観値基準の場合, α = 0.7 とした場合, ξ > η. なぜならば ξ_{sup}(0.7) = 1.8 > 1.6 = η_{sup}(0.7). 確率基準の場合, r = 1 とした場合, ξ < η. なぜならば P{ξ ≥ 1} = 5/6 < 1 = P{η ≥ 1}. この事実は, 楽観値基準と確率基準が異なることを意味している.

例題 1.1.32 ξ = (0, 3, 6) と η = (1, 2, 3) をそれぞれ, [0, 6] と [3, 5] 上の二つの一様分布に従う確率変数とする. 悲観値基準の場合, α = 0.7 とした場合, ξ > η. なぜならば ξ_{sup}(0.7) = 4.2 > 2.4 = η_{sup}(0.7). 確率基準の場合, r = 1 とした場合, ξ < η. なぜならば P{ξ ≥ 1} = 5/6 < 1 = P{η ≥ 1}. この事実は, 悲観値基準と確率基準が異なることを意味している.

不等式

よく知られているように, 確率論には, マルコフの不等式, チェビシェフの不等式, ヘルダーの不等式, ミンコフスキーの不等式, ジャンセンの不等式など様々な不等式が存在する. これらは, 理論的にも応用的にも重要な役割を演ずる.

定理 1.1.41 ξ を確率変数, f を非負の可測関数とする. f が偶関数 (f(x) = f(−x) ∀x ∈ R), [0, ∞) 上で増加関数ならば, 任意の数 t > 0 に対して, 次式が成り立つ.

P\{|ξ| ≥ t\} ≤ \frac{E[f(ξ)]}{f(t)}.  (1.1.59)

証明： P{|ξ| ≥ f^{−1} (r)} が, [0, ∞) 上で r の単調減少関数になることは明らか. f(ξ) の非負性から

E[f(ξ)] = ∫_{0}^{+∞} P{f(ξ) ≥ r} ∫ dr
= ∫_{0}^{+∞} P{|ξ| ≥ f^{−1} (r)} ∫ dr
≥ ∫_{0}^{f(t)} P{|ξ| ≥ f^{−1} (r)} ∫ dr
≥ ∫_{0}^{f(t)} ∫ dr · P{|ξ| ≥ f^{−1} (f(t))}
= f(t) · P{|ξ| ≥ t}

よって, 求めるべき不等式は証明された.

定理 1.1.42 (マルコフの不等式) ξ を確率変数とする. 任意の与えられた数 t > 0 と p > 0 に対して,

P\{|ξ| ≥ t\} ≤ \frac{E[|ξ|^{p}]}{t^{p}}.  (1.1.60)

証明：定理 1.1.41 の f(x) = |x|^{p} とすればよい.

定理 1.1.43 (チェビシェフの不等式) ξ を分散 V [ξ] をもつ確率変数とする. このとき, 任意の与えられた数 t > 0 に対して,

P \{|ξ − E[ξ]| ≥ t\} ≤ \frac{V [ξ]}{t^{2}}.  (1.1.61)

証明：定理 1.1.41 において確率変数 ξ を ξ − E[ξ], f(x) = x^{2} とすればよい.

定理 1.1.44 (ヘルダーの不等式) p, q を 1/p + 1/q = 1 を満たす 2 つの正の実数, ξ, η を E[|ξ|^{p}] < ∞, E[|η|^{q}] < ∞ を満たす確率変数とする. このとき, 次式が成り立つ.

E[|ξη|] ≤ \sqrt[p]{E[|ξ|^{p}]}\sqrt[q]{E[|η|^{q}]}.  (1.1.62)

証明：もし, ξ と η の少なくとも 1 つがほとんど確実に 0 ならば, 不等式は明らかに成り立つ. そこで, E[|ξ|^{p}] > 0, E[|η|^{q}] > 0 を仮定する. 関数 f(x, y) = \sqrt[p]{x}\sqrt[q]{y} が, D = \{(x, y) : x ≥ 0, y ≥ 0\} 上で凹関数になることは容易にわかる. ゆえに, 任意の点 (x_{0}, y_{0})(x_{0} > 0, y_{0} > 0) に対して, 次式を満たす 2 つの実数 a, b が存在する.

f(x, y) − f(x_{0}, y_{0}) ≤ a(x − x_{0}) + b(y − y_{0}), ∀(x, y) ∈ D.

x_{0} = E[|ξ|^{p}], y_{0} = E[|η|^{q}], x = |ξ|^{p}, y = |η|^{q} とすると, 次式をえる.

f(|ξ|^{p}, |η|^{p}) − f(E[|ξ|^{p}], E[|η|^{p}]) ≤ a(|ξ|^{p} − E[|ξ|^{p}]) + b(|η|^{p} − E[|η|^{p}]).

両辺の期待値をとると,

E[f(|ξ|^{p}, |η|^{q})] ≤ f(E[|ξ|^{p}], E[|η|^{q}]).

ゆえに, 不等式 (1.1.62) は成り立つ.

定理 1.1.45 (ミンコフスキーの不等式) p を p ≥ 1 を満たす実数, ξ と η を E[|ξ|^{p}] < ∞, E[|η|^{p}] < ∞ を満たす確率変数とする. このとき,

\sqrt[p]{E[|ξ + η|^{p}]} ≤ \sqrt[p]{E[|ξ|^{p}]}+ \sqrt[p]{E[|η|^{p}]}.  (1.1.63)

証明：もし, ξ と η の少なくとも 1 つがほとんど確実に 0 ならば, 不等式は明らかに成り立つ. そこで, E[|ξ|^{p}] > 0, E[|η|^{p}] > 0 を仮定する. 関数 f(x, y) = (\sqrt[p]{x} + \sqrt[p]{y})^{p} が, D = \{(x, y) : x ≥ 0, y ≥ 0\} 上で凹関数になることは容易にわかる. ゆえに, 任意の点 (x_{0}, y_{0})(x_{0} > 0, y_{0} > 0) に対して, 次式を満たす 2 つの実数 a, b が存在する.

f(x, y) − f(x_{0}, y_{0}) ≤ a(x − x_{0}) + b(y − y_{0}), ∀(x, y) ∈ D.

x_{0} = E[|ξ|^{p}], y_{0} = E[|η|^{p}], x = |ξ|^{p}, y = |η|^{p} とすると, 次式をえる.

f(|ξ|^{p}, |η|^{p}) − f(E[|ξ|^{p}], E[|η|^{p}]) ≤ a(|ξ|^{p} − E[|ξ|^{p}]) + b(|η|^{p} − E[|η|^{p}]).

両辺の期待値をとると

E[f(|ξ|^{p}, |η|^{p})] ≤ f(E[|ξ|^{p}], E[|η|^{p}]).

ゆえに, 不等式 (1.1.63) は成り立つ.

定理 1.1.46 (ジャンセンの不等式) ξ を確率変数, f : R → R を凸関数とする. もし, E[ξ] と E[f(ξ)] が有限ならば

f(E[ξ]) ≤ E[f(ξ)].  (1.1.64)

特に, f(x) = |x|^{p}, p ≥ 1 のとき, |E[ξ]|^{p} ≤ E[|ξ|^{p}] がいえる.

証明： f は凸関数なので各 y に対して, f(x) − f(y) ≥ k · (x − y) を満たす数 k が存在する. x に ξ を, y に E[ξ] を代入すると,

f(ξ) − f(E[ξ]) ≥ k · (ξ − E[ξ]).

両辺の期待値をとると次式をえる.

E[f(ξ)] − f(E[ξ]) ≥ k · (E[ξ] − E[ξ]) = 0

上式から, 求めるべき不等式がえられる.

特性関数

特性関数は重要な概念であり, 確率論において大切な役割を果たす. この節では, 特性関数, 反転公式, 一致定理, 連続定理を紹介する.

定義 1.1.25 ξ を確率分布 Φ をもつ確率変数とする. このとき, 関数

φ(t) = ∫_{−∞}^{+∞} e^{itx} ∫ dΦ(x), t ∈ R  (1.1.65)

は ξ の特性関数とよばれる. 但し, e^{itx} = cos tx + i sin tx, i = \sqrt{−1} .

特性関数 φ は, 確率分布 Φ のフーリエ変換であることは明らかである.

例題 1.1.33 ξ を, 次の確率分布をもつ確率変数とする.

Φ(x) = \{ \begin{matrix}0, & if x < 0 \\ 1, & if x ≥ 0. \end{matrix}

確率変数は, 恒等的に “0” である. 特性関数は

φ(t) ≡ 1, ∀t ∈ R.

例題 1.1.34 ξ を [a, b] 上の一様分布に従う確率変数とするとき, 特性関数は

φ(t) = \frac{e^{itb}− e^{ita}}{(b − a)t} , t ≠ 0.

例題 1.1.35 ξ を指数分布 EX P(β) に従う確率変数とするとき, 特性関数は

φ(t) = \frac{1 + itβ}{1 + t^{2}β^{2}} , ∀t ∈ R.

例題 1.1.36 ξ を正規分布 N (μ, σ^{2}) に従う確率変数とするとき, 特性関数は

φ(t) = exp ( itμ − \frac{σ^{2}t^{2}}{2}) , ∀t ∈ R.

定理 1.1.47 ξ を確率変数, φ をその特性関数とするとき,

(a) φ(0) = 1;

(b) |φ(t)| ≤ φ(0);

(c) φ(−t) = \overline{φ}(t)(φ(t) の共役複素数 );

(d) φ(t) は, R 上で一様連続関数.

証明： (a) は明らか. (b), (c) は次のように証明される.

|φ(t)| ≤ ∫_{−∞}^{+∞} |e^{itx}| ∫ dΦ(x) = ∫_{−∞}^{+∞} ∫ dΦ(x) = 1 = φ(0),

\overline{φ}(t) = ∫_{−∞}^{+∞} cos tx ∫ dΦ(x) − i ∫_{−∞}^{+∞} sin tx ∫ dΦ(x)

= ∫_{−∞}^{+∞} cos(−t)x ∫ dΦ(x) + i ∫_{−∞}^{+∞} sin(−t)x ∫ dΦ(x) = φ(−t).

(d) 次に, φ が一様連続であることを示す. 次の関係式から

e^{i(t+h)x} − e^{itx} = 2ie^{i(t+h/2)x} sin \frac{hx}{2},

次式をえる.

|φ(t + h) − φ(t)| ≤ ∫_{−∞}^{+∞} |2ie^{i(t+h/2)x} sin \frac{hx}{2}| ∫ dΦ(x) ≤ 2 ∫_{−∞}^{∞} |sin \frac{hx}{2}| ∫ dΦ(x)

最後の式は, t と独立である. Since sin(hx)/2 → 0(h → 0) であるから, ルベーグの優収束定理より,

∫_{−∞}^{+∞} |sin \frac{hx}{2}| ∫ dΦ(x) → 0 (h → 0) a.s.

ゆえに, φ は R 上で一様連続.

定理 1.1.48 ξ_{1}, ξ_{2}, ⋯, ξ_{n} を独立な確率変数, ξ = ξ_{1} + ξ_{2} + ⋯+ ξ_{n} とする. このとき, ξ の特性関数は, ξ_{1}, ξ_{2}, ⋯, ξ_{n} の特性関数の直積になる.

証明： n = 2 の場合のみ証明する. Φ_{1}, Φ_{2} を確率分布, φ_{1}, φ_{2} をそれぞれ, ξ_{1}, ξ_{2} の特性関数とする. このとき, ξ = ξ_{1} + ξ_{2} の確率分布は

Φ(x) = ∫_{−∞}^{+∞} Φ_{1}(x − y) ∫ dΦ_{2}(y), x ∈ R.

ゆえに, ξ = ξ_{1} + ξ_{2} の特性関数は

φ(t) = ∫_{−∞}^{+∞} e^{itx} ∫ dΦ(x) = ∫_{−∞}^{+∞} ( ∫_{−∞}^{+∞} e^{itx} ∫ dΦ_{1}(x)) e^{ity} ∫ dΦ_{2}(y) = φ_{1}(t)φ_{2}(t).

定理は証明された.

定理 1.1.49 (反転公式) ξ を確率分布 Φ と特性関数 φ をもつ確率変数とする. このとき, Φ の任意の連続な点 a, b(a < b) に対して, 次式が成り立つ.

Φ(b) − Φ(a) = lim_{T→+∞} \frac{1}{2π} ∫_{−T}^{T} \frac{e^{−iat} − e^{−ibt}}{it} φ(t) ∫ dt  (1.1.66)

証明：\frac{e^{−iat} − e^{−ibt}}{it} = ∫_{a}^{b}e^{iut} ∫ du なので,

f(T) = \frac{1}{2π} ∫_{−T}^{T} \frac{e^{−iat} − e^{−ibt}}{it} φ(t) ∫ dt = \frac{1}{2π} ∫_{−T}^{T} φ(t) ∫ dt ∫_{a}^{b}e^{−iut} ∫ du

= \frac{1}{2π} ∫_{a}^{b}∫ du ∫_{−T}^{T} e^{−iut} φ(t) ∫ dt = \frac{1}{2π} ∫_{−∞}^{+∞} ∫ dΦ(x) ∫_{a}^{b}∫ du ∫_{−T}^{T} e^{i(x−u)t} ∫ dt

= ∫_{−∞}^{+∞} g(T, x) ∫ dΦ(x)

但し,

g(T, x) = \frac{1}{π} ∫_{T(x−b)}^{T(x−a)} \frac{sin v}{v} ∫ dv.

古典的なディクリレの公式より

\frac{1}{π} ∫_{α}^{β} \frac{sin v}{v} ∫ dv → 1 as α → −∞, β → +∞

上式は, g(T, x) が一様有界であることを示している. さらに,

lim_{T→+∞} g(T, x) = \frac{1}{π} lim_{T→+∞} ∫_{T(x−b)}^{T(x−a)} \frac{sin v}{v} ∫ dv = \{ \begin{matrix}1, & if a < x < b \\ 0.5, & if x = a or b \\ 0, & otherwise. \end{matrix}

ルベーグの優収束定理より,

lim_{T→+∞} f(T) = ∫_{−∞}^{+∞} lim_{T→+∞} g(T, x) ∫ dΦ(x) = Φ(b) − Φ(a).

定理は証明された.

定理 1.1.50 (一致定理) Φ_{1} と Φ_{2} をそれぞれ, 特性関数 φ_{1} と φ_{2} をもつ確率分布とする. このとき, φ_{1} = φ_{2} が成り立つための必要十分条件は Φ_{1} = Φ_{2}.

証明： Φ_{1} = Φ_{2} ならば, 定義から直ちに φ_{1} = φ_{2} をえる. 逆に, a, b (a < b) を Φ_{1} と Φ_{2} の両方の連続な点とする. 反転公式から,

Φ_{1}(b) − Φ_{1}(a) = Φ_{2}(b) − Φ_{2}(a).

a → −∞ とすると, Φ_{1}(a) → 0, Φ_{2}(a) → 0 なので Φ_{1}(b) = Φ_{2}(b) が成り立つ. 確率分布の連続な点は, R においていたるところ稠密なので, 定理 1.1.10 より Φ_{1} = Φ_{2} が成り立つ.

ここに, 特性関数に対する連続定理を証明無しにあげる. 興味のある読者は, 確率論に関する本を参照されたい.

定理 1.1.51 (連続定理) Φ, Φ_{1}, Φ_{2}, ⋯を確率分布の列, φ, φ_{1}, φ_{2}, ⋯をその特性関数とする . このとき, {Φ_{n}} が Φ の任意の連続な点で Φ に収束するための必要十分条件は, 任意の有限区間 [c, d] で {φ_{n}} が φ に一様収束すること.

1.1.4 収束概念

確率変数の収束には, 主に 4 つの収束概念が存在する: 概収束 (a.s.), 確率収束, 平均収束, 分布収束.

表 1.1: 収束概念の関係

定義 1.1.26 ξ, ξ_{1}, ξ_{2}, ⋯を確率空間 (Ω, A, P) 上で定義された確率変数と仮定する. 数列 {ξ_{i}} が ξ に概収束するとは, 全ての ω ∈ A に対して, 次式を満たす集合 A ∈ A(P{A} = 1) が存在すること.

lim_{i→∞} |ξ_{i}(ω) − ξ(ω)| = 0  (1.1.67)

この場合, ξ_{i} → ξ, a.s. と書く.

定義 1.1.27 ξ, ξ_{1}, ξ_{2}, ⋯を確率空間 (Ω, A, P) 上で定義された確率変数と仮定する. 数列 {ξ_{i}} が ξ に確率収束するとは, 全ての ε > 0 に対して

lim_{i→∞} P {|ξ_{i} − ξ| ≥ ε} = 0  (1.1.68)

定義 1.1.28 ξ, ξ_{1}, ξ_{2}, ⋯を有限な期待値をもつ確率空間 (Ω, A, P) 上の確率変数と仮定する. 数列 {ξ_{i}} が, ξ に平均収束するとは

lim_{i→∞} E[|ξ_{i} − ξ|] = 0.  (1.1.69)

定義 1.1.29 Φ, Φ_{1}, Φ_{2}, ⋯を, それぞれ確率変数 ξ, ξ_{1}, ξ_{2}, ⋯の確率分布と仮定する. {ξ_{i}} が ξ に分布収束するとは, Φ の全ての連続点 x に対して, Φ_{i}(x) → Φ(x).

概収束 vs. 確率収束

定理 1.1.52 ξ, ξ_{1}, ξ_{2}, ⋯を確率空間 (Ω, A, P) 上で定義された確率変数と仮定する. このとき, {ξ_{i}} が ξ に概収束するための必要十分条件は, 全ての ε > 0 に対して, 次式が成り立つこと.

lim_{n→∞} P { ⋃_{i=n}^{∞} {|ξ_{i} − ξ| ≥ ε}} = 0.  (1.1.70)

証明：全ての i ≥ 1 と ε > 0 に対して, 次式を定義する.

\begin{matrix}X = \{ ω ∈ Ω | lim_{i→∞} ξ_{i}(ω) ≠ ξ(ω)\}  , \\ X_{i}(ε) = \{ω ∈ Ω | |ξ_{i}(ω) − ξ(ω)| ≥ ε\}  . \end{matrix}

次式は明らか.

X = ⋃_{ε>0} ( ⋂_{n=1}^{∞} ⋃_{i=n}^{∞} X_{i}(ε)) .

ξ_{i} → ξ, a.s. であるための必要十分条件は, P{X} = 0. つまり, ξ_{i} → ξ, a.s. であるための必要十分条件は, 全ての ε > 0 に対して

P { ⋂_{n=1}^{∞} ⋃_{i=n}^{∞} X_{i}(ε)} = 0

下式と

⋃_{i=n}^{∞} X_{i}(ε) ↓ ⋂_{n=1}^{∞} ⋃_{i=n}^{∞} X_{i}(ε),

確率連続定理から

lim_{n→∞} P { ⋃_{i=n}^{∞} X_{i}(ε)} = P { ⋂_{n=1}^{∞} ⋃_{i=n}^{∞} X_{i}(ε)} = 0.

定理は証明された.

定理 1.1.53 ξ, ξ_{1}, ξ_{2}, ⋯を確率空間 (Ω, A, P) 上で定義された確率変数と仮定する. もし, {ξ_{i}} が ξ に概収束するならば, {ξ_{i}} は ξ に確率収束する.

証明：概収束することと, 定理 1.1.52 から, 全ての ε > 0 に対して, 次式が従う.

lim_{n→∞} P { ⋃_{i=n}^{∞} {|ξ_{i} − ξ| ≥ ε}} = 0.

全ての n ≥ 1 に対して,

{|ξ_{n} − ξ| ≥ ε} ⊂ ⋃_{i=n}^{∞} {|ξ_{i} − ξ| ≥ ε}.

ゆえに, P{|ξ_{n} − ξ| ≥ ε} → 0(n → ∞) が成り立つ. 定理は証明された.

例題 1.1.37 確率収束することは, 概収束することを意味しない. 例えば, Ω = [0, 1], A を Ω 上のボレル加法族, P をルベーグ測度とする. このとき, (Ω, A, P) は確率空間になる. 任意の正の整数 i に対して, i = 2^{j} + k を満たす整数 j が存在する. 但し, k は 0 と 2^{j} − 1 の間の整数. ここで, Ω 上の確率変数を i = 1, 2, ⋯ に対して, 次式で定義する.

ξ_{i}(ω) = \{ \begin{matrix}1, & if k/2^{j} ≤ ω ≤ (k + 1)/2^{j} \\ 0, & otherwise \end{matrix}

ξ = 0. 任意の数 ε > 0 に対して, i → ∞ のとき, 次式が成り立つ.

P \{|ξ_{i} − ξ| ≥ ε\} = \frac{1}{2^{j}} → 0

つまり, 数列 {ξ_{i}} は ξ に確率収束する. しかし, 任意の ω ∈ [0, 1] に対して, ω を含む区間 [k/2^{j}, (k + 1)/2^{j}] は無限に存在する. よって, ξ_{i}(ω) ↛ 0(i → ∞). 言い換えると, 数列 {ξ_{i}} は ξ に概収束しない.

確率収束 vs. 平均収束

定理 1.1.54 ξ, ξ_{1}, ξ_{2}, ⋯を確率空間 (Ω, A, P) 上で定義された確率変数と仮定する. もし, 数列 {ξ_{i}} が ξ に平均収束するならば, {ξ_{i}} は ξ に確率収束する.

証明：マルコフの不等式から, 任意の ε > 0 に対して, 次式が成り立つ.

P \{|ξ_{i} − ξ| ≥ ε\} ≤ \frac{E[|ξ_{i} − ξ|]}{ε} → 0(i → ∞).

ゆえに, {ξ_{i}} は ξ に確率収束する.

例題 1.1.38 確率収束することは, 平均収束することを意味しない. 例えば, Ω = {ω_{1}, ω_{2}, ⋯}, P{ω_{j}} = 1/2^{j} j = 1, 2, ⋯, また, i = 1, 2, ⋯に対して, 確率変数を次式で定義する.

ξ_{i}\{ω_{j}\} = \{ \begin{matrix}2^{i}, & if j = i \\ 0, & otherwise \end{matrix}

ξ = 0. 任意の数 ε > 0 に対して,

P \{|ξ_{i} − ξ| ≥ ε\} = \frac{1}{2^{i}} → 0.

つまり, 数列 {ξ_{i}} は ξ に確率収束する. しかし,

E [|ξ_{i} − ξ|] = 2^{i} · \frac{1}{2^{i}} = 1.

つまり, 数列 {ξ_{i}} は ξ に平均収束しない.

概収束 vs. 平均収束

例題 1.1.39 概収束することは, 平均収束することを意味しない. 例えば, Ω = {ω_{1}, ω_{2}, ⋯}, P{ω_{j}} = 1/2^{j} j = 1, 2, ⋯, また, i = 1, 2, ⋯に対して, 確率変数を次式で定義する.

ξ_{i}\{ω_{j}\} = \{ \begin{matrix}2^{i}, & if j = i \\ 0, & otherwise \end{matrix}

ξ = 0. このとき, {ξ_{i}} は ξ に概収束する. しかし, 数列 {ξ_{i}} は, ξ に平均収束しない.

例題 1.1.40 平均収束することは, 概収束することを意味しない. 例えば, Ω = [0, 1], A を Ω 上のボレル加法族, P をルベーグ測度とする. このとき, (Ω, A, P) は確率空間になる. 任意の正の整数 i に対して, i = 2^{j} + k を満たす整数 j が存在する. 但し, k は 0 と 2^{j} − 1 の間の整数. Ω 上の確率変数を i = 1, 2, ⋯に対して, 次式で定義する.

ξ_{i}(ω) = \{ \begin{matrix}1, & if k/2^{j} ≤ ω ≤ (k + 1)/2^{j} \\ 0, & otherwise \end{matrix}

ξ = 0. このとき

E [|ξ_{i} − ξ|] = \frac{1}{2^{j}} → 0.

つまり, 数列 {ξ_{i}} は ξ に平均収束する. しかし, {ξ_{i}} は ξ に概収束しない.

確率収束 vs. 分布収束

定理 1.1.55 ξ, ξ_{1}, ξ_{2}, ⋯を確率空間 (Ω, A, P) 上で定義された確率変数と仮定する. 数列 {ξ_{i}} が ξ に確率収束するならば, {ξ_{i}} は ξ に分布収束する.

証明： x を分布 Φ の任意の連続な点とする. 任意の y > x に対して,

{ξ_{i} ≤ x} = {ξ_{i} ≤ x, ξ ≤ y} ∪ {ξ_{i} ≤ x, ξ > y} ⊂ {ξ ≤ y} ∪ {|ξ_{i} − ξ| ≥ y − x}.

上式から

Φ_{i}(x) ≤ Φ(y) + P{|ξ_{i} − ξ| ≥ y − x}.

{ξ_{i}} は ξ に確率収束するので, P{|ξ_{i} − ξ| ≥ y − x} → 0. ゆえに, 任意の y > x に対して, lim sup_{i→∞} Φ_{i}(x) ≤ Φ(y) が成り立つ. y → x とすると,

lim sup_{i→∞} Φ_{i}(x) ≤ Φ(x).  (1.1.71)

一方, 任意の z < x に対して,

{ξ ≤ z} = {ξ ≤ z, ξ_{i} ≤ x} ∪ {ξ ≤ z, ξ_{i} > x} ⊂ {ξ_{i} ≤ x} ∪ {|ξ_{i} − ξ| ≥ x − z}

上式から

Φ(z) ≤ Φ_{i}(x) + P{|ξ_{i} − ξ| ≥ x − z}.

P{|ξ_{i} − ξ| ≥ x − z} → 0 なので, 任意の z < x に対して, Φ(z) ≤ lim inf_{i→∞} Φ_{i}(x) が成り立つ.z → x とすると,

Φ(x) ≤ lim inf_{i→∞} Φ_{i}(x).  (1.1.72)

(1.1.71), (1.1.72) から Φ_{i}(x) → Φ(x). 定理は証明された.

例題 1.1.41 分布収束することは, 確率収束することを意味しない. 例えば, Ω = {ω_{1}, ω_{2}} と次式を定める.

P\{ω\} = \{ \begin{matrix}1/2, & if ω = ω_{1} \\ 1/2, & if ω = ω_{2}, \end{matrix} ξ(ω) = \{ \begin{matrix}−1, & if ω = ω_{1} \\ 1, & if ω = ω_{2}. \end{matrix}

また, 全ての i に対して, ξ_{i} = −ξ も定義する. ξ_{i} と ξ は同一分布に従うので {ξ_{i}} は ξ に分布収束する. しかし, 任意の数 ε > 0 に対して P{|ξ_{i} − ξ| > ε} = P{Ω} = 1. つまり, 数列 {ξ_{i}} は ξ に確率収束しない.

1.1.5 大数の法則

大数の法則には 2 つのタイプがある: (a) 確率収束を扱う大数の弱法則; (b) 概収束を扱う大数の強法則. これらを紹介するために, この節では, 各 n に対して, 次式を準備する.

S_{n} = ξ_{1} + ξ_{2} + ⋯+ ξ_{n}.  (1.1.73)

大数の弱法則

定理 1.1.56 (チェビシェフの大数の弱法則) {ξ_{i}} を独立な, 必ずしも同一分布ではない有限な期待値をもつ確率変数とする. もし, 全ての i に対して, V [ξ_{i}] < a を満たす数 a > 0 が存在するならば, (S_{n} − E[S_{n}])/n は 0 に確率収束する. つまり, 任意の ε > 0 に対して,

lim_{n→∞} P \{ | \frac{S_{n} − E[S_{n}]}{n} | ≥ ε\} = 0.  (1.1.74)

証明：任意の ε > 0 に対して, チェビシェフの不等式から, n → ∞ のとき, 次式が成り立つ.

P \{ | \frac{S_{n} − E[S_{n}]}{n} | ≥ ε\} ≤ \frac{1}{ε^{2}}V [ \frac{S_{n}}{n} ] = \frac{V [S_{n}]}{ε^{2}n^{2}}≤ \frac{a}{ε^{2}n} → 0

定理は証明された. 特に, 確率変数が共通の期待値 e をもつならば, S_{n}/n は e に確率収束する.

定理 1.1.57 {ξ_{i}} を有限な期待値 e をもつ独立同分布な確率変数列とする. このとき, S_{n}/n は e に確率収束する.

証明： ξ_{i} の期待値は有限であることから, E[|ξ_{i}|] < β < ∞ を満たす β > 0 が存在する. α を任意の正数, n を任意の正の整数とする. i = 1, 2, ⋯に対して, 次式を定義する.

ξ_{i}^{∗} = \{ \begin{matrix}ξ_{i}, & if |ξ_{i}| < nα \\ 0, & otherwise \end{matrix}

{ξ_{i}^{∗}} が, iid な確率変数列であることは明らか. e_{n}^{∗} を ξ_{i}^{∗} の共通の期待値, S_{n}^{∗} = ξ_{1}^{∗} + ξ_{2}^{∗} + ⋯+ ξ_{n}^{∗} とする. このとき, 次式が成り立つ.

V [ξ_{i}^{∗}] ≤ E[ξ_{i}^{∗2}] ≤ nαE[|ξ_{i}^{∗}|] ≤ nαβ,

E [ \frac{S_{n}^{∗}}{n} ] = \frac{E[ξ_{1}^{∗}] + E[ξ_{2}^{∗}] + ⋯+ E[ξ_{n}^{∗}]}{n} = e_{n}^{∗},

V [ \frac{S_{n}^{∗}}{n} ] = \frac{V [ξ_{1}^{∗}] + V [ξ_{2}^{∗}] + ⋯+ V [ξ_{n}^{∗}]}{n^{2}} ≤ αβ.

チェビシェフの不等式から, 全ての ε > 0 に対して, 次式が成り立つ.

P \{ | \frac{S_{n}^{∗}}{n} − e_{n}^{∗}| ≥ ε\} ≤ \frac{1}{ε^{2}}V [ \frac{S_{n}^{∗}}{n} ] ≤ \frac{αβ}{ε^{2}}  (1.1.75)

また, ルベーグの優収束定理から, 明らかに e_{n}^{∗} → e(n → ∞) も成り立つ. ゆえに, n ≥ N^{∗} ならば, |e_{n}^{∗} − e| < ε である整数 N^{∗} が存在する. (1.1.75) を適応させると, 任意の n ≥ N^{∗} に対して,

P \{ | \frac{S_{n}^{∗}}{n} − e| ≥ 2ε\} ≤ P \{ | \frac{S_{n}^{∗}}{n} − e_{n}^{∗}| ≥ ε\} ≤ \frac{αβ}{ε^{2}} .  (1.1.76)

iid であることと, 定理 1.1.31 から, n → ∞ のとき次式が従う.

P{S_{n}^{∗} ≠ S_{n}} ≤ ∑_{i=1}^{n} P{|ξ_{i}| ≥ nα} ≤ nP{|ξ_{1}| ≥ nα} → 0

ゆえに, 次式を満たす N^{∗∗} が存在する.

P{S_{n}^{∗} ≠ S_{n}} ≤ α, ∀n ≥ N^{∗∗}.

(1.1.76) を適応させると, 全ての n ≥ N^{∗} ∨ N^{∗∗} に対して,

P \{ | \frac{S_{n}}{n} − e| ≥ 2ε\} ≤ \frac{αβ}{ε^{2}} + α → 0 (α → 0).

S_{n}/n は e に確率収束する.

大数の強法則

補題 1.1.1 (テープリッツの補題) {a_{i}} を a_{i} → a(i → ∞) を満たす実数列とするとき

lim_{n→∞} \frac{a_{1} + a_{2} + ⋯+ a_{n}}{n} = a.  (1.1.77)

証明：任意の ε > 0 に対して, a_{i} → a であることから, 次式を満たす N が存在する.

|a_{i} − a| < \frac{ε}{2}, ∀i ≥ N.

また, 次式を満たす整数 N^{∗} > N も選ぶことができる.

\frac{1}{N^{∗}} ∑_{i=1}^{N} |a_{i} − a| < \frac{ε}{2}.

よって, 任意の n > N^{∗} に対して,

| \frac{1}{n} ∑_{i=1}^{n} a_{i} − a| ≤ \frac{1}{N^{∗}} ∑_{i=1}^{N} |a_{i} − a| + \frac{1}{n} ∑_{i=N+1}^{n} |a_{i} − a| < ε.

ε は任意なので, テープリッツの補題が従う.

補題 1.1.2 (クロネッカーの補題) {a_{i}} を ∑ _{i=1}^{∞} a_{i} が収束するような実数列とするとき

lim_{n→∞} \frac{a_{1} + 2a_{2} + ⋯+ na_{n}}{n} = 0.  (1.1.78)

証明： s_{0} = 0, s_{i} = a_{1} + a_{2} + ⋯+ a_{i}, i = 1, 2, ⋯とするとき

\frac{1}{n} ∑_{i=1}^{n} ia_{i} = \frac{1}{n} ∑_{i=1}^{n} i(s_{i} − s_{i−1} ) = s_{n} − \frac{1}{n} ∑_{i=1}^{n−1} s_{i}.

数列 {s_{i}} の収束値を s とする. テープリッツの補題から, (∑ _{i=1}^{n−1} s_{i})/n → s(n → ∞). ゆえに, クロネッカーの補題は証明された.

定理 1.1.58 (コルモゴルフの不等式) ξ_{1}, ξ_{2}, ⋯, ξ_{n} を有限な期待値をもつ独立な確率変数とする. このとき, 任意の ε > 0 に対して,

P \{ max_{1≤i≤n} |S_{i} − E[S_{i}]| ≥ ε\} ≤ \frac{V [S_{n}]}{ε^{2}}.  (1.1.79)

証明：一般性を失うことなく, 各 i に対して, E[ξ_{i}] = 0 を仮定できる. ここで, i = 2, 3, ⋯, n に対して, 次式を定める.

A_{1} = {|S_{1}| ≥ ε} , A_{i} = {|S_{j}| < ε, j = 1, 2, ⋯, i − 1, and |S_{i}| ≥ ε}

次式が, 互いの素な集合 A_{1}, A_{2}, ⋯, A_{n} の和集合であることは明らかである.

A = { max_{1≤i≤n} |S_{i}| ≥ ε}

E[S_{n}] = 0 なので,

V [S_{n}] = ∫_{0}^{+∞} P{S_{n}^{2} ≥ r} ∫ dr ≥ ∑_{k=1}^{n} ∫_{0}^{+∞} P {{S_{n}^{2} ≥ r} ∩ A_{k}} ∫ dr.

(1.1.80)

また, 任意の k(1 ≤ k ≤ n) に対して, 独立であることから,

∫_{0}^{+∞} P {{S_{n}^{2} ≥ r} ∩ A_{k}} ∫ dr
= ∫_{0}^{+∞} P {{(S_{k} + ξ_{k+1} + ⋯+ ξ_{n})^{2} ≥ r} ∩ A_{k}}  ∫ dr
= ∫_{0}^{+∞} P {{S_{k}^{2} + ξ_{k+1}^{2} + ⋯+ ξ_{n}^{2} ≥ r} ∩ A_{k}}  ∫ dr

+2 ∑_{j=k+1}^{n} E[I_{A_{k}}S_{k}]E[ξ_{j}] + ∑_{j≠l;j,l=k+1}^{n} P{A_{k}}E[ξ_{j}]E[ξ_{l}]

≥ ∫_{0}^{+∞} P {{S_{k}^{2} ≥ r} ∩ A_{k}} ∫ dr
≥ ε^{2}P{A_{k}}.

(1.1.80) を利用すると,

V [S_{n}] ≥ ε^{2} ∑_{i=1}^{n} P{A_{i}} = ε^{2}P{A}.

上式から, コルモゴルフの不等式の成立が証明された.

定理 1.1.59 {ξ_{i}} を独立な確率変数列とする. ∑ _{i=1}^{∞} V [ξ_{i}] < ∞ ならば, ∑ _{i=1}^{∞} (ξ_{i} − E[ξ_{i}]) は概収束する.

証明：級数 ∑ _{i=1}^{∞} (ξ_{i} − E[ξ_{i}]) が, 概収束するための必要十分条件は, ∑ _{i=n}^{∞} (ξ_{i} − E[ξ_{i}]) → 0(n → ∞) が概収束すること. また, そのための必要十分条件は, 任意の ε > 0 に対して, 次式が成立すること.

lim_{n→∞} P { ⋃_{j=0}^{∞} { |∑_{i=n}^{n+j} (ξ_{i} − E[ξ_{i}])| ≥ ε} } = 0

実際,

P { ⋃_{j=0}^{∞} { |∑_{i=n}^{n+j} (ξ_{i} − E[ξ_{i}])| ≥ ε} }

= lim_{m→∞} P { ⋃_{j=0}^{m} { |∑_{i=n}^{n+j} (ξ_{i} − E[ξ_{i}])| ≥ ε} }

= lim_{m→∞} P { max_{0≤j≤m} |∑_{i=n}^{n+j} (ξ_{i} − E[ξ_{i}])| ≥ ε}
≤ lim_{m→∞} \frac{1}{ε^{2}} ∑_{i=n}^{n+m} V [ξ_{i}] (コルモゴルフの不等式)
= \frac{1}{ε^{2}} ∑_{i=n}^{∞} V [ξ_{i}] → 0 (n → ∞) by ∑_{i=1}^{∞} V [ξ_{i}] < ∞.

定理は証明された.

定理 1.1.60 (コルモゴルフの大数の強法則) {ξ_{i}} を有限な期待値をもつ独立な確率変数とする. もし,

∑_{i=1}^{∞} \frac{V [ξ_{i}]}{i^{2}}< ∞,  (1.1.81)

ならば, 次式が成り立つ.

\frac{S_{n} − E[S_{n}]}{n} → 0, a.s.  (1.1.82)

証明： (1.1.81) から

∑_{i=1}^{∞} V [ \frac{ξ_{i} − E[ξ_{i}]}{i} ] = ∑_{i=1}^{∈fty} \frac{V [ξ_{i}]}{i^{2}}< ∞.

定理 1.1.59 から, ∑ _{i=1}^{∞} (ξ_{i} − E[ξ_{i}])/i が概収束することがわかる. クロネッカーの補題から

\frac{S_{n} − E[S_{n}]}{n} = \frac{1}{n} ∑_{i=1}^{n} i ( \frac{ξ_{i} − E[ξ_{i}]}{i} ) → 0, a.s.

定理は証明された.

定理 1.1.61 (大数の強法則) {ξ_{i}} を有限な期待値 e をもつ, iid な確率変数列とする. このとき, S_{n}/n → e a.s.

証明：各 i ≥ 1 に対して, ξ_{i}^{∗} を次式のようにおく.

ξ_{i}^{∗} = \{ \begin{matrix}ξ_{i}, & if |ξ_{i}| < i \\ 0, & otherwise , \end{matrix}

また, S_{n}^{∗} = ξ_{1}^{∗} + ξ_{2}^{∗} + ⋯+ ξ_{n}^{∗} とすると, 全ての i に対して, 次式が成り立つ.

V [ξ_{i}^{∗}] ≤ E[ξ_{i}^{∗2}] ≤ ∑_{j=1}^{i} j^{2}P{j − 1 ≤ |ξ_{1}| < j}

ゆえに,

∑_{i=1}^{∞} \frac{V [ξ_{i}^{∗}]}{i^{2}}≤ ∑_{i=1}^{∞} ∑_{j=1}^{i} \frac{j^{2}}{i^{2}}P\{j − 1 ≤ |ξ_{1}| < j\}

= ∑_{j=1}^{∞} j^{2}P\{j − 1 ≤ |ξ_{1}| < j\} ∑_{i=j}^{∞} \frac{1}{i^{2}}

≤ 2 ∑_{j=1}^{∞} jP\{j − 1 ≤ |ξ_{1}| < j\} by ∑_{i=j}^{∞} \frac{1}{i^{2}} ≤ \frac{2}{j}

= 2 + 2 ∑_{j=1}^{∞} (j − 1)P{j − 1 ≤ |ξ_{1}| < j}

≤ 2 + 2e < ∞.

定理 1.1.60 から, 次式が従う.

\frac{S_{n}^{∗} − E[S_{n}^{∗}]}{n} → 0, a.s.  (1.1.83)

ξ_{i}^{∗} ↑ ξ_{i} as i → ∞ に注意しておく. ルベーグの優収束定理から, E[ξ_{i}^{∗}] → e. テープリッツの補題から次式が従う.

\frac{E[S_{n}^{∗}]}{n} = \frac{E[ξ_{1}^{∗}] + E[ξ_{2}^{∗}] + ⋯+ E[ξ_{n}^{∗}]}{n} → e.  (1.1.84)

(ξ_{i} − ξ_{i}^{∗}) → 0, a.s., であることより, テープリッツの補題は次式を主張する.

\frac{S_{n} − S_{n}^{∗}}{n} = \frac{1}{n} ∑_{i=1}^{n} (ξ_{i} − ξ_{i}^{∗}) → 0, a.s.  (1.1.85)

(1.1.83), (1.1.84), (1.1.85) から, S_{n}/n → e a.s.

1.1.6 中心極限定理

大数の法則は, S_{n} = ξ_{1} + ξ_{2} + ⋯+ ξ_{n} の確率分布についての情報を何も与えていない. 中心極限定理は近似分布を解析することが目的である.

定理 1.1.62 (リンデンベルグの中心極限定理) {ξ_{i}} を独立な, 必ずしも同一分布ではない有限な分散をもつ確率変数, Φ_{i} をそれぞれ ξ_{i}, i = 1, 2, ⋯の確率分布とする. 任意の ε > 0 に対して, リンデンベルグ条件

lim_{n→∞} \frac{1}{V [S_{n}]}∑_{i=1}^{n} ∫_{|r−E[ξ_{i}]|≥ε\sqrt{V [S_{n}]}} (r − E[ξ_{i}])^{2} ∫ dΦ_{i}(r) = 0  (1.1.86)

が満たされるならば

\frac{S_{n} − E[S_{n}]}{\sqrt{V [S_{n}]}}  (1.1.87)

上式は, 標準正規分布に分布収束する. つまり, 任意の固定された数 x に対して,

lim_{n→∞} P \{ \frac{S_{n} − E[S_{n}]}{\sqrt{V [S_{n}]}} ≤ x\} = \frac{1}{2π} ∫_{−∞}^{x} exp ( −r^{2}/2) ∫ dr.  (1.1.88)

証明： Step 1: 全ての n に対して, n 個の確率変数を次式で定義する.

ξ_{nk} = \frac{ξ_{k} − E[ξ_{k}]}{\sqrt{V [S_{n}]}} , 1 ≤ k ≤ n.

各 n に対して, 関数 Φ_{nk} を, それぞれ ξ_{nk}, k = 1, 2, ⋯, n の確率分布と仮定する. このとき, 各 k(1 ≤ k ≤ n) に対して

E[ξ_{nk}] = ∫_{−∞}^{+∞} r ∫ dΦ_{nk}(r) = 0,

V [ξ_{nk}] = ∫_{−∞}^{+∞} r^{2} ∫ dΦ_{nk}(r) = \frac{V [ξ_{k}]}{V [S_{n}]},

∑_{k=1}^{n} V [ξ_{nk}] = \frac{V [ξ_{1}] + V [ξ_{2}] + ⋯+ V [ξ_{n}]}{V [S_{n}]} = 1.

リンデンベルグ条件から, 全ての ε > 0 に対して, 次式が従う.

lim_{n→∞} ∑_{k=1}^{n} ∫_{|r|≥ε} r^{2} ∫ dΦ_{nk}(r) = 0.  (1.1.89)

また, 全ての k(1 ≤ k ≤ n) に対して, 次式が成り立つ.

\frac{V [ξ_{k}]}{V [S_{n}]}= ∫_{|r|<ε} r^{2} ∫ dΦ_{nk}(r) + ∫_{|r|≥ε} r^{2} ∫ dΦ_{nk}(r) ≤ ε^{2}+ ∫_{|r|≥ε} r^{2} ∫ dΦ_{nk}(r),

よって

max_{1≤k≤n} \frac{V [ξ_{k}]}{V [S_{n}]}≤ ε^{2} + ∑_{k=1}^{n} ∫_{|r|≥ε} r^{2} ∫ dΦ_{nk}(r).

また, (1.1.89) より,

lim_{n→∞} max_{1≤k≤n} \frac{V [ξ_{k}]}{V [S_{n}]}= 0.  (1.1.90)

Step 2: 各 n に対して, φ_{nk} をそれぞれ ξ_{nk}, k = 1, 2, ⋯, n, の特性関数とし, φ_{n} を次式の特性関数とする.

∑_{k=1}^{n} ξ_{nk} = \frac{S_{n} − E[S_{n}]}{\sqrt{V [S_{n}]}} .

定理 1.1.48 から次式が従う.

φ_{n}(t) = ∏_{k=1}^{n} φ_{nk}(t), t ∈ R.

また

|φ_{nk}(t) − 1| ≤ ∫_{−∞}^{+∞} |e^{itr}− 1 − itr| ∫ dΦ_{nk}(r) ≤ \frac{t^{2}}{2} ∫_{−∞}^{+∞} r^{2} ∫ dΦ_{nk}(r) = \frac{t^{2}}{2} · \frac{V [ξ_{k}]}{V [S_{n}]},

上式から, 全ての T > 0 に対して

max_{|t|≤T} max_{1≤k≤n} |φ_{nk}(t) − 1| ≤ \frac{T^{2}}{2} max_{1≤k≤n} \frac{V [ξ_{k}]}{V [S_{n}]}

(1.1.90) から

lim_{n→∞} max_{1≤k≤n} |φ_{nk}(t) − 1| = 0  (1.1.91)

上式は全ての t で成立する. Step 3: T > 0 を固定すると, (1.1.91) より全ての 1 ≤ k ≤ n と |t| < T に対して, |φ_{nk}(t) − 1| < 1/2 を満たすような十分大きい n を選ぶことができる.

よって次式を得る.

ln φ_{n}(t) = ∑_{k=1}^{n} ln φ_{nk}(t) = ∑_{k=1}^{n} [φ_{nk}(t) − 1] + f_{n}(t)

但し,

f_{n}(t) = ∑_{k=1}^{n} ∑_{j=2}^{∞} \frac{(−1)^{j−1}}{j} [φ_{nk}(t) − 1]^{j}.

それゆえ,

|f_{n}(t)| ≤ ∑_{k=1}^{n} ∑_{j=2}^{∞} \frac{|φ_{nk}(t) − 1|^{j}}{j}

≤ ∑_{k=1}^{n} \frac{|φ_{nk}(t) − 1|^{2}}{1 − |φ_{nk}(t) − 1|}

< ∑_{k=1}^{n} |φ_{nk}(t) − 1|^{2} (十分大きい n)

≤ max_{1≤k≤n} |φ_{nk}(t) − 1| · ∑_{k=1}^{n} |φ_{nk}(t) − 1|.

また, 下式から

∑_{k=1}^{n} |φ_{nk}(t) − 1| ≤ \frac{t^{2}}{2} ∑_{k=1}^{n} ∫_{−∞}^{+∞} r^{2} ∫ dΦ_{nk}(r) = \frac{t^{2}}{2},

T > 0 に対して, 次式がいえる.

max_{|t|≤T} |f_{n}(t)| ≤ \frac{T^{2}}{2} max_{|t|≤T} max_{1≤k≤n} |φ_{nk}(t) − 1|

上式から, t の有限区間上で, 次式が一様に成り立つ.

lim_{n→∞} { ln φ_{n}(t) − ∑_{k=1}^{n} [φ_{nk}(t) − 1]} = 0  (1.1.92)

Step 4: ここで, 次式を定義する.

g_{n}(t) = \frac{t^{2}}{2} + ∑_{k=1}^{n} ∫_{−∞}^{+∞} (e^{itr} − 1 − itr) ∫ dΦ_{nk}(r),

すると, 直ちに次式をえる.

∑_{k=1}^{n} [φ_{nk}(t) − 1] = −\frac{t^{2}}{2} + g_{n}(t).

任意の ε > 0 に対して,

∑_{k=1}^{n} ∫_{−∞}^{+∞} r^{2} ∫ dΦ_{nk}(r) = 1,

であることから, g_{n} を次式のように書ける.

\begin{aligned}g_{n}(t) = & ∑_{k=1}^{n} ∫_{|r|<ε} ( e^{itr} − 1 − itr − \frac{(itr)^{2}}{2} ) ∫ dΦ_{nk}(r) \\ & + ∑_{k=1}^{n} ∫_{|r≥ε} ( e^{itr} − 1 − itr + \frac{t^{2}r^{2}}{2}) ∫ dΦ_{nk}(r) \end{aligned}

よって

|g_{n}(t)| ≤ \frac{|t|^{3}}{6} ∑_{k=1}^{n} ∫_{|r|<ε} |r|^{3} ∫ dΦ_{nk}(r) + t^{2} ∑_{k=1}^{n} ∫_{|r|≥ε} r^{2} ∫ dΦ_{nk}(r).

ゆえに, 任意の T > 0 に対して,

\begin{aligned}max_{|t|≤T} |g_{n}(t)| & ≤ \frac{T^{3}ε}{6}∑_{k=1}^{n} ∫_{|r|<ε} |r|^{2} ∫ dΦ_{nk}(r) + T^{2} ∑_{k=1}^{n} ∫_{|r|≥ε} r^{2} ∫ dΦ_{nk}(r) \\ & = \frac{T^{3}ε}{6}+ T^{2} ( 1 − \frac{Tε}{6}) ∑_{k=1}^{n} ∫_{|r|≥ε} r^{2} ∫ dΦ_{nk}(r). \end{aligned}

(1.1.91) より, t の各有限区間で, 一様に g_{n}(t) → 0(n → ∞) が成り立つ. 最後に, (1.1.92) を利用すると, t のあらゆる有限区間で, 一様に φ_{n}(t) → e^{−t^{2}/2} (n → ∞) が成り立つことがわかる. ゆえに, 定理は特性関数に対する連続定理から証明される.

定理 1.1.63 {ξ_{i}} を V [S_{n}] → ∞ を満たす独立な確率変数列とする. もし, 各 i に対して, |ξ_{i}| ≤ a を満たす数 a が存在するならば

\frac{S_{n} − E[S_{n}]}{\sqrt{V [S_{n}]}}  (1.1.93)

上式は, 標準正規分布に分布収束する.

証明：リンデンベルグ条件を満たすことを証明すれば十分である. チェビシェフの不等式より

∫_{|r−E[ξ_{k}]|≥ε\sqrt{V [S_{n}]}} (r − E[ξ_{k}])^{2} ∫ dΦ_{k}(r)
≤ (2a)^{2}P \{ |r − E[ξ_{k}]| ≥ ε\sqrt{V [S_{n}]}\}
≤ \frac{(2a)^{2}V [ξ_{k}]}{ε^{2}V [S_{n}]}.

ゆえに, 以下のようにリンデンベルグ条件を満たされた.

\frac{1}{V [S_{n}]}∑_{k=1}^{n} ∫_{|r−E[ξ_{k}]|≥ε\sqrt{V [S_{n}]}} (r − E[ξ_{k}])^{2} ∫ dΦ_{k}(r) ≤ \frac{(2a)^{2}}{ε^{2}V [S_{n}]}→ 0

定理は証明された.

定理 1.1.64 (レヴィの中心極限定理) {ξ_{i}} を iid で有限な正の分散をもつ確率変数列とする. このとき,

\frac{S_{n} − E[S_{n}]}{\sqrt{V [S_{n}]}}  (1.1.94)

上式は, 標準正規分布に分布収束する.

証明：リンデンベルグ条件を満を満たすことを証明すれば十分である. {ξ_{i}} は iid な確率変数なので, 共通の期待値 e, 共通の分散 σ^{2}, 共通の確率分布 Φ をもつ. ゆえに, 任意の数 ε > 0 に対して

\frac{1}{V [S_{n}]}∑_{i=1}^{n} ∫_{|r−e|≥ε\sqrt{V [S_{n}]}} (r − e) ^{2} ∫ dΦ(r) = \frac{1}{σ^{2}} ∫_{|r−e|≥εσ\sqrt{n}} (r − e) ^{2} ∫ dΦ(r).

分散 σ^{2} は有限なので, 右辺の積分は n → ∞ としたとき, 0 に収束する. 定理は証明された.

条件付き確率

ある事象 B が起きたという条件の下で, 事象 A の確率を考える. この新しい A の確率は, 事象 B が起きたときの事象 A の条件付き確率とよばれる.

定義 1.1.30 (Ω, A, P) を確率空間, A, B ∈ A とする. B の下での, A の条件付き確率は次式で定義される.

P\{A|B\} = \frac{P\{A ∩ B\}}{P\{B\}}  (1.1.95)

但し, P{B} > 0.

定理 1.1.65 (Ω, A, P) を確率空間, B ∈ A とする. P{B} > 0 ならば, (1.1.95) で定義される P{·|B} は (Ω, A) 上の確率測度であり, (Ω, A, P{·|B}) は確率空間になる.

証明：まず,

P\{Ω|B\} = \frac{P\{Ω ∩ B\}}{P\{B\}} = \frac{P\{B\}}{P\{B\}} = 1.

また, 任意の A ∈ A に対して, 集合関数 P{A|B} は非負である. 最後に, 任意の背反事象の数列 {A_{i}}_{i=1}^{∞} に対して

P \{ ⋃_{i=1}^{∞} A_{i}|B\} = \frac{P \{ ( ⋃_{i=1}^{∞} A_{i}) ∩ B\}}{P\{B\}} = \frac{∑_{i=1}^{∞} P\{A_{i} ∩ B\}}{P\{B\}} = ∑_{i=1}^{∞} P\{A_{i}|B\}.

ゆえに, P{·|B} は (Ω, A) 上の確率測度, (Ω, A, P{·|B}) は確率空間になる.

定義 1.1.31 (Ω, A, P) を確率空間とする. このとき, B が与えられたときの確率変数 ξ の条件付き確率分布 Φ: R → [0, 1] は次式で定義される.

Φ(x|B) = P {ξ ≤ x | B}  (1.1.96)

但し, P{B} > 0.

定義 1.1.32 (Ω, A, P) を確率空間とする. このとき, B が与えられたときの確率変数 ξ の条件付き確率密度関数 ϕ:R → [0, +∞) は, 全ての x ∈ R に対して, 次式を満たす関数.

Φ(x|B) = ∫_{−∞}^{x} ϕ(y|B) ∫ dy  (1.1.97)

但し, Φ は B が与えられたときの確率変数 ξ の条件付き確率分布. 当然, P{B} > 0.

例題 1.1.42 ξ と η を確率変数. 但し, η は高々可算個 y_{1}, y_{2}, ⋯の値をとるものとする. このとき, 各 i に対して, η = y_{i} が与えられたときの, ξ の条件付き確率分布は

Φ(x|η = y_{i}) = P \{ξ ≤ x | η = y_{i}\} = \frac{P\{ξ ≤ x, η = y_{i}\}}{P\{η = y_{i}\}} .

例題 1.1.43 (ξ, η) を結合確率密度関数 ψ をもつ確率ベクトルとする. このとき, ξ と η の周辺確率密度関数は, それぞれ

f(x) = ∫_{−∞}^{+∞} ψ(x, y) ∫ dy, g(y) = ∫_{−∞}^{+∞} ψ(x, y) ∫ dx.

さらに, 次式が成り立つ.

P\{ξ ≤ x, η ≤ y\} = ∫_{−∞}^{x} ∫_{−∞}^{y} ψ(r, t) ∫ dr ∫ dt = ∫_{−∞}^{y} [∫_{−∞}^{x} \frac{ψ(r, t)}{g(t)} ∫ dr] g(t) ∫ dt

上式は η = y_{i} が与えられたときの, ξ の条件付き確率分布は

Φ(x|η = y) = ∫_{−∞}^{x} \frac{ψ(r, y)}{g(y)} ∫ dr, a.s.  (1.1.98)

となることを示している. また, η = y_{i} が与えられたときの, ξ の条件付き確率密度関数は

ϕ(x|η = y) = \frac{ψ(x, y)}{g(y)} , a.s.  (1.1.99)

(1.1.98), (1.1.99) は g(y) ≠ 0 に対してのみ定義されていることに注意する. 実際, 集合 {y|g(y) = 0} の確率は 0 である.

定義 1.1.33 ξ を確率空間 (Ω, A, P) 上の確率変数とする. このとき, B が与えられたときの ξ の条件付き期待値は, 次式で定義される.

E[ξ|B] = ∫_{0}^{+∞} P{ξ ≥ r|B} ∫ dr − ∫_{−∞}^{0} P{ξ ≤ r|B} ∫ dr  (1.1.100)

但し, 2 つの積分値の 1 つは少なくとも有限とする.

さらに勉強するために

57

関連図書^{[1] 著者、表題、出版社、発行年}

58