Wahrscheinlichkeitstheorie I WS 06/07 Serie 13

1. ( Charakteristische Funktionen ).

a) Die Doppelexponentialverteilung ist die Wahrscheinlichkeitsverteilung μ auf ℝ mit Dichte f(x) = \frac{1}{2}e^{−|x|}. Zeige : Die charakteristische Funktion von μ ist φ(t) = \frac{1}{1+t^{2}} .

b) Folgere, daß φ(t) = e^{−|t|} die charakteristische Funktion der Cauchyverteilung ist ( Dichte f(x) = \frac{1}{π(1+x^{2})} ).

c) Zeige : Sind X_{1}, X_{2}, … unabhängige Cauchyverteilte Zufallsvariablen, dann sind die empirischen Mittelwerte \frac{1}{n} ∑_{i=1}^{n} X_{i}, n ∈ ℕ, auch Cauchyverteilt. Warum ist dies kein Widerspruch zum Gesetz der großen Zahlen ?

2. Unter 3000 Geburten werden in einer Klinik 1578 Jungen gezählt. Würden Sie aufgrund dieses Ergebnisses mit einer Sicherheit von 95% an der Hypothese festhalten wollen, daß die Wahrscheinlichkeit für die Geburt eines Jungen gleich \frac{1}{2} ist?

3. ( Abfall der Entropie bei Markovketten ). Sei P eine stochastische Matrix mit invarianter Verteilung ν über einem abzählbaren Zustandsraum S. Sei μ eine beliebige Wahrscheinlichkeitsverteilung auf S. Zeige :

H(μP |ν) ≤ H(μ|ν) .

Folgere, daß die relative Entropie der Verteilung einer Markovkette zur Zeit n bezüglich einer invarianten Verteilung monoton fällt.

4. ( Ratenfunktionen für große Abweichungen ). Seien X_{1}, X_{2}, … i.i.d. Zufallsvariablen mit den unten angegebenen Verteilungen. Berechne jeweils die momentenerzeugenden Funktionen M(t), und skizziere die Graphen von Λ(t) = log M(t), und von der Ratenfunktion I im Satz von Chernoff. Zeige, daß I die angegebene Form hat. Erkläre den Verlauf von I anschaulich.

a) Bernoulliverteilung mit Parameter p ∈ (0, 1):

I(a) = a log \frac{a}{p} + (1 − a) log \frac{1−a}{1−p} für a ∈ [0, 1], I(a) = ∞ für a ∉ [0, 1]. b) Exponentialverteilung mit Parameter λ > 0:

I(a) = λa − 1 − log(λa) für a > 0, I(a) = ∞ für a ≤ 0.

5. ( Acceptance-Rejection Sampling ). Sei (Ω, A, P) ein Wahrscheinlichkeitsraum. Seien μ, ν Wahrscheinlichkeitsverteilungen auf (S, S), μ ≪ ν mit beschränkter Dichte ρ:

μ(B) = ∫_{B} ρ(x)ν(dx), ρ(x) ≤ C, C ∈ (1, ∞).

a) Sei X : Ω → S eine Zufallsvariable mit Verteilung ν und U : Ω → (0, 1) eine hiervon unabhängige auf (0, 1) gleichverteilte Zufallsvariable. Zeige, dass dann gilt

μ(B) = P [X ∈ B|U ≤ \frac{ρ(X)}{C}] ∀ B ∈ S ,

d.h. μ ist bedingte Verteilung von X gegeben U ≤ \frac{ρ(X)}{C}.

b) Seien X_{1}, X_{2}, …: Ω → S, U_{1}, U_{2}, …: Ω → (0, 1) unabhängig unter P mit Verteilung ν bzw. λ_{(0,1)}. Zeige: Dann ist

T := min \{n ∈ ℕ |U_{n} ≤ \frac{ρ(X_{n})}{C} \} (Abbruchzeit)

P -f.s. endlich, und die (für P -f.a. ω eindeutig definierte) Zufallsvariable

Y (ω) := X_{T (ω)}(ω)

hat Verteilung μ.

c) Beschreibe einen Algorithmus zur Simulation von Stichproben von μ, wenn wir bereits Stichproben von ν simulieren können. Wie groß ist die mittlere Laufzeit des Algorithmus ? Wie sollte man C wählen ?

6. Seien μ, ν Wahrscheinlichkeitsverteilungen auf (S, S). Betrachte eine Folge von Ereignissen A_{n} ⊆ S^{n} mit lim inf μ^{n}(A_{n}) > 0. Zeige :

lim inf \frac{1}{n} log(ν^{n}(A_{n})) ≥ −H(μ|ν).