Bearbeiten von: Abschnitt [Änderungshistorie]
  Zeilenumbrüche automatisch mache ich selbst mit HTML    

Ich möchte eine Mail an , nachdem mein Vorschlag bearbeitet ist.
  Nachricht zur Änderung:

Input assistance tools (JavaScript): [Link extern intern] [MathML?] [$$?]
[fed-area] [LaTeX-inline] [LaTeX-display] [Tikz] [hide-area][show-area] [Source code [num.]][?]
[Link zurück zum Artikelabschnitt]

Vorschau:
Mehrdimensionale Normalverteilung

2. Mehrdimensionale Normalverteilung

Naiv würde man einen Vektor als mehrdimensional normalverteilt bezeichnen, wenn jede Komponente des Vektors normalverteilt ist. Es stellt sich jedoch heraus, dass diese Voraussetzung für die meisten praktischen Zwecke zu schwach ist. Betrachten wir zunächst ein Einführendes Beispiel.

Es sei X_1, X_2, \ldots eine i.i.d. Folge \mathbb{R}^d-wertiger zentrierter Zufallsvektoren, deren Komponenten zweite Momente besitzen. Wie im ersten Abschnitt wollen wir untersuchen, ob die Folge \displaystyle S_n = \frac{1}{\sqrt{n}}\sum \limits_{i = 1}^n X_i schwach gegen einen Zufallsvektor S konvergiert. Dies ist äquivalent dazu, dass a^t S_n \xrightarrow{d} a^t S für jeden Vektor a \in \mathbb{R}^d.
Die Zufallsvariable a^t S_n kann als \frac{1}{n}\sum \limits_{i = 1}^n a^t X_i dargestellt werden. Die Zufallsvariablen a^t X_i sind unabhängig und somit konvergiert a^t S_n gemäß dem zentralen Grenzwertsatz schwach gegen eine Normalverteilung. Das bedeutet, dass alle Linearkombinationen a^t S normalverteilt sein müssen. Dies ist die Motivation für die folgende Definition der mehrdimensionalen Normalverteilung.
2.1 Definition: Mehrdimensionale Normalverteilung
Einen d-dimensionaler Zufallsvektor X nennt man mehrdimensional normalverteilt, falls die Zufallsvariable a^tX für jeden Vektor a \in \mathbb{R}^d normalverteilt ist. Ist \mu der Vektor der Erwartungswerte von X und \Sigma die Kovarianzmatrix, so schreibt man
X \sim \mathcal{N}(\mu, \Sigma)
Man muss sich noch überlegen, dass die verwendete Notation die Verteilung eindeutig bestimmt. Dies folgt daraus, dass die Verteilung eines Zufallsvektors X durch die Verteilungen der Zufallsvariablen a^tX festgelegt ist. Dies ist per Voraussetzung eine Normalverteilung und als solche durch den Erwartungswert und die Varianz eindeutig bestimmt. Die Eindeutigkeit der Verteilung folgt daher aufgrund der Formeln \mathbb{E}[a^t X] = a^t \mu und \operatorname{Var}(a^tX) = a^t \Sigma a.

Aus der Definition ist ersichtlich, dass jede Komponente einer mehrdimensional normalverteilten Zufallsvariable normalverteilt ist. Die Umkehrung ist jedoch falsch: Nicht jeder Zufallsvektor, dessen Komponenten normalverteilt sind, ist mehrdimensional normalverteilt.
Als Beispiel betrachte man eine standardnormalverteilte Zufallsvariable X und eine davon unabhängige Zufallsvariable Y, die Rademacherverteilt ist. Das bedeutet \mathbb{P}(Y = 1) = \mathbb{P}(Y = -1) = \frac{1}{2}. Aufgrund der Symmetrie der Normalverteilung ist YX normalverteilt. Jedoch ist der Vektor (X, YX) nicht zweidimensional normalverteilt, da \mathbb{P}(X + YX = 0) = \frac{1}{2} und somit X + YX nicht normalverteilt ist.

Dies liefert auch ein Gegenbeispiel für einen weit verbreiteten Irrtum. Die Zufallsvariablen sind nämlich unkorreliert und normalverteilt, jedoch nicht unabhängig [da sonst ihre Summe gemäß 1.4 normalverteilt wäre]. Der Merksatz "unkorreliert und normalverteilt impliziert unabhängig" ist daher falsch. Die Aussage wird jedoch richtig, sobald die Zufallsvariablen mehrdimensional normalverteilt sind.
2.2 Lemma:
Es seien X_1, \ldots, X_n unkorrelierte Zufallsvariablen, so dass der Vektor X = (X_1, \ldots, X_n) mehrdimensional normalverteilt ist. Dann sind die Zufallsvariablen unabhängig.
Beweis: Es seien X_1', \ldots, X_n' unabhängige Zufallsvariablen mit X_i \stackrel{d}{=} X_i'. Gemäß Korollar 1.4 sind alle Linearkombinationen der X_i' normalverteilt, insbesondere ist der Vektor X' = (X_1', \ldots, X_n') mehrdimensional normalverteilt. Wegen \mathbb{E}[X] = \mathbb{E}[X'] und \operatorname{cov}(X, X) = \operatorname{cov}(X', X') haben X und X' die selbe Verteilung, woraus die Unabhängigkeit der X_i folgt.

2.3 Lemma:
Es sei X ein n-dimensional normalverteilter Zufallsvektor mit Erwartungswert \mu und Kovarianzmatrix \Sigma. Außerdem sei M \in \mathbb{R}^{m \times n} und v \in \mathbb{R}^m. Dann ist v + MX ein m-dimensional normalverteilter Zufallsvektor mit Erwartungswert m + M\mu und Kovarianzmatrix M^t\Sigma M.
Beweis: Ist a \in \mathbb{R}^m ein Vektor, so ist a(v + MX) = av + (aM)X per Voraussetzung normalverteilt. Insbesondere ist damit v + MX mehrdimensional normalverteilt.

Im Beweis zu Lemma 2.2 wurde eine wichtige Eigenschaft der mehrdimensional Normalverteilung verwendet: Sind die Zufallsvariablen X_1, \ldots, X_n unabhängig und normalverteilt, so ist ihre gemeinsame Verteilung eine n-dimensionale Normalverteilung. In Verbindung mit Lemma 2.3 lassen sich damit viele Eigenschaften der mehrdimensionalen Normalverteilung nachweisen.

Es ist klar, dass die Kovarianzmatrix \Sigma einer mehrdimensionalen Normalverteilung positiv semidefinit ist. Es stellt sich nun die Frage, ob es auch zu jeder positiv semidefiniten Matrix einen Zufallsvektor gibt, welcher mehrdimensional normalverteilt ist. Die Antwort darauf lautet ja. Genauer gilt:
2.4 Satz:
Es sei \mu eine n-dimensionaler Zufallsvektor und \Sigma eine positiv semidefinite reelle n \times n Matrix. Dann gibt es einen n-dimensionalen Zufallsvektor X mit X \sim \mathcal{N}(\mu, \Sigma).
Beweis: Es seien Y_1, \ldots, Y_n unabhängige standardnormalverteilte Zufallsvariablen. Dann ist der Vektor Y = (Y_1, \ldots, Y_n) n-dimensional normalverteilt. Da die Matrix \Sigma symmetrisch ist, kann sie gemäß der Hauptachsentransformation zerlegt werden als \Sigma = V^t D V mit einer orthogonalen n \times n Matrix V und einer Diagonalmatrix D = \operatorname{diag}(\lambda_1, \ldots, \lambda_n), wobei \lambda_i die Eigenwerte von \Sigma sind. Da \Sigma positiv semidefinit ist, sind diese Eigenwerte nichtnegativ.

Nun definieren wir die Matrix M = V^t \operatorname{diag}(\sqrt{\lambda_1}, \ldots, \sqrt{\lambda_n}) V und den Zufallsvektor X = \mu + MY. Dieser Vektor ist gemäß Lemma 2.3 mehrdimensional normalverteilt mit Erwartungswert \mu und Kovarianzmatrix M^t I_n M = \Sigma.

Mit dieser Konstruktion lässt sich die Dichte der mehrdimensionalen Normalverteilung ausrechnen:
2.5 Korollar: Dichte der mehrdimensionalen Normalverteilung
Es sei X \sim \mathcal{N}(\mu, \Sigma) n-dimensional normalverteilt. Dann gilt:
X besitzt genau dann eine Dichte, wenn \Sigma positiv definit ist. In diesem Fall ist die Dichte gegeben durch die Funktion
\displaystyle f_X(x) = \frac{1}{\sqrt{(2\pi)^n \det(\Sigma)}} \exp\left(-\frac{1}{2} (x - \mu)^t \Sigma^{-1} (x - \mu)\right)
Beweis: Ist \Sigma nicht positiv definit, so gibt es einen Vektor v \ne 0 mit v \Sigma v = 0. Damit ist v^t X eine Zufallsvariable mit Varianz 0 und Erwartungswert v^t \mu. Somit gilt \mathbb{P}(X \in H) = 1 für die Hyperebene H = \{x \in \mathbb{R}^n \;|\; v^t x = \mu\}. Da H eine Lebesgue-Nullmenge ist, ist die Verteilung von X nicht absolutstetig bezüglich des Lebesgue-Maßes und X besitzt keine Dichte.

Ist \Sigma positiv definit, so betrachte betrachte man die Matrix M aus dem Beweis von Satz 2.4. Die Abbildung y \mapsto \mu + M y ist dann ein Diffeomorphismus von \mathbb{R}^n in sich selbst und die Aussage folgt aus einer Anwendung des Transformationssatzes für Dichten.

Mit der Existenzaussage in Satz 2.4 lässt sich nun der mehrdimensionale zentrale Grenzwertsatz einfach beweisen.
2.6 Korollar: Mehrdimensionaler zentraler Grenzwertsatz
Es sei X_i eine i.i.d Folge n-dimensionaler Zufallsvektoren mit Erwartungswert 0 und Kovarianzmatrix \Sigma. Dann konvergiert die Folge
S_n = \frac{1}{\sqrt{n}} \sum \limits_{i = 1}^n X_i
schwach gegen eine Normalverteilung mit Erwartungswert 0 und Kovarianzmatrix \Sigma.
Beweis: Es sei Y \sim \mathcal{N}(0, \Sigma). Die schwache Konvergenz von S_n ist äquivalent dazu, dass für jeden Vektor a \in \mathbb{R}^n die Zufallsvariable a^tS_n schwach gegen a^tY konvergiert. Dies folgt aus der eindimensionalen Version des zentralen Grenzwertsatzes, da a^tX_i eine i.i.d. Folge von Zufallsvariablen mit Erwartungswert 0 und Varianz a^t\Sigma a = \operatorname{Var}(a^tY) ist.

Zum Schluss noch ein Lemma, welches in den Beispielen benötigt wird:
2.7 Lemma:
Es sei X \sim \mathcal{N}(\mu, \Sigma) n-dimensional normalverteilt und Matrizen A \in \mathbb{R}^{p \times n}, B \in \mathbb{R}^{q \times n} gegeben. Die Zufallsvektoren AX, BX sind genau dann unabhängig, wenn A \Sigma B^t = 0 \in \mathbb{R}^{p \times q}.
Beweis: Die beiden Vektoren sind genau dann unabhängig, wenn für alle a \in \mathbb{R}^p, b \in \mathbb{R}^q die Zufallsvariablen a^tAX, b^tBX unabhängig sind. Offensichtlich sind diese Zufallsvariablen zweidimensional normalverteilt, weswegen ihre Unabhängigkeit gemäß Lemma 2.2 äquivalent zur ihrer Unkorreliertheit ist. Die Aussage folgt nun unter Beachtung der Gleichung \operatorname{Cov}(a^tAX, b^tBX) = a^tA\Sigma B^t b.

 
All logos and trademarks in this site are property of their respective owner. The comments are property of their posters, all the rest © 2001-2021 by Matroids Matheplanet
This web site was originally made with PHP-Nuke, a former web portal system written in PHP that seems no longer to be maintained nor supported. PHP-Nuke is Free Software released under the GNU/GPL license.
Ich distanziere mich von rechtswidrigen oder anstößigen Inhalten, die sich trotz aufmerksamer Prüfung hinter hier verwendeten Links verbergen mögen.
Lesen Sie die Nutzungsbedingungen, die Distanzierung, die Datenschutzerklärung und das Impressum.
[Seitenanfang]