Bearbeiten von: Abschnitt [Änderungshistorie]
  Zeilenumbrüche automatisch mache ich selbst mit HTML    

Ich möchte eine Mail an , nachdem mein Vorschlag bearbeitet ist.
  Nachricht zur Änderung:

Input assistance tools (JavaScript): [Link extern intern] [MathML?] [$$?]
[fed-area] [LaTeX-inline] [LaTeX-display] [Tikz] [hide-area][show-area] [Source code [num.]][?]
[Link zurück zum Artikelabschnitt]

Vorschau:
Mehrdimensionale Normalverteilung

2. Mehrdimensionale Normalverteilung

Naiv würde man einen Vektor als mehrdimensional normalverteilt bezeichnen, wenn jede Komponente des Vektors normalverteilt ist. Es stellt sich jedoch heraus, dass diese Voraussetzung für die meisten praktischen Zwecke zu schwach ist. Betrachten wir zunächst ein Einführendes Beispiel.

Es sei <math>X_1, X_2, \ldots</math> eine i.i.d. Folge <math>\mathbb{R}^d</math>-wertiger zentrierter Zufallsvektoren, deren Komponenten zweite Momente besitzen. Wie im ersten Abschnitt wollen wir untersuchen, ob die Folge <math>\displaystyle S_n = \frac{1}{\sqrt{n}}\sum \limits_{i = 1}^n X_i</math> schwach gegen einen Zufallsvektor S konvergiert. Dies ist äquivalent dazu, dass <math>a^t S_n \xrightarrow{d} a^t S</math> für jeden Vektor <math>a \in \mathbb{R}^d</math>.
Die Zufallsvariable <math>a^t S_n</math> kann als <math>\frac{1}{n}\sum \limits_{i = 1}^n a^t X_i</math> dargestellt werden. Die Zufallsvariablen <math>a^t X_i</math> sind unabhängig und somit konvergiert <math>a^t S_n</math> gemäß dem zentralen Grenzwertsatz schwach gegen eine Normalverteilung. Das bedeutet, dass alle Linearkombinationen <math>a^t S</math> normalverteilt sein müssen. Dies ist die Motivation für die folgende Definition der mehrdimensionalen Normalverteilung.
2.1 Definition: Mehrdimensionale Normalverteilung
Einen d-dimensionaler Zufallsvektor <math>X</math> nennt man mehrdimensional normalverteilt, falls die Zufallsvariable <math>a^tX</math> für jeden Vektor <math>a \in \mathbb{R}^d</math> normalverteilt ist. Ist <math>\mu</math> der Vektor der Erwartungswerte von <math>X</math> und <math>\Sigma</math> die Kovarianzmatrix, so schreibt man
<math>X \sim \mathcal{N}(\mu, \Sigma)</math>
Man muss sich noch überlegen, dass die verwendete Notation die Verteilung eindeutig bestimmt. Dies folgt daraus, dass die Verteilung eines Zufallsvektors <math>X</math> durch die Verteilungen der Zufallsvariablen <math>a^tX</math> festgelegt ist. Dies ist per Voraussetzung eine Normalverteilung und als solche durch den Erwartungswert und die Varianz eindeutig bestimmt. Die Eindeutigkeit der Verteilung folgt daher aufgrund der Formeln <math>\mathbb{E}[a^t X] = a^t \mu</math> und <math>\operatorname{Var}(a^tX) = a^t \Sigma a</math>.

Aus der Definition ist ersichtlich, dass jede Komponente einer mehrdimensional normalverteilten Zufallsvariable normalverteilt ist. Die Umkehrung ist jedoch falsch: Nicht jeder Zufallsvektor, dessen Komponenten normalverteilt sind, ist mehrdimensional normalverteilt.
Als Beispiel betrachte man eine standardnormalverteilte Zufallsvariable <math>X</math> und eine davon unabhängige Zufallsvariable <math>Y</math>, die Rademacherverteilt ist. Das bedeutet <math>\mathbb{P}(Y = 1)  = \mathbb{P}(Y = -1) = \frac{1}{2}</math>. Aufgrund der Symmetrie der Normalverteilung ist <math>YX</math> normalverteilt. Jedoch ist der Vektor <math>(X, YX)</math> nicht zweidimensional normalverteilt, da <math>\mathbb{P}(X + YX = 0) = \frac{1}{2}</math> und somit <math>X + YX</math> nicht normalverteilt ist.

Dies liefert auch ein Gegenbeispiel für einen weit verbreiteten Irrtum. Die Zufallsvariablen sind nämlich unkorreliert und normalverteilt, jedoch nicht unabhängig [da sonst ihre Summe gemäß 1.4 normalverteilt wäre]. Der Merksatz "unkorreliert und normalverteilt impliziert unabhängig" ist daher falsch. Die Aussage wird jedoch richtig, sobald die Zufallsvariablen mehrdimensional normalverteilt sind.
2.2 Lemma:
Es seien <math>X_1, \ldots, X_n</math> unkorrelierte Zufallsvariablen, so dass der Vektor <math>X = (X_1, \ldots, X_n)</math> mehrdimensional normalverteilt ist. Dann sind die Zufallsvariablen unabhängig.
Beweis: Es seien <math>X_1", \ldots, X_n"</math> unabhängige Zufallsvariablen mit <math>X_i \stackrel{d}{=} X_i"</math>. Gemäß Korollar 1.4 sind alle Linearkombinationen der <math>X_i"</math> normalverteilt, insbesondere ist der Vektor <math>X" = (X_1", \ldots, X_n")</math> mehrdimensional normalverteilt. Wegen <math>\mathbb{E}[X] = \mathbb{E}[X"]</math> und <math>\operatorname{cov}(X, X) = \operatorname{cov}(X", X")</math> haben <math>X</math> und <math>X"</math> die selbe Verteilung, woraus die Unabhängigkeit der <math>X_i</math> folgt.

2.3 Lemma:
Es sei <math>X</math> ein n-dimensional normalverteilter Zufallsvektor mit Erwartungswert <math>\mu</math> und Kovarianzmatrix <math>\Sigma</math>. Außerdem sei <math>M \in \mathbb{R}^{m \times n}</math> und <math>v \in \mathbb{R}^m</math>. Dann ist <math>v + MX</math> ein m-dimensional normalverteilter Zufallsvektor mit Erwartungswert <math>m + M\mu</math> und Kovarianzmatrix <math>M^t\Sigma M</math>.
Beweis: Ist <math>a \in \mathbb{R}^m</math> ein Vektor, so ist <math>a(v + MX) = av + (aM)X</math> per Voraussetzung normalverteilt. Insbesondere ist damit <math>v + MX</math> mehrdimensional normalverteilt.

Im Beweis zu Lemma 2.2 wurde eine wichtige Eigenschaft der mehrdimensional Normalverteilung verwendet: Sind die Zufallsvariablen <math>X_1, \ldots, X_n</math> unabhängig und normalverteilt, so ist ihre gemeinsame Verteilung eine n-dimensionale Normalverteilung. In Verbindung mit Lemma 2.3 lassen sich damit viele Eigenschaften der mehrdimensionalen Normalverteilung nachweisen.

Es ist klar, dass die Kovarianzmatrix <math>\Sigma</math> einer mehrdimensionalen Normalverteilung positiv semidefinit ist. Es stellt sich nun die Frage, ob es auch zu jeder positiv semidefiniten Matrix einen Zufallsvektor gibt, welcher mehrdimensional normalverteilt ist. Die Antwort darauf lautet ja. Genauer gilt:
2.4 Satz:
Es sei <math>\mu</math> eine n-dimensionaler Zufallsvektor und <math>\Sigma</math> eine positiv semidefinite reelle <math>n \times n</math> Matrix. Dann gibt es einen n-dimensionalen Zufallsvektor <math>X</math> mit <math>X \sim \mathcal{N}(\mu, \Sigma)</math>.
Beweis: Es seien <math>Y_1, \ldots, Y_n</math> unabhängige standardnormalverteilte Zufallsvariablen. Dann ist der Vektor <math>Y = (Y_1, \ldots, Y_n)</math> n-dimensional normalverteilt. Da die Matrix <math>\Sigma</math> symmetrisch ist, kann sie gemäß der Hauptachsentransformation zerlegt werden als <math>\Sigma = V^t D V</math> mit einer orthogonalen <math>n \times n</math> Matrix <math>V</math> und einer Diagonalmatrix <math>D = \operatorname{diag}(\lambda_1, \ldots, \lambda_n)</math>, wobei <math>\lambda_i</math> die Eigenwerte von <math>\Sigma</math> sind. Da <math>\Sigma</math> positiv semidefinit ist, sind diese Eigenwerte nichtnegativ.

Nun definieren wir die Matrix <math>M = V^t \operatorname{diag}(\sqrt{\lambda_1}, \ldots, \sqrt{\lambda_n}) V</math> und den Zufallsvektor <math>X = \mu + MY</math>. Dieser Vektor ist gemäß Lemma 2.3 mehrdimensional normalverteilt mit Erwartungswert <math>\mu</math> und Kovarianzmatrix <math>M^t I_n M = \Sigma</math>.

Mit dieser Konstruktion lässt sich die Dichte der mehrdimensionalen Normalverteilung ausrechnen:
2.5 Korollar: Dichte der mehrdimensionalen Normalverteilung
Es sei <math>X \sim \mathcal{N}(\mu, \Sigma)</math> n-dimensional normalverteilt. Dann gilt:
<math>X</math> besitzt genau dann eine Dichte, wenn <math>\Sigma</math> positiv definit ist. In diesem Fall ist die Dichte gegeben durch die Funktion
<math>\displaystyle f_X(x) = \frac{1}{\sqrt{(2\pi)^n \det(\Sigma)}} \exp\left(-\frac{1}{2} (x - \mu)^t \Sigma^{-1} (x - \mu)\right)</math>
Beweis: Ist <math>\Sigma</math> nicht positiv definit, so gibt es einen Vektor <math>v \ne 0</math> mit <math>v \Sigma v = 0</math>. Damit ist <math>v^t X</math> eine Zufallsvariable mit Varianz 0 und Erwartungswert <math>v^t \mu</math>. Somit gilt <math>\mathbb{P}(X \in H) = 1</math> für die Hyperebene <math>H = \{x \in \mathbb{R}^n \;|\; v^t x = \mu\}</math>. Da <math>H</math> eine Lebesgue-Nullmenge ist, ist die Verteilung von <math>X</math> nicht absolutstetig bezüglich des Lebesgue-Maßes und <math>X</math> besitzt keine Dichte.

Ist <math>\Sigma</math> positiv definit, so betrachte betrachte man die Matrix <math>M</math> aus dem Beweis von Satz 2.4. Die Abbildung <math>y \mapsto \mu + M y</math> ist dann ein Diffeomorphismus von <math>\mathbb{R}^n</math> in sich selbst und die Aussage folgt aus einer Anwendung des Transformationssatzes für Dichten.

Mit der Existenzaussage in Satz 2.4 lässt sich nun der mehrdimensionale zentrale Grenzwertsatz einfach beweisen.
2.6 Korollar: Mehrdimensionaler zentraler Grenzwertsatz
Es sei <math>X_i</math> eine i.i.d Folge n-dimensionaler Zufallsvektoren mit Erwartungswert 0 und Kovarianzmatrix <math>\Sigma</math>. Dann konvergiert die Folge
<math>S_n = \frac{1}{\sqrt{n}} \sum \limits_{i = 1}^n X_i</math>
schwach gegen eine Normalverteilung mit Erwartungswert 0 und Kovarianzmatrix <math>\Sigma</math>.
Beweis: Es sei <math>Y \sim \mathcal{N}(0, \Sigma)</math>. Die schwache Konvergenz von <math>S_n</math> ist äquivalent dazu, dass für jeden Vektor <math>a \in \mathbb{R}^n </math> die Zufallsvariable <math>a^tS_n</math> schwach gegen <math>a^tY</math> konvergiert. Dies folgt aus der eindimensionalen Version des zentralen Grenzwertsatzes, da <math>a^tX_i</math> eine i.i.d. Folge von Zufallsvariablen mit Erwartungswert 0 und Varianz <math>a^t\Sigma a = \operatorname{Var}(a^tY)</math> ist.

Zum Schluss noch ein Lemma, welches in den Beispielen benötigt wird:
2.7 Lemma:
Es sei <math>X \sim \mathcal{N}(\mu, \Sigma)</math> n-dimensional normalverteilt und Matrizen <math>A \in \mathbb{R}^{p \times n}, B \in \mathbb{R}^{q \times n}</math> gegeben. Die Zufallsvektoren <math>AX, BX</math> sind genau dann unabhängig, wenn <math>A \Sigma B^t = 0 \in \mathbb{R}^{p \times q}</math>.
Beweis: Die beiden Vektoren sind genau dann unabhängig, wenn für alle <math>a \in \mathbb{R}^p, b \in \mathbb{R}^q</math> die Zufallsvariablen <math>a^tAX, b^tBX</math> unabhängig sind. Offensichtlich sind diese Zufallsvariablen zweidimensional normalverteilt, weswegen ihre Unabhängigkeit gemäß Lemma 2.2 äquivalent zur ihrer Unkorreliertheit ist. Die Aussage folgt nun unter Beachtung der Gleichung <math>\operatorname{Cov}(a^tAX, b^tBX) = a^tA\Sigma B^t b</math>.

 
All logos and trademarks in this site are property of their respective owner. The comments are property of their posters, all the rest © 2001-2021 by Matroids Matheplanet
This web site was originally made with PHP-Nuke, a former web portal system written in PHP that seems no longer to be maintained nor supported. PHP-Nuke is Free Software released under the GNU/GPL license.
Ich distanziere mich von rechtswidrigen oder anstößigen Inhalten, die sich trotz aufmerksamer Prüfung hinter hier verwendeten Links verbergen mögen.
Lesen Sie die Nutzungsbedingungen, die Distanzierung, die Datenschutzerklärung und das Impressum.
[Seitenanfang]