Stern Mathematik: Grundlegendes zur Normalverteilung
Released by matroid on Do. 23. April 2015 19:25:19 [Statistics]
Written by Calculus - 7869 x read [Outline] Printable version Printer-friendly version -  Choose language   
Mathematik

\(\begingroup\)

Grundlegendes zur Normalverteilung


Die Normalverteilung gehört zu den wichtigsten Verteilungen in der Stochastik. Aufgrund ihrer Rolle im zentralen Grenzwertsatz tritt sie an vielen Stellen in der Statistik auf. Die eng mit der Normalverteilung verbundenen <math>\chi^2</math>- t- und F-Verteilungen sind Grundlage vieler wichtiger Tests in der Statistik.

Trotzdem wird die Normalverteilung in Vorlesungen oft nur sehr oberflächlich und unvollständig behandelt. Typischerweise wird die (mehrdimensionale) Normalverteilung nur über ihre Dichte definiert, wodurch einige wichtige Spezialfälle außenvor bleiben und viele Rechnungen unnötig verkompliziert werden.

Dieser Artikel zeigt einen alternativen Ansatz auf, bei dem Dichten eher als Nebenprodukt der Herangehensweise auftreten. Die Konsequenzen davon sind im eindimensionalen Fall noch überschaubar, werden jedoch im Zusammenhang mit der mehrdimensionalen Normalverteilung umso gravierender.

Im ersten Abschnitt werden (eindimensional) normalverteilte Zufallsvariablen untersucht, woraus im zweiten Abschnitt der Begriff der mehrdimensionalen Normalverteilung hergeleitet wird. Im dritten Abschnitt zeigen einige Beispiele die Nützlichkeit von Matrizen im Zusammenhang mit der (mehrdimensionalen) Normalverteilung.

Für das Verständnis dieses Artikels sind grundlegende Kenntnisse im Bereich der Maß- und Wahrscheinlichkeitstheorie nötig.


Vorbemerkung: In diesem Artikel wird mit Matrizen gerechnet. Wenn eine Matrix als positiv (semi)definit bezeichnet wird ist damit gemeint, dass diese Matrix auch symmetrisch ist.

1. Eindimensionale Normalverteilung

Zuerst ist es notwendig, die Normalverteilung korrekt zu definieren.
1.1 Definition: Normalverteilung
Eine Zufallsvariable <math>X</math> nennt man standardnormalverteilt, falls ihre Verteilung die Lebesgue-Dichte
<math>\displaystyle f_X(x) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right) </math>
besitzt. Man nennt eine Zufallsvariable <math>Y</math> normalverteilt mit Erwartungswert <math>\mu</math> und Varianz <math>\sigma^2</math>, falls für eine standardnormalverteilte Zufallsvariable <math>X</math>
<math>Y \stackrel{d}{=} \mu + \sigma X</math>
gilt. Man verwendet in diesem Fall die Notation
<math>Y \sim \mathcal{N}(\mu, \sigma^2)</math>
Hierbei müssen einige Feinheiten beachtet werden:
  • <math>f_X</math> ist eine Dichte. Dies ist eine klassische Übungsaufgabe im Zusammenhang mit dem Transformationssatz und folgt durch Transformation in Polarkoordinaten aus der Gleichung
    <math>\displaystyle \left(\int \limits_{\mathbb{R}} f_X(x) \; dx\right)^2 = \int \limits_{\mathbb{R}^2} f_X(x) f_X(y) \; dx \; dy</math>
  • Die Definition ist eindeutig. Da die Standardnormalverteilung eine symmetische Verteilung ist, gilt <math>\mu + \sigma X \stackrel{d}{=} \mu - \sigma X</math>. Die Verteilung hängt daher nicht von der Wahl ab, ob <math>\sigma</math> die positive oder negative Wurzel von <math>\sigma^2</math> ist.
  • Die Wahl der Begriffe Erwartungswert und Varianz ist gerechtfertigt. Wie im folgenden gezeigt wird, besitzt die Standardnormalverteilung einen Erwartungswert von 0 und eine Varianz von 1. Aus den Rechenregeln des Erwartungswerts und der Varianz folgt für <math>Y \sim \mathcal{N}(\mu, \sigma^2)</math> damit <math>\mathbb{E}[Y] = \mu</math> und <math>\operatorname{Var}(Y) = \sigma^2</math>.
  • Die Definition lässt auch die Wahl <math>\sigma = 0</math> zu. Eine konstante Zufallsvariable <math>X = c</math> ist damit normalverteilt mit Erwartungswert <math>c</math> und Varianz 0.
Im gesamten ersten Abschnitt sei stets <math>X \sim \mathcal{N}(0, 1)</math> und <math>Y \sim \mathcal{N}(\mu, \sigma^2)</math>.

Ist <math>\sigma^2 \ne 0</math>, so besitzt Y eine Lebesgue-Dichte. Mit dem Transformationssatz für Dichten lässt sich diese zu
<math>\displaystyle f_Y(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left(-\frac{(x - \mu)^2}{2\sigma^2}\right)</math>
berechnen. Häufig wird diese Dichte zur Definition der Normalverteilung verwendet. Dieser Ansatz hat jedoch zwei Nachteile:
  1. Der Spezialfall <math>\sigma = 0</math> muss gesondert betrachtet werden. Dieser Fall ist jedoch wichtig bei der Betrachtung der mehrdimensionalen Normalverteilung. Definiert man konstante Zufallsvariablen nicht als normalverteilt, so müssen bei der mehrdimensionalen Normalverteilung an vielen Stellen Ausnahmen betrachtet werden.
  2. Wählt man die Definition über die Dichte, so sind viele Rechnungen im Zusammenhang mit der Normalverteilung sehr umständlich. Dazu gehört beispielsweise die Berechnung der Momente und der charakteristischen Funktion. Mit der Definition aus diesem Artikel kann man viele Aussagen auf die Standardnormalverteilung zurückführen, bei der wesentlich einfachere Terme auftreten.
Wir bestimmen nun die Momente der Normalverteilung. Aufgrund des binomischen Lehrsatzes genügt es hierbei nur die Momente der Standardnormalverteilung zu berechnen:
<math>\displaystyle \mathbb{E}[Y^n] = \mathbb{E}[(\mu + \sigma X)^n] = \sum \limits_{i = 0}^n \binom{n}{i} \mathbb{E}[X^i]\sigma^i\mu^{n - i}</math>
1.2 Satz: Momente der Standardnormalverteilung
Es gilt die folgende Formel für die Momente der Standardnormalverteilung:
<math>\mathbb{E}[X^n] = \begin{cases} 0 &n = 2k + 1 \\ \frac{(2k)!}{2^k k!} & n = 2k \end{cases}</math>
Beweis: Aus dem asymptotischen Verhalten der Exponentialfunktion ist klar, dass sämtliche Momente der Standardnormalverteilung existieren. Die ungeraden Momente verschwinden, da die Verteilung symmetrisch ist. Partielle Integration liefert die folgende Rekursionsformel für die ungeraden Momente:
<math>\displaystyle \mathbb{E}[X^{2k}] = \frac{1}{\sqrt{2\pi}}\int \limits_{-\infty}^\infty x^{2k - 1} \left(x e^{-\frac{x^2}{2}}\right) \; dx = (2k - 1) \frac{1}{\sqrt{2\pi}}\int \limits_{-\infty}^\infty x^{2k - 2} e^{-\frac{x^2}{2}} \; dx = (2k - 1)\mathbb{E}[X^{2k - 2}]</math>
Daraus folgt mittels Induktion die gesuchte Formel.

Damit können wir nun zeigen:
1.3 Satz: Charakteristische Funktion der Normalverteilung
Die Charakteristische Funktion der Normalverteilung lautet:
<math>\varphi_Y(t) = \mathbb{E}\left[e^{itY}\right] = \exp\left(it\mu - \frac{\sigma^2 t^2}{2}\right)</math>
Beweis: Wegen
<math>\varphi_Y(t) = \mathbb{E}\left[e^{itY}\right] = \mathbb{E}[e^{it(\mu + \sigma X)}] = e^{it\mu}\varphi_X(t\sigma)</math>
genügt es auch hier, nur den Fall einer standardnormalverteilten Zufallsvariable zu betrachten. In diesem Fall gilt
<math>\displaystyle \varphi_X(t) = \mathbb{E}\left[e^{itX}\right] = \mathbb{E}\left[\sum \limits_{n = 0}^\infty \frac{(itX)^n}{n!}\right] = \sum \limits_{n = 0}^\infty \mathbb{E}\left[\frac{(itX)^n}{n!}\right] = \sum \limits_{n = 0}^\infty \frac{(it)^{2n}}{(2n)!} \frac{(2n)!}{2^n n!} = \exp\left(-\frac{t^2}{2}\right)</math>
womit die Aussage bewiesen ist. Man beachte hierbei, dass die Summe mit dem Erwartungswert gemäß dem Satz von der dominierten Konvergenz vertauscht werden darf. Als Majorante kann hier <math>e^{|tX|}</math> verwendet werden.

1.4 Korollar: Summe normalverteilter Zufallsvariablen
Sind <math>Y_1, Y_2</math> unabhängige Zufallsvariablen mit <math>Y_i \sim \mathcal{N}(\mu_i, \sigma_i^2)</math>, so ist ihre Summe ebenfalls normalverteilt:
<math>Y_1 + Y_2 \sim \mathcal{N}(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)</math>
Beweis: Dies folgt unter Ausnutzung der Unabhängigkeit der Zufallsvariablen direkt durch Einsetzen in die charakteristische Funktion.

Mit der Kenntnis der charakteristischen Funktion der Normalverteilung können wir das vermutlich wichtigste Resultat im Zusammenhang mit der Normalverteilung nachweisen, den zentralen Grenzwertsatz:
1.5. Satz: Zentraler Grenzwertsatz
Es sei <math>X_1, X_2, ...</math> eine i.i.d. Folge von Zufallsvariablen mit Erwartungswert 0 und Varianz <math>\sigma^2</math>. Die Folge der Zufallsvariablen
<math>\displaystyle S_n = \frac{1}{\sqrt{n}}\left(\sum \limits_{i = 1}^n X_i\right)</math>
konvergiert schwach gegen eine Normalverteilung:
<math>S_n \xrightarrow{d} \mathcal{N}(0, \sigma^2)</math>
Beweis: Da die zweiten Momente der Zufallsvariablen per Voraussetzung existieren, ist ihre charakteristische Funktion zweimal stetig differenzierbar mit Ableitung:
<math>\varphi^{(k)}_{X_1}(t) = \mathbb{E}\left[(iX_1)^k e^{itX_1}\right]</math>
Dieses Resultat kann leicht mittels Induktion nachgewiesen werden. Hierzu benötigt man lediglich die für reelle t gültige Abschätzung <math>|e^{it} - 1| = \left| 2 \sin\left(\frac{t}{2}\right)\right| \le |t|</math> und den Satz von der dominierten Konvergenz.

Insbesondere kann die Taylor-Näherung für die charakteristische Funktion verwendet werden:
<math>\varphi_{X_1}(t) = 1 - \frac{\sigma^2 t^2}{2} + o(t^2), \quad t \to 0</math>
Daraus folgt:
<math>\displaystyle \varphi_{S_n}(t) = \mathbb{E}\left[\exp\left(i\frac{t}{\sqrt{n}}\left(\sum \limits_{j = 1}^n X_j\right)\right)\right] = \prod \limits_{j = 1}^n \varphi_{X_j}\left(\frac{t}{\sqrt{n}}\right) = \left(1 - \frac{\sigma^2 t^2}{2n} + o\left(\frac{t^2}{2n}\right)\right)^n</math>

Für beliebiges <math>\epsilon > 0</math> kann für hinreichend große n der Restterm in der Form
<math>o\left(\frac{t^2}{2n}\right) \le \epsilon \frac{t^2}{2n}</math>
abgeschätzt werden. Damit folgt:
<math>\displaystyle \limsup \limits_{n \to \infty} \varphi_{S_n}(t) \le \exp \left(-\frac{\sigma^2 t^2}{2} + \epsilon t^2\right)</math>
Schätzt man den Limes inferior der Folge auf analoge Weise nach unten ab, so folgt mit dem Grenzübergang <math>\epsilon \to 0</math>
<math>\displaystyle \lim \limits_{n \to \infty}\varphi_{S_n}(t) = \exp \left(-\frac{\sigma^2 t^2}{2}\right)</math>
womit die Aussage bewiesen ist.



2. Mehrdimensionale Normalverteilung

Naiv würde man einen Vektor als mehrdimensional normalverteilt bezeichnen, wenn jede Komponente des Vektors normalverteilt ist. Es stellt sich jedoch heraus, dass diese Voraussetzung für die meisten praktischen Zwecke zu schwach ist. Betrachten wir zunächst ein Einführendes Beispiel.

Es sei <math>X_1, X_2, \ldots</math> eine i.i.d. Folge <math>\mathbb{R}^d</math>-wertiger zentrierter Zufallsvektoren, deren Komponenten zweite Momente besitzen. Wie im ersten Abschnitt wollen wir untersuchen, ob die Folge <math>\displaystyle S_n = \frac{1}{\sqrt{n}}\sum \limits_{i = 1}^n X_i</math> schwach gegen einen Zufallsvektor S konvergiert. Dies ist äquivalent dazu, dass <math>a^t S_n \xrightarrow{d} a^t S</math> für jeden Vektor <math>a \in \mathbb{R}^d</math>.
Die Zufallsvariable <math>a^t S_n</math> kann als <math>\frac{1}{n}\sum \limits_{i = 1}^n a^t X_i</math> dargestellt werden. Die Zufallsvariablen <math>a^t X_i</math> sind unabhängig und somit konvergiert <math>a^t S_n</math> gemäß dem zentralen Grenzwertsatz schwach gegen eine Normalverteilung. Das bedeutet, dass alle Linearkombinationen <math>a^t S</math> normalverteilt sein müssen. Dies ist die Motivation für die folgende Definition der mehrdimensionalen Normalverteilung.
2.1 Definition: Mehrdimensionale Normalverteilung
Einen d-dimensionaler Zufallsvektor <math>X</math> nennt man mehrdimensional normalverteilt, falls die Zufallsvariable <math>a^tX</math> für jeden Vektor <math>a \in \mathbb{R}^d</math> normalverteilt ist. Ist <math>\mu</math> der Vektor der Erwartungswerte von <math>X</math> und <math>\Sigma</math> die Kovarianzmatrix, so schreibt man
<math>X \sim \mathcal{N}(\mu, \Sigma)</math>
Man muss sich noch überlegen, dass die verwendete Notation die Verteilung eindeutig bestimmt. Dies folgt daraus, dass die Verteilung eines Zufallsvektors <math>X</math> durch die Verteilungen der Zufallsvariablen <math>a^tX</math> festgelegt ist. Dies ist per Voraussetzung eine Normalverteilung und als solche durch den Erwartungswert und die Varianz eindeutig bestimmt. Die Eindeutigkeit der Verteilung folgt daher aufgrund der Formeln <math>\mathbb{E}[a^t X] = a^t \mu</math> und <math>\operatorname{Var}(a^tX) = a^t \Sigma a</math>.

Aus der Definition ist ersichtlich, dass jede Komponente einer mehrdimensional normalverteilten Zufallsvariable normalverteilt ist. Die Umkehrung ist jedoch falsch: Nicht jeder Zufallsvektor, dessen Komponenten normalverteilt sind, ist mehrdimensional normalverteilt.
Als Beispiel betrachte man eine standardnormalverteilte Zufallsvariable <math>X</math> und eine davon unabhängige Zufallsvariable <math>Y</math>, die Rademacherverteilt ist. Das bedeutet <math>\mathbb{P}(Y = 1)  = \mathbb{P}(Y = -1) = \frac{1}{2}</math>. Aufgrund der Symmetrie der Normalverteilung ist <math>YX</math> normalverteilt. Jedoch ist der Vektor <math>(X, YX)</math> nicht zweidimensional normalverteilt, da <math>\mathbb{P}(X + YX = 0) = \frac{1}{2}</math> und somit <math>X + YX</math> nicht normalverteilt ist.

Dies liefert auch ein Gegenbeispiel für einen weit verbreiteten Irrtum. Die Zufallsvariablen sind nämlich unkorreliert und normalverteilt, jedoch nicht unabhängig [da sonst ihre Summe gemäß 1.4 normalverteilt wäre]. Der Merksatz "unkorreliert und normalverteilt impliziert unabhängig" ist daher falsch. Die Aussage wird jedoch richtig, sobald die Zufallsvariablen mehrdimensional normalverteilt sind.
2.2 Lemma:
Es seien <math>X_1, \ldots, X_n</math> unkorrelierte Zufallsvariablen, so dass der Vektor <math>X = (X_1, \ldots, X_n)</math> mehrdimensional normalverteilt ist. Dann sind die Zufallsvariablen unabhängig.
Beweis: Es seien <math>X_1", \ldots, X_n"</math> unabhängige Zufallsvariablen mit <math>X_i \stackrel{d}{=} X_i"</math>. Gemäß Korollar 1.4 sind alle Linearkombinationen der <math>X_i"</math> normalverteilt, insbesondere ist der Vektor <math>X" = (X_1", \ldots, X_n")</math> mehrdimensional normalverteilt. Wegen <math>\mathbb{E}[X] = \mathbb{E}[X"]</math> und <math>\operatorname{cov}(X, X) = \operatorname{cov}(X", X")</math> haben <math>X</math> und <math>X"</math> die selbe Verteilung, woraus die Unabhängigkeit der <math>X_i</math> folgt.

2.3 Lemma:
Es sei <math>X</math> ein n-dimensional normalverteilter Zufallsvektor mit Erwartungswert <math>\mu</math> und Kovarianzmatrix <math>\Sigma</math>. Außerdem sei <math>M \in \mathbb{R}^{m \times n}</math> und <math>v \in \mathbb{R}^m</math>. Dann ist <math>v + MX</math> ein m-dimensional normalverteilter Zufallsvektor mit Erwartungswert <math>m + M\mu</math> und Kovarianzmatrix <math>M^t\Sigma M</math>.
Beweis: Ist <math>a \in \mathbb{R}^m</math> ein Vektor, so ist <math>a(v + MX) = av + (aM)X</math> per Voraussetzung normalverteilt. Insbesondere ist damit <math>v + MX</math> mehrdimensional normalverteilt.

Im Beweis zu Lemma 2.2 wurde eine wichtige Eigenschaft der mehrdimensional Normalverteilung verwendet: Sind die Zufallsvariablen <math>X_1, \ldots, X_n</math> unabhängig und normalverteilt, so ist ihre gemeinsame Verteilung eine n-dimensionale Normalverteilung. In Verbindung mit Lemma 2.3 lassen sich damit viele Eigenschaften der mehrdimensionalen Normalverteilung nachweisen.

Es ist klar, dass die Kovarianzmatrix <math>\Sigma</math> einer mehrdimensionalen Normalverteilung positiv semidefinit ist. Es stellt sich nun die Frage, ob es auch zu jeder positiv semidefiniten Matrix einen Zufallsvektor gibt, welcher mehrdimensional normalverteilt ist. Die Antwort darauf lautet ja. Genauer gilt:
2.4 Satz:
Es sei <math>\mu</math> eine n-dimensionaler Zufallsvektor und <math>\Sigma</math> eine positiv semidefinite reelle <math>n \times n</math> Matrix. Dann gibt es einen n-dimensionalen Zufallsvektor <math>X</math> mit <math>X \sim \mathcal{N}(\mu, \Sigma)</math>.
Beweis: Es seien <math>Y_1, \ldots, Y_n</math> unabhängige standardnormalverteilte Zufallsvariablen. Dann ist der Vektor <math>Y = (Y_1, \ldots, Y_n)</math> n-dimensional normalverteilt. Da die Matrix <math>\Sigma</math> symmetrisch ist, kann sie gemäß der Hauptachsentransformation zerlegt werden als <math>\Sigma = V^t D V</math> mit einer orthogonalen <math>n \times n</math> Matrix <math>V</math> und einer Diagonalmatrix <math>D = \operatorname{diag}(\lambda_1, \ldots, \lambda_n)</math>, wobei <math>\lambda_i</math> die Eigenwerte von <math>\Sigma</math> sind. Da <math>\Sigma</math> positiv semidefinit ist, sind diese Eigenwerte nichtnegativ.

Nun definieren wir die Matrix <math>M = V^t \operatorname{diag}(\sqrt{\lambda_1}, \ldots, \sqrt{\lambda_n}) V</math> und den Zufallsvektor <math>X = \mu + MY</math>. Dieser Vektor ist gemäß Lemma 2.3 mehrdimensional normalverteilt mit Erwartungswert <math>\mu</math> und Kovarianzmatrix <math>M^t I_n M = \Sigma</math>.

Mit dieser Konstruktion lässt sich die Dichte der mehrdimensionalen Normalverteilung ausrechnen:
2.5 Korollar: Dichte der mehrdimensionalen Normalverteilung
Es sei <math>X \sim \mathcal{N}(\mu, \Sigma)</math> n-dimensional normalverteilt. Dann gilt:
<math>X</math> besitzt genau dann eine Dichte, wenn <math>\Sigma</math> positiv definit ist. In diesem Fall ist die Dichte gegeben durch die Funktion
<math>\displaystyle f_X(x) = \frac{1}{\sqrt{(2\pi)^n \det(\Sigma)}} \exp\left(-\frac{1}{2} (x - \mu)^t \Sigma^{-1} (x - \mu)\right)</math>
Beweis: Ist <math>\Sigma</math> nicht positiv definit, so gibt es einen Vektor <math>v \ne 0</math> mit <math>v \Sigma v = 0</math>. Damit ist <math>v^t X</math> eine Zufallsvariable mit Varianz 0 und Erwartungswert <math>v^t \mu</math>. Somit gilt <math>\mathbb{P}(X \in H) = 1</math> für die Hyperebene <math>H = \{x \in \mathbb{R}^n \;|\; v^t x = \mu\}</math>. Da <math>H</math> eine Lebesgue-Nullmenge ist, ist die Verteilung von <math>X</math> nicht absolutstetig bezüglich des Lebesgue-Maßes und <math>X</math> besitzt keine Dichte.

Ist <math>\Sigma</math> positiv definit, so betrachte betrachte man die Matrix <math>M</math> aus dem Beweis von Satz 2.4. Die Abbildung <math>y \mapsto \mu + M y</math> ist dann ein Diffeomorphismus von <math>\mathbb{R}^n</math> in sich selbst und die Aussage folgt aus einer Anwendung des Transformationssatzes für Dichten.

Mit der Existenzaussage in Satz 2.4 lässt sich nun der mehrdimensionale zentrale Grenzwertsatz einfach beweisen.
2.6 Korollar: Mehrdimensionaler zentraler Grenzwertsatz
Es sei <math>X_i</math> eine i.i.d Folge n-dimensionaler Zufallsvektoren mit Erwartungswert 0 und Kovarianzmatrix <math>\Sigma</math>. Dann konvergiert die Folge
<math>S_n = \frac{1}{\sqrt{n}} \sum \limits_{i = 1}^n X_i</math>
schwach gegen eine Normalverteilung mit Erwartungswert 0 und Kovarianzmatrix <math>\Sigma</math>.
Beweis: Es sei <math>Y \sim \mathcal{N}(0, \Sigma)</math>. Die schwache Konvergenz von <math>S_n</math> ist äquivalent dazu, dass für jeden Vektor <math>a \in \mathbb{R}^n </math> die Zufallsvariable <math>a^tS_n</math> schwach gegen <math>a^tY</math> konvergiert. Dies folgt aus der eindimensionalen Version des zentralen Grenzwertsatzes, da <math>a^tX_i</math> eine i.i.d. Folge von Zufallsvariablen mit Erwartungswert 0 und Varianz <math>a^t\Sigma a = \operatorname{Var}(a^tY)</math> ist.

Zum Schluss noch ein Lemma, welches in den Beispielen benötigt wird:
2.7 Lemma:
Es sei <math>X \sim \mathcal{N}(\mu, \Sigma)</math> n-dimensional normalverteilt und Matrizen <math>A \in \mathbb{R}^{p \times n}, B \in \mathbb{R}^{q \times n}</math> gegeben. Die Zufallsvektoren <math>AX, BX</math> sind genau dann unabhängig, wenn <math>A \Sigma B^t = 0 \in \mathbb{R}^{p \times q}</math>.
Beweis: Die beiden Vektoren sind genau dann unabhängig, wenn für alle <math>a \in \mathbb{R}^p, b \in \mathbb{R}^q</math> die Zufallsvariablen <math>a^tAX, b^tBX</math> unabhängig sind. Offensichtlich sind diese Zufallsvariablen zweidimensional normalverteilt, weswegen ihre Unabhängigkeit gemäß Lemma 2.2 äquivalent zur ihrer Unkorreliertheit ist. Die Aussage folgt nun unter Beachtung der Gleichung <math>\operatorname{Cov}(a^tAX, b^tBX) = a^tA\Sigma B^t b</math>.



3. Beispiele

Zum Abschluss dieses Artikels betrachten wir noch ein paar Beispiele die zeigen, wie Rechnungen im Zusammenhang mit der Normalverteilung durch die Betrachtung geeigneter Matrizen wesentlich vereinfacht werden können. Konkret geht es um die (nichtzentrale) <math>\chi^2</math>-Verteilung, die t-Verteilung und die Verteilung der im t-Test auftauchenden Statistik.
3.1 Definition: (nichtzentrale) <math>\chi^2</math>- und t-Verteilung
Es seien <math>X_1, X_2, \ldots</math> unabhängige Zufallsvariablen mit <math>X_i \sim \mathcal{N}(\mu_i, 1)</math>. Die Verteilung der Zufallsvariable
<math>S = \sum \limits_{i = 1}^n X_i^2</math>
nennt man nichtzentrale <math>\chi^2</math>-Verteilung mit n Freiheitsgraden und Nichtzentralitätsparameter <math>\delta^2 = \sum \limits_{i = 1}^n \mu_i^2</math>. Man verwendet hierbei die Schreibweise
<math>\displaystyle S \sim \chi^2_{n, \delta^2}</math>
Im Spezialfall <math>\delta^2 = 0</math> nennt man die Verteilung <math>\chi^2</math>-Verteilung mit n Freiheitsgraden und schreibt verkürzend
<math>S \sim \chi^2_n</math>

Sind die Zufallsvariablen <math>X</math> und <math>Y</math> unabhängig mit <math>X \sim \mathcal{N}(0, 1)</math> und <math>Y \sim \chi^2_n</math>, so nennt man die Verteilung der Zufallsvariable
<math>\displaystyle T = \frac{X}{\sqrt{\frac{Y}{n}}}</math>
t-Verteilung mit n Freiheitsgraden.
Man muss sich hierbei klarmachen, dass die Verteilung von <math>S</math> lediglich von dem Parametern n und <math>\delta^2</math> abhängt, nicht von den Werten der <math>\mu_i</math> selbst. Für <math>\delta^2 = 0</math> ist dies klar, da dieser Fall nur eintritt wenn <math>\mu_i = 0</math> für i = 1, ..., n gilt.
Im Fall <math>\delta^2 \ne 0</math> betrachte man die Vektoren
<math>X = (X_1, \ldots, X_n)^t \qquad \mu = (\mu_1, \ldots, \mu_n)^t \ne 0</math>
Man erweitere <math>\mu</math> zu einer Orthonormalbasis <math>\frac{\mu}{||\mu||}, y_2, \ldots, y_n</math> des <math>\mathbb{R}^n</math> und betrachte die orthogonale Matrix
<math>\displaystsyle M = \left(\frac{\mu}{||\mu||}, y_2, \ldots, y_n\right)</math>
Damit gilt:
<math>S = X^tX = X^t M^t M X = ||MX||^2</math>
Nun ist <math>MX</math> ein n-dimensional normalverteilter Zufallsvektor mit Erwartungswert <math>M\mu = (||\mu||, 0, \ldots, 0)</math> und Kovarianzmatrix <math>M^t I_n M = I_n</math>. Daraus ist ersichtlich, dass die Verteilung nur von den Parametern n und <math>||\mu||^2 = \delta^2</math> abhängt.

Die nichtzentrale <math>\chi^2</math>-Verteilung tritt im Zusammenhang mit linearen Modellen in der Statistik auf. Speziell ist hierfür das folgende Lemma wichtig:
3.2 Lemma:
Es sei <math>X\sim \mathcal{N}(\mu, I_n)</math> n-dimensional normalverteilt und die Matrix <math>P \in \mathbb{R}^{n \times n}</math> symmetrisch und idempotent. Dann gilt
<math>\displaystyle S := X^tPX \sim \chi^2_{r, \delta^2}</math>
wobei <math>r = \operatorname{spur}(P)</math> und <math>\delta^2 = \mu^t P\mu</math>.
Beweis: Da <math>P</math> symmetrisch ist, lässt sich die Matrix orthogonal diagonalisieren. Aufgrund der Idempotenz sind die einzigen Eigenwerte 0 und 1. Das bedeutet es gibt eine orthogonale Matrix <math>M</math> für die <math>P = M^t D M</math> gilt, wobei D die Blockmatrix
<math>\begin{pmatrix}I_k & 0 \\ 0 & 0\end{pmatrix}</math>
ist. Da die Spur einer Matrix invariant unter Ähnlichkeitstransformationen ist, gilt <math>k = \operatorname{spur}(P)</math>. Die Zufallsvariable <math>Y = MX</math> ist n-dimensional normalverteilt mit Erwartungswert <math>M\mu</math> und Kovarianzmatrix <math>M^t I_n M = I_n</math>. Daraus folgt
<math>\displaystyle S = X^tPX = X^tP^2X = (MX)^tD(MX) = (DY)^t(DY) = \sum \limits_{i = 1}^r Y_i^2 \sim \chi^2_{r, \delta^2}</math>
wobei
<math>\delta^2 = \sum \limits_{i = 1}^r\left(\mathbb{E}[Y_i]\right)^2 = \sum \limits_{i = 1}^r (M\mu)_i^2 = ||DM\mu||^2 = \mu^t P \mu</math>


Wir besitzen nun alle Hilfsmittel um die Verteilung der Statistik im t-Test zu bestimmen.
3.3 Satz: t-Test
Es seien <math>X_1, \ldots, X_n</math> i.i.d. normalverteilte Zufallsvariablen mit Erwartungswert <math>\mu</math> und Varianz <math>\sigma^2 > 0</math>. Man definiere den zu diesen Zufallsvariablen gehörenden Mittelwert und die empirische Varianz als
<math>\overline{X} = \frac{1}{n} \sum \limits_{i = 1}^n X_n</math>
<math>S = \frac{1}{n - 1} \sum \limits_{i = 1}^n \left(X_i - \overline{X} \right)^2</math>
Dann ist die Statistik
<math>T = \sqrt{n}\frac{\overline{X} - \mu}{\sqrt{S}}</math>
t-verteilt mit (n - 1) Freiheitsgraden.
Beweis: Wegen
<math>\displaystyle T = \frac{\sqrt{n}(\overline{X} - \mu)/\sigma}{\sqrt{S/\sigma^2}}</math>
genügt es den Fall <math>\sigma^2 = 1</math> zu betrachten. Die Behauptung folgt nun aus drei Teilaussagen:
  1. <math>\sqrt{n}(\overline{X} - \mu) \sim \mathcal{N}(0, 1)</math>
  2. <math>(n - 1)S \sim \chi^2_{n - 1}</math>
  3. <math>\overline{X}</math> und S sind unabhängig
1) Als Linearkombination unabhängiger normalverteilter Zufallsvariablen ist <math>\overline{X}</math> ebenfalls normalverteilt. Die Aussage folgt damit aus einer einfachen Berechnung des Erwartungswertes und der Varianz der betrachteten Zufallsvariable.

2) Setze <math>X = (X_1, \ldots, X_n)^t</math> und
<math>M = \begin{pmatrix} 1 - \tfrac{1}{n} & -\tfrac{1}{n} & \cdots & -\tfrac{1}{n} \\ -\tfrac{1}{n} & 1 - \tfrac{1}{n} & \cdots & -\tfrac{1}{n} \\ \vdots & \vdots & \ddots & \vdots \\ -\tfrac{1}{n} & \cdots & \cdots & 1 -\tfrac{1}{n} \end{pmatrix}</math>
Die Matrix <math>M - I_n</math> besteht nur aus identischen Zeilen, womit 1 ein Eigenwert von M mit Vielfachheit (n - 1) ist. Außerdem ist 0 ein Eigenwert zum Eigenvektor <math>(1, \ldots, 1)^t</math> und besitzt eine Vielfachheit von 1. Aufgrund der Symmetrie von M gibt es eine orthogonale Matrix V mit <math>M = V^tDV</math>, wobei <math>D</math> durch die Blockmatrix
<math>D = \begin{pmatrix} I_{n - 1} & 0 \\ 0 & 0 \end{pmatrix}</math>
gegeben ist. Daraus folgt <math>M^2 = V^t D^2 V = V^tDV = M</math>. Wegen
<math>(n - 1) S = \sum \limits_{i = 1}^n (X_i - \overline{X})^2 = ||MX||^2 = X^tMX</math>
folgt die Behauptung gemeinsam mit <math>\operatorname{spur}(M) = n - 1</math> und <math>(\mu, \ldots, \mu)M (\mu, \ldots, \mu)^t = 0</math> aus Lemma 3.2.

3) Mit der Wahl <math>N = \frac{1}{n}(1, \ldots, 1) \in \mathbb{R}^{1 \times n}</math> folgt <math>\overline{X} = NX</math>. Wegen <math>N I_n M = 0</math> sind die Zufallsvariablen <math>NX, MX</math> gemäß Lemma 2.7 unabhängig. Die Aussage folgt nun aus der Gleichung <math>S = \tfrac{1}{n - 1} ||MX||^2</math>.


\(\endgroup\)
Get link to this article Get link to this article  Printable version Printer-friendly version -  Choose language     Kommentare zeigen Comments  
pdfFür diesen Artikel gibt es keine pdf-Datei


Arbeitsgruppe Alexandria Dieser Artikel ist im Verzeichnis der Arbeitsgruppe Alexandria eingetragen:
: Mathematik :: Statistik :: Stochastik :: Normalverteilung :: Wahrscheinlichkeitsrechnung :: Wahrscheinlichkeit+Statistik :: Zentraler Grenzwertsatz :
Grundlegendes zur Normalverteilung [von Calculus]  
Eine Herleitung der wichtigsten Eigenschaften der Normalverteilung. Außerdem wird ein alternativer Ansatz zum typischerweise verwendeten Dichteansatz in mehreren Dimensionen aufgezeigt.
[Die Arbeitsgruppe Alexandria katalogisiert die Artikel auf dem Matheplaneten]

 
 
Aufrufzähler 7869
 
Aufrufstatistik des Artikels
Insgesamt 1577 externe Seitenaufrufe zwischen 2015.05 und 2021.05 [Anzeigen]
DomainAnzahlProz
https://google.com583.7%3.7 %
https://duckduckgo.com140.9%0.9 %
https://google.ch10.1%0.1 %
https://google.de102264.8%64.8 %
https://www.ecosia.org151%1 %
https://www.gutefrage.net40.3%0.3 %
https://google.at10.1%0.1 %
https://google.lu1408.9%8.9 %
https://google.dk1288.1%8.1 %
http://google.de1278.1%8.1 %
https://google.pl291.8%1.8 %
https://www.bing.com110.7%0.7 %
http://google.it70.4%0.4 %
http://google.com80.5%0.5 %
https://www.startpage.com50.3%0.3 %
https://startpage.com20.1%0.1 %
http://search.iminent.com10.1%0.1 %
https://bbb-02.bbb.uni-ulm.de10.1%0.1 %
http://google.at20.1%0.1 %
https://bbb09.kim.uni-konstanz.de10.1%0.1 %

Aufrufer der letzten 5 Tage im Einzelnen
Insgesamt 63 Aufrufe in den letzten 5 Tagen. [Anzeigen]
DatumAufrufer-URL
2021.05.01-2021.05.16 (57x)https://google.com/
2021.05.04-2021.05.15 (2x)https://duckduckgo.com/
2021.05.13 18:02https://google.ch
2021.05.10-2021.05.12 (2x)https://google.de/
2021.05.12 12:24https://google.com

Häufige Aufrufer in früheren Monaten
Insgesamt 1489 häufige Aufrufer [Anzeigen]
DatumAufrufer-URL
2020-2021 (869x)https://google.de/
2020-2021 (149x)https://google.de/url?sa=t
202011-11 (140x)https://google.lu
202104-04 (128x)https://google.dk/
2015-2018 (112x)http://google.de/url?sa=t&rct=j&q=
202009-09 (29x)https://google.pl
2020-2021 (12x)https://duckduckgo.com/
2020-2021 (11x)https://www.ecosia.org/
202005-05 (10x)https://www.bing.com/search?q=normalverteilung zentriert auf der map-lösun...
2016-2018 (8x)http://google.de/
201801-01 (7x)http://google.it/
201806-07 (5x)http://google.com/
2020-2021 (5x)https://www.startpage.com/
201610-10 (4x)http://google.de/search?ssite=&source=hp&q=charakteristische funktion normalv...

[Top of page]

"Stern Mathematik: Grundlegendes zur Normalverteilung" | 0 Comments
The authors of the comments are responsible for the content.

 
All logos and trademarks in this site are property of their respective owner. The comments are property of their posters, all the rest © 2001-2021 by Matroids Matheplanet
This web site was originally made with PHP-Nuke, a former web portal system written in PHP that seems no longer to be maintained nor supported. PHP-Nuke is Free Software released under the GNU/GPL license.
Ich distanziere mich von rechtswidrigen oder anstößigen Inhalten, die sich trotz aufmerksamer Prüfung hinter hier verwendeten Links verbergen mögen.
Lesen Sie die Nutzungsbedingungen, die Distanzierung, die Datenschutzerklärung und das Impressum.
[Seitenanfang]