Forum:  Stochastik und Statistik
Thema: Markovketten - Grenzwahrscheinlichkeiten
Themen-Übersicht
Stefsn
Aktiv
Dabei seit: 17.05.2019
Mitteilungen: 30
Aus:
Themenstart: 2019-06-13 12:56

Seid gegrüßt. Ich bin's mal wieder. Diesmal zum Thema Markovketten.

Folgendes Problem:

Seien $Z_i$ mit $i=0,1, ... , a , ... , a+b$ mögliche Zustände einer Markovkette. Die Zustände $Z_0$ und $Z_{a+b}$ wirken absorbierend. Sei a das Startkapital von Spieler A und b das Startkapital von Spieler B. Die Zustände $Z_0$ bzw. $Z_{a+b}$ beschreiben den Zustand eines Bankrotts von Spieler A bei 0 Euro bzw. B bei a+b Euro. Die Markovkette startet in Zustand $Z_a$. Die Wahrscheinlichkeit in einem Schritt zu gewinnen sei für Spieler A gleich $p$, für Spieler B sei sie $q$. Darüber hinaus gilt $p+q=1$.

Übergangsmatrix:

\[
    P= \left[
    \begin{array}{ccccccccccc}
      1 &  0 & 0 & 0 & \cdots & 0 & 0 & 0 \cdots & 0 & 0\\
      q &  0 & p & 0 & \cdots & 0 & 0 & 0 \cdots & 0 & 0\\
      0 &  q & 0 & p & \cdots& 0 & 0 & 0 \cdots & 0 & 0\\
      0 &  0 & q & 0 & \cdots& 0 & 0 & 0 \cdots & 0 & 0\\
      \vdots & \vdots & \vdots & \ddots & \vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\    
      0 &  0 & 0 & 0 & \cdots & 0 & p & 0 \cdots & 0 & 0\\
      0 &  0 & 0 & 0 & \cdots & q & 0 & p \cdots & 0 & 0\\
      0 &  0 & 0 & 0 & \cdots & 0 & q & 0 \cdots & 0 & 0\\
      \vdots & \vdots & \vdots & \ddots & \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\    
      0 &  0 & 0 & 0 & \cdots & 0 & 0 & 0 \cdots & 0 & p\\
      0 &  0 & 0 & 0 & \cdots & 0 & 0 & 0 \cdots & 0 & 1\\
    \end{array}
    \right]
  \] mit in der 6. - 8. Spalte Zustande $Z_{a-1}$,  $Z_{a}$ und $Z_{a+1}$
Startvektor:

\[
    x = \left[
    \begin{array}{ccccccccc}
      0 & 0 & \cdots & 0 & 1 & 0 & \cdots & 0 & 0\\
    \end{array}
    \right]
  \]
mit 1 in der a-ten Spalte.

Zustandswahrscheinlichkeit:

 \[
    W_n(Z) = \left[
    \begin{array}{c}
      W(Z_0) & \cdots & W(Z_{a-1}) & W(Z_{a}) &  W(Z_{a+1}) & \cdots &  W(Z_{a+b-1}) & W(Z_{a+b}) \\
    \end{array}
    \right] = x \cdot P^n
 \] mit n=0,1,... (Anzahl der Schritte)

Jetzt Meine Frage.

Ich suche die Grenzwahrscheinlichkeiten für die Zustände $Z_0$ und $Z_{a+b}$ ohne dafür die komplette Matrix auszurechnen. Gibt es da eine geeignete Transformation um am Ende eine Gleichung zu bekommen, die abhängig von Startkapital a,b und p ist? Mittels meinen gewählten Ansatz.


Freue mich auf eure Ansätze :)


Diophant
Senior
Dabei seit: 18.01.2019
Mitteilungen: 4636
Aus: Rosenfeld, BW
Beitrag No.1, eingetragen 2019-06-13 17:48

Hallo,

da deine Frage jetzt schon eine ganze Weile offen ist, versuche ich mich mal an einer ersten Antwort. Ich bin aber auf diesem Gebiet nicht mehr so sattelfest, dass ich mir aus dem Stand eine hilfreiche Erklärung zutrauen würde. Von daher möchte ich dir lieber die Lektüre dieses Skripts ab S. 47 empfehlen. Da ist der gesuchte Weg samt Formel beschrieben.


Gruß, Diophant


Stefsn
Aktiv
Dabei seit: 17.05.2019
Mitteilungen: 30
Aus:
Beitrag No.2, vom Themenstarter, eingetragen 2019-06-13 23:04

Hey Diophant. Vielen Dank für deinen Beitrag.

Den analytischen Weg habe ich schon durchdrungen. Das ist sozusagen das, was du mir geschickt hast. Ich würde nun aber gerne versuchen, über die Matrixschreibweise zu einer ähnlichen (im Idealfall zur selben) Lösung zu kommen.

Trotzdem erstmal Danke für den Versuch. :)


syngola
Senior
Dabei seit: 21.10.2003
Mitteilungen: 2843
Aus: Berlin
Beitrag No.3, eingetragen 2019-06-14 16:59

Hi,

man könnte über die Fundamentalmatrix gehen. Packt man alle Übergänge zwischen transienten Zuständen in eine Matrix <math>Q</math>, so existiert <math>(Id-Q)^{-1}</math>. Die Absorptionswahrscheinlichkeit ist dann <math>\displaystyle e_i(Id-Q)^{-1}R^\top,</math> wobei <math>e_i</math> ein passender Einheitsvektor ist (d.h. mit Wahrscheinlichkeit 1 beginnt die Kette in i) und <math>R</math> ist der Vektor, der alle Übergange von den transienten zu dem gewünschten absorbierenden Zustand enthält.

Zur Berechnung der Inversen kannst Du Algorithmen zur Berechnung von Inversen von tridiagonalen Matrizen verweden. Dafür gibt es rekursiv gegebene Lösungen.

Die Rechnung ist aber nicht einfacher als der analytische Weg. Eigentlich sind beide Rechnungen identisch. Sie benutzen beide etwas was Potenzialtheorie für Markovketten genannt wird. In Snell's Buch findest Du eine etwas veraltete aber vollständige Darstellung. Ansonsten findest Du das mehr oder weniger explizit in den meisten anderen Büchern über Markovketten. Das Buch von Bremaud sollte einiges dazu haben.

Du kannst aber auch den Martingalansatz von hier:
math.stackexchange.com/questions/2119476/gamblers-ruin-and-martingale

benutzen. Setzt allerdings einiges mehr an Wissen voraus in Bezug auf Wkeitstheorie.

Gruß, Peter


Stefsn
Aktiv
Dabei seit: 17.05.2019
Mitteilungen: 30
Aus:
Beitrag No.4, vom Themenstarter, eingetragen 2019-06-17 10:33

Vielen dank. Einen ähnlichen Ansatz hatte ich auch gefunden.

Dann werde ich mir das mal durchlesen. Danke dir. :)




Dieses Forumbeitrag kommt von Matroids Matheplanet
https://https://matheplanet.de

Die URL für dieses Forum-Thema ist:
https://https://matheplanet.de/default3.html?topic=242262=100
Druckdatum: 2020-09-18 19:05