Matroids Matheplanet Forum Index
Moderiert von matroid
Mathematik » Numerik & Optimierung » Gradienten- und CG-Verfahren
Druckversion
Druckversion
Autor
Universität/Hochschule J Gradienten- und CG-Verfahren
Wirkungsquantum
Aktiv Letzter Besuch: in der letzten Woche
Dabei seit: 10.03.2015
Mitteilungen: 780
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Themenstart: 2020-04-08


Hallo,
wir haben eine kleine Optimierungsvorlesung, wo leider etwas oberflächlich alle möglichen Themen angekratzt werden (und es daher oft schwer nachvollziehbar ist, vor allem da hinter manchen Themen etliche Themenblöcke stecken, die nicht erklärt werden). Momentan hänge ich beim Gradientenverfahren bzw. CG Verfahren etwas:

1. Es wurden die beiden Wolfebedingungen aufgeführt (die schwache und starke):
$$     \nabla f(x^k + \tau d^k) d^k \ge \eta \nabla f(x^k) d^k
$$ $$    |\nabla f(x^k + \tau d^k) d^k | \le | \eta \nabla f(x^k) d^k |$$ Mir wurde allerdings nicht ganz klar, warum diese erfüllt sein müssen oder was sie mir aussagen?

2. Über das CG Verfahren wurde erwähnt, dass man bei einer quadratischen Funktion mit orthogonalen Richtungen (z.B. mit den Eigenvektoren) in n Schritten konvergiert, wenn die Funktion n dimensional ist. Mir wurde aber nicht ganz klar wieso es in n Schritten konvergiert? Oder wieso man orthogonale Vektoren benötigt (bzgl. einer durch die Matrix A definierten Metrik).

Danke im Voraus.

Grüße,
h


-----------------
$\text{h}=6,626⋅10^{-34} \text{Js}$



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
Goswin
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 18.09.2008
Mitteilungen: 1444
Aus: Chile, Ulm
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Beitrag No.1, eingetragen 2020-04-08


2020-04-08 13:48 - Wirkungsquantum im Themenstart schreibt:
Über das CG Verfahren wurde erwähnt, dass man bei einer quadratischen Funktion mit orthogonalen Richtungen (z.B. mit den Eigenvektoren) in n Schritten konvergiert, wenn die Funktion n dimensional ist. Mir wurde aber nicht ganz klar wieso es in n Schritten konvergiert? Oder wieso man orthogonale Vektoren benötigt (bzgl. einer durch die Matrix A definierten Metrik).

Diese Eigenschaft lässt sich bereits in $\mathbb{R}^2$ beobqachten, wo die Höhenlinien von konvexen quadratischen Funktionen Ellipsen sind. Alle diese ellipsenförmigen Höhenlinien haben die gleichen Hauptqachsen. Die Suche entlang orthogonaler Eigenvektoren entspricht nun einer Suche entlang der gemeinsamen Hauptqachsen dieser Ellipsen, und es sollte intuitiv einsichtig sein, dass man in $\mathbb{R}^2$ nach spätestens zwei Schritten zum Mittelpunkt der Ellipse gelangt, also zum gesuchten Minimum der konvexen quadratischen Funktion.


-----------------
/Kyristo meu kimgei kom nhi cumgen ta Gendmogen.



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
Diophant
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 18.01.2019
Mitteilungen: 3854
Aus: Rosenfeld, BW
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Beitrag No.2, eingetragen 2020-04-08


Hallo Wirkungsquantum,

über das Konjugierte Gradienten-Verfahren gibt es einen Artikel auf dem MP. Dies einfach als Ergänzung (vielleicht findest du dort ja die eine oder andere Antwort).


Gruß, Diophant



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
Wirkungsquantum
Aktiv Letzter Besuch: in der letzten Woche
Dabei seit: 10.03.2015
Mitteilungen: 780
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Beitrag No.3, vom Themenstarter, eingetragen 2020-04-09


Hallo,
danke für eure Antworten.
2020-04-08 15:12 - Goswin in Beitrag No. 1 schreibt:
Diese Eigenschaft lässt sich bereits in $\mathbb{R}^2$ beobqachten, wo die Höhenlinien von konvexen quadratischen Funktionen Ellipsen sind. Alle diese ellipsenförmigen Höhenlinien haben die gleichen Hauptqachsen. Die Suche entlang orthogonaler Eigenvektoren entspricht nun einer Suche entlang der gemeinsamen Hauptqachsen dieser Ellipsen, und es sollte intuitiv einsichtig sein, dass man in $\mathbb{R}^2$ nach spätestens zwei Schritten zum Mittelpunkt der Ellipse gelangt, also zum gesuchten Minimum der konvexen quadratischen Funktion.
Ah ja stimmt, das macht Sinn, danke🙂

2020-04-08 15:23 - Diophant in Beitrag No. 2 schreibt:
Hallo Wirkungsquantum,

über das Konjugierte Gradienten-Verfahren gibt es einen Artikel auf dem MP. Dies einfach als Ergänzung (vielleicht findest du dort ja die eine oder andere Antwort).


Gruß, Diophant
Das ist genau was ich gesucht habe, danke!


-----------------
$\text{h}=6,626⋅10^{-34} \text{Js}$



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
Wirkungsquantum hat die Antworten auf ihre/seine Frage gesehen.
Wirkungsquantum hat selbst das Ok-Häkchen gesetzt.
Neues Thema [Neues Thema]  Druckversion [Druckversion]

 


Wechsel in ein anderes Forum:
 Suchen    
 
All logos and trademarks in this site are property of their respective owner. The comments are property of their posters, all the rest © 2001-2020 by Matroids Matheplanet
This web site was originally made with PHP-Nuke, a former web portal system written in PHP that seems no longer to be maintained nor supported. PHP-Nuke is Free Software released under the GNU/GPL license.
Ich distanziere mich von rechtswidrigen oder anstößigen Inhalten, die sich trotz aufmerksamer Prüfung hinter hier verwendeten Links verbergen mögen.
Lesen Sie die Nutzungsbedingungen, die Distanzierung, die Datenschutzerklärung und das Impressum.
[Seitenanfang]