Die Mathe-Redaktion [Home] - Neues auf einen Blick 10.06.2023 17:08 [Neues] [Forum] [Suche] - Registrieren/Login
 
Matroids Matheplanet Forum Index
Moderiert von matroid
Mathematik » Numerik & Optimierung » computation of the Gram matrix for natural energy descent
Autor
Universität/Hochschule computation of the Gram matrix for natural energy descent
sell
Neu Letzter Besuch: im letzten Quartal
Dabei seit: 22.03.2023
Mitteilungen: 1
  Themenstart: 2023-03-22

I h*ave found a paper on https://arxiv.org/abs/2302.13163 where a modification of the natural gradient descent is proposed. The natural gradient can be computet with (eq. 8) $$ \nabla^EL(\theta) := G^{-1}_E(\theta)\nabla L(\theta). $$ $\theta$ are the parameters of a neural network and L is the loss-function. The formula for the "energy Gram matrix" is (eq. 6)* $$ G_E(\theta)_{ij} := D^2E(u_\theta)(\partial_{\theta_i}u_\theta.\partial_{\theta_j}u_\theta) $$ If I understood the paper right $D^2$ is the vector of soft derivatives up to the order 2 and $D^2E(u_\theta)$ is an operator E(u) is the energy function. And in one example it is defines as (eq 16): $$E(u):=\frac{1}{2} \int_{\Omega}\left|u^{\prime}\right|^{2} \mathrm{~d} x+\frac{1}{4} \int_{\Omega} u^{4} \mathrm{~d} x-\int_{\Omega} f u \mathrm{~d} x$$ The given "energy Gram matrix is (one equation after eq. 17) $$D^{2} E(u)(v, w)=\int_{\Omega} v^{\prime} w^{\prime} \mathrm{d} x+3 \int_{\Omega} u^{2} v w \mathrm{~d} x$$ I dont understand how eq. 6 is used to derive the last equation. Thank you for your time

   Profil
Folgende Antworten hat der Fragensteller vermutlich noch nicht gesehen.
Er/sie war noch nicht wieder auf dem Matheplaneten
Buri
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 02.08.2003
Mitteilungen: 46791
Wohnort: Dresden
  Beitrag No.1, eingetragen 2023-03-22

Siehe hier. Gruß Buri

   Profil
zippy
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 24.10.2018
Mitteilungen: 4648
  Beitrag No.2, eingetragen 2023-03-22

$D^2E(u)(v,w)$ ist die Bilinearform, die zur zweiten Ableitung von $E(u)$ gehört:$$\begin{align*} D^2E(u)(v,w) &= \frac12\int_\Omega\left[\left({\partial\over\partial u'}\right)^2|u'|^2 \right]v'w'\,\mathrm dx + \frac14\int_\Omega\left[\left({\partial\over\partial u}\right)^2u^4 \right]v\,w \,\mathrm dx \\[2.4ex] &= \int_\Omega v'w'\,\mathrm dx + \int_\Omega3u^2\,v\,w \,\mathrm dx \end{align*}$$Der dritte Summand von $E(u)$ ist linear in $u$ und trägt daher nichts bei. --zippy

   Profil

Wechsel in ein anderes Forum:
 Suchen    
 
All logos and trademarks in this site are property of their respective owner. The comments are property of their posters, all the rest © 2001-2023 by Matroids Matheplanet
This web site was originally made with PHP-Nuke, a former web portal system written in PHP that seems no longer to be maintained nor supported. PHP-Nuke is Free Software released under the GNU/GPL license.
Ich distanziere mich von rechtswidrigen oder anstößigen Inhalten, die sich trotz aufmerksamer Prüfung hinter hier verwendeten Links verbergen mögen.
Lesen Sie die Nutzungsbedingungen, die Distanzierung, die Datenschutzerklärung und das Impressum.
[Seitenanfang]