geoopt -Download - geoopt Source Code Download

geoopt

Python

v0.5.1

Herunterladen

Geoopt

Status erstellen

Vielfalt bewusst pytorch.optim .

Inoffizielle Implementierung für „Riemannian adaptive Optimierungsmethoden“ ICLR2019 und mehr.

Installation

Stellen Sie sicher, dass Sie Pytorch> = 2.0.1 installiert haben

Es gibt zwei Möglichkeiten, Geoopt zu installieren:

GitHub (bisher bevorzugt) aufgrund aktiver Entwicklung

pip install git+https://github.com/geoopt/geoopt.git

PYPI (Dies könnte deutlich hinter Master Branch liegen, aber so frisch wie möglich gehalten)

pip install geoopt

Die bevorzugte Möglichkeit zur Installation von Geoopt wird sich ändern, sobald die stabile Projektphase erreicht ist. Jetzt steht PYPI hinter Master, da wir neue Funktionen aktiv entwickeln und implementieren.

Pytorch -Unterstützung

Geoopt unterstützt offiziell 2 neueste stabile Versionen von Pytorch Upstream oder der neuesten Hauptveröffentlichung.

Was wird bisher gemacht

Die Arbeiten sind in Arbeit, aber Sie können dies bereits verwenden. Beachten Sie, dass sich die API in zukünftigen Veröffentlichungen ändern könnte.

Tensoren

geoopt.ManifoldTensor - genau wie Torch.tensor mit zusätzlichem manifold -Keyword -Argument.
geoopt.ManifoldParameter - Wie oben, in torch.nn.Module.parameters als korrekt unterklassifiziert anerkannt.

Alle oben genannten Behälter haben spezielle Methoden, um mit ihnen wie mit Punkten auf einem bestimmten Verteiler zusammenzuarbeiten

.proj_() - Prognose auf dem Verteiler.
.proju(u) - Projektvektor u auf dem Tangentenraum. Sie müssen alle Vektoren für alle folgenden Methoden projizieren.
.egrad2rgrad(u) - Projektgradient u auf Riemannschen Verteiler
.inner(u, v=None) - Zu diesem Zeitpunkt für zwei Tangentenvektoren innere Produkte. Die bestandenen Vektoren werden nicht projiziert, sie werden bereits angenommen, dass sie bereits projiziert werden.
.retr(u) - Rückzugskarte nach Vektor u
.expmap(u) - Exponentialkarte nach Vektor u (wenn expmap nicht in geschlossener Form verfügbar ist, wird die beste Näherung verwendet)
.transp(v, u) - Transportvektor v mit Richtung u
.retr_transp(v, u) - Transport self , Vektor v (und möglicherweise mehr Vektoren) mit Richtung u (Renditen sind einfache Tensoren)

Verteiler

geoopt.Euclidean - Unbekannter Verteiler in R mit euklidischen Metrik
geoopt.Stiefel - Stiefel -Verteiler auf den Matrizen A in R^{nxp} : A^t A=I , n >= p
geoopt.Sphere - Kugelkrümmer ||x||=1
geoopt.BirkhoffPolytope - Verteiler doppelt stochastischer Matrizen
geoopt.Stereographic - Stereografieprojektionsmodell konstanter Krümmung
geoopt.SphereProjection - Sphere Stereographic -Projektionsmodell
geoopt.PoincareBall - Poincare -Ballmodell
geoopt.Lorentz - Hyperboloidmodell
geoopt.ProductManifold - Produkt vieler Konstruktor
geoopt.Scaled - Skalierte Version des Verteilers. Ähnlich wie das Lernen von Mischkurvendarstellungen in Produkträumen in Kombination mit ProductManifold
geoopt.SymmetricPositiveDefinite - SPD -Matrix -Verteiler
geoopt.UpperHalf - Siegel obere Hälfte. Unterstützt die Metriken von Riemannian und Finsler, wie in symmetrischen Räumen für Grafik-Einbettungen: ein Finsler-Riemannian-Ansatz.
geoopt.BoundedDomain - Siegel begrenzte Domänenverteiler. Unterstützt die Metriken von Riemannian und Finsler.

Alle Verteiler implementieren Methoden, die zur Manipulation von Tensoren auf Verteilern und Tangentenvektoren erforderlich sind, um allgemeine Zwecke zu verwenden. Weitere Informationen finden Sie in Dokumentation.

Optimierer

geoopt.optim.RiemannianSGD - Eine Unterklasse von torch.optim.SGD mit derselben API
geoopt.optim.RiemannianAdam - Eine Unterklasse von torch.optim.Adam

Sampler

geoopt.samplers.RSGLD - Riemannianer stochastischer Gradienten Langevin Dynamik
geoopt.samplers.RHMC - Riemannian Hamiltonian Monte -Carlo
geoopt.samplers.SGRHMC - Stochastischer Gradienten Riemannian Hamiltonian Monte -Carlo

Schichten

Experimental geoopt.layers Modul ermöglicht es, Geoopt in Deep Learning einzubetten

Unter Berufung auf Geoopt

Wenn Sie dieses Projekt in Ihrer Forschung nützlich finden, fügen Sie bitte diesen Bibtex -Eintrag in Referenzen hinzu und zitieren Sie.

 @misc { geoopt2020kochurov ,
    title = { Geoopt: Riemannian Optimization in PyTorch } ,
    author = { Max Kochurov and Rasul Karimov and Serge Kozlukov } ,
    year = { 2020 } ,
    eprint = { 2005.02819 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.CG }
}