geoopt Download - ดาวน์โหลดซอร์สโค้ด geoopt

geoopt

หลาม

v0.5.1

ดาวน์โหลด

Geoopt

สร้างสถานะ

Manifold Aware pytorch.optim

การใช้งานอย่างไม่เป็นทางการสำหรับ“ วิธีการเพิ่มประสิทธิภาพแบบปรับตัวของ Riemannian” ICLR2019 และอีกมากมาย

การติดตั้ง

ตรวจสอบให้แน่ใจว่าคุณติดตั้ง pytorch> = 2.0.1 ติดตั้ง

มีสองวิธีในการติดตั้ง geoopt:

GitHub (ที่ต้องการมาก) เนื่องจากการพัฒนาที่ใช้งานอยู่

pip install git+https://github.com/geoopt/geoopt.git

PYPI (นี่อาจจะอยู่เบื้องหลัง Master Branch อย่างมีนัยสำคัญ แต่เก็บไว้ให้สดที่สุดเท่าที่จะทำได้)

pip install geoopt

วิธีที่ต้องการในการติดตั้ง Geoopt จะเปลี่ยนไปเมื่อขั้นตอนโครงการที่เสถียร ตอนนี้ PYPI อยู่เบื้องหลัง Master ในขณะที่เราพัฒนาและใช้คุณสมบัติใหม่อย่างแข็งขัน

การสนับสนุน Pytorch

Geoopt สนับสนุน Pytorch Upstream อย่างเป็นทางการ 2 เวอร์ชันล่าสุด หรือรุ่นสำคัญล่าสุด

สิ่งที่ทำจนถึงตอนนี้

งานกำลังดำเนินการอยู่ แต่คุณสามารถใช้สิ่งนี้ได้แล้ว โปรดทราบว่า API อาจเปลี่ยนแปลงในอนาคต

เทนเซอร์

geoopt.ManifoldTensor - เช่นเดียวกับ Torch.Tensor ที่มี manifold คำหลักเพิ่มเติม
geoopt.ManifoldParameter - เหมือนกับข้างต้นซึ่งได้รับการยอมรับใน torch.nn.Module.parameters เป็น subclassed อย่างถูกต้อง

คอนเทนเนอร์ข้างต้นทั้งหมดมีวิธีการพิเศษในการทำงานกับพวกเขาเช่นเดียวกับคะแนนในบางท่อ

.proj_() - การฉายภาพในที่หลากหลาย
.proju(u) - Project Vector u บนพื้นที่แทนเจนต์ คุณต้องฉายภาพเวกเตอร์ทั้งหมดสำหรับทุกวิธีด้านล่าง
.egrad2rgrad(u) - โครงการไล่ระดับสี u บน riemannian manifold
.inner(u, v=None) - ผลิตภัณฑ์ภายใน ณ จุดนี้สำหรับเวกเตอร์แทนเจนต์สอง ตัว ณ จุดนี้ เวกเตอร์ที่ผ่านมาไม่ได้คาดการณ์ไว้พวกเขาจะถูกคาดการณ์ไว้แล้ว
.retr(u) - แผนที่การหดตัวต่อไปนี้เวกเตอร์ u
.expmap(u) - แผนที่เอ็กซ์โปเนนเชียลต่อไปนี้เวกเตอร์ u (หาก expmap ไม่สามารถใช้งานได้ในรูปแบบปิดจะใช้การประมาณที่ดีที่สุด)
.transp(v, u) - การขนส่งเวกเตอร์ v พร้อมทิศทาง u
.retr_transp(v, u) - การขนส่ง self , เวกเตอร์ v (และอาจเป็นเวกเตอร์มากขึ้น) ด้วยทิศทาง u (ผลตอบแทนเป็นเทนเซอร์ธรรมดา)

ความหลากหลาย

geoopt.Euclidean - ไม่มีข้อ จำกัด ใน R กับตัวชี้วัดแบบยุคลิด
geoopt.Stiefel - Stiefel Manifold บนเมทริกซ์ A in R^{nxp} : A^t A=I , n >= p
geoopt.Sphere - Sphere Manifold ||x||=1
geoopt.BirkhoffPolytope - Manifold of Doubly Stochastic Matrices
geoopt.Stereographic - แบบจำลองการฉายภาพสาม
geoopt.SphereProjection - รูปแบบการฉายภาพทรงกลมแบบทรงกลม
geoopt.PoincareBall - Poincare Ball Model
geoopt.Lorentz - โมเดลไฮเปอร์โบลด์
geoopt.ProductManifold - คอนสตรัคเตอร์ผลิตภัณฑ์
geoopt.Scaled - รุ่นที่ปรับขนาดของท่อร่วม คล้ายกับการเรียนรู้การเป็นตัวแทนแบบผสมกันในพื้นที่ผลิตภัณฑ์หากรวมกับ ProductManifold
geoopt.SymmetricPositiveDefinite - SPD Matrix Manifold
geoopt.UpperHalf - Siegel ครึ่งบน Manifold รองรับตัวชี้วัด Riemannian และ Finsler เช่นเดียวกับในพื้นที่สมมาตรสำหรับการฝังกราฟ: วิธี Finsler-Riemannian
geoopt.BoundedDomain - Siegel Bounded Domain Manifold สนับสนุนตัวชี้วัด Riemannian และ Finsler

manifolds ทั้งหมดใช้วิธีการที่จำเป็นในการจัดการเทนเซอร์ใน manifolds และเวกเตอร์แทนเจนต์เพื่อใช้โดยทั่วไป ดูเพิ่มเติมในเอกสาร

Optimizers

geoopt.optim.RiemannianSGD - คลาสย่อยของ torch.optim.SGD กับ API เดียวกัน
geoopt.optim.RiemannianAdam - คลาสย่อยของ torch.optim.Adam

ตัวอย่าง

geoopt.samplers.RSGLD - Riemannian Stochastic Groadient Langevin Dynamics
geoopt.samplers.RHMC - Riemannian Hamiltonian Monte -Carlo
geoopt.samplers.SGRHMC - Stochastic Gradient Riemannian Hamiltonian Monte -Carlo

ชั้น

โมดูล geoopt.layers ทดลองช่วยให้สามารถฝัง Geoopt เข้าสู่การเรียนรู้ได้อย่างลึกซึ้ง

อ้างถึง geoopt

หากคุณพบว่าโครงการนี้มีประโยชน์ในการวิจัยของคุณโปรดเพิ่มรายการ bibtex นี้ในการอ้างอิงและอ้างอิง

 @misc { geoopt2020kochurov ,
    title = { Geoopt: Riemannian Optimization in PyTorch } ,
    author = { Max Kochurov and Rasul Karimov and Serge Kozlukov } ,
    year = { 2020 } ,
    eprint = { 2005.02819 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.CG }
}