torchsde

Pytorch -Implementierung differenzierbarer SDE -Solvers

Diese Bibliothek bietet Löser für stochastische Differentialgleichungen (SDE) mit GPU -Unterstützung und effizienter Backpropagation.

---

Installation

pip install torchsde

Anforderungen: Python> = 3,8 und Pytorch> = 1,6.0.

Dokumentation

Hier erhältlich.

Beispiele

Schnelles Beispiel

 import torch
import torchsde

batch_size , state_size , brownian_size = 32 , 3 , 2
t_size = 20

class SDE ( torch . nn . Module ):
    noise_type = 'general'
    sde_type = 'ito'

    def __init__ ( self ):
        super (). __init__ ()
        self . mu = torch . nn . Linear ( state_size , 
                                  state_size )
        self . sigma = torch . nn . Linear ( state_size , 
                                     state_size * brownian_size )

    # Drift
    def f ( self , t , y ):
        return self . mu ( y )  # shape (batch_size, state_size)

    # Diffusion
    def g ( self , t , y ):
        return self . sigma ( y ). view ( batch_size , 
                                  state_size , 
                                  brownian_size )

sde = SDE ()
y0 = torch . full (( batch_size , state_size ), 0.1 )
ts = torch . linspace ( 0 , 1 , t_size )
# Initial state y0, the SDE is solved over the interval [ts[0], ts[-1]].
# ys will have shape (t_size, batch_size, state_size)
ys = torchsde . sdeint ( sde , y0 , ts )

Notizbuch

examples/demo.ipynb gibt eine kurze Anleitung zum Lösen von SDEs, einschließlich subtiler Punkte wie der Feststellung der Zufälligkeit im Löser und der Auswahl der Rauscharten .

Latente SDE

examples/latent_sde.py lernt eine latente stochastische Differentialgleichung , wie in Abschnitt 5 von [1]. Das Beispiel passt zu einer SDE, während es reguliert wird, als es wie ein früherer Prozess von Ornstein-Uhlenbeck ist. Das Modell kann lose als variationsübergreifender Autoencoder mit seinem vorherigen und ungefähren posterioren SDES angesehen werden. Dieses Beispiel kann über übertragen werden

python -m examples.latent_sde --train-dir < TRAIN_DIR >

Das Programm gibt Zahlen in den von <TRAIN_DIR> angegebenen Pfad aus. Das Training sollte sich nach 500 Iterationen mit den Standardhyperparametern stabilisieren.

Neuronale SDEs als Gans

examples/sde_gan.py lernt einen SDE als Gan wie in [2], [3]. Das Beispiel trainiert einen SDE als Generator eines GaN, während sie einen neuronalen CDE [4] als Diskriminator verwenden. Dieses Beispiel kann über übertragen werden

python -m examples.sde_gan

Zitat

Wenn Sie diese Codebasis in Ihrer Forschung nützlich empfanden, sollten Sie sich entweder oder beides von Folgendem zitieren:

 @article{li2020scalable,
  title={Scalable gradients for stochastic differential equations},
  author={Li, Xuechen and Wong, Ting-Kam Leonard and Chen, Ricky T. Q. and Duvenaud, David},
  journal={International Conference on Artificial Intelligence and Statistics},
  year={2020}
}

 @article{kidger2021neuralsde,
  title={Neural {SDE}s as {I}nfinite-{D}imensional {GAN}s},
  author={Kidger, Patrick and Foster, James and Li, Xuechen and Oberhauser, Harald and Lyons, Terry},
  journal={International Conference on Machine Learning},
  year={2021}
}

Referenzen

[1] Xuechen Li, Ting-Kam Leonard Wong, Ricky TQ Chen, David Duvenaud. "Skalierbare Gradienten für stochastische Differentialgleichungen". Internationale Konferenz über künstliche Intelligenz und Statistik. 2020. [Arxiv]

[2] Patrick Kidger, James Foster, Xuechen Li, Harald Oberhauser, Terry Lyons. "Neuronale SDEs als unendlich-dimensionale Gans". Internationale Konferenz über maschinelles Lernen 2021. [Arxiv]

[3] Patrick Kidger, James Foster, Xuechen Li, Terry Lyons. "Effiziente und genaue Gradienten für neuronale SDEs". 2021. [Arxiv]

[4] Patrick Kidger, James Morrill, James Foster, Terry Lyons, "Neuronale Differentialgleichungen für unregelmäßige Zeitreihen". Neuronale Informationsverarbeitungssysteme 2020. [ARXIV]

---

Dies ist ein Forschungsprojekt, kein offizielles Google -Produkt.