PyTorch BayesianCNN

Wir stellen bayes'sche Faltungsnetzwerke mit variatorischer Inferenz ein, eine Variante von Faltungsnetzwerken (CNNs), bei denen die unlösbaren posterioren Wahrscheinlichkeitsverteilungen über Gewichte durch Bayes durch Backprop abgeleitet werden. Wir zeigen, wie unsere vorgeschlagene Variationsinferenzmethode Performances erreicht, die der häufigen Inferenz in identischen Architekturen auf mehreren Datensätzen (MNIST, CIFAR10, CIFAR100) entsprechen, wie in dem Papier beschrieben.

---

Filtergewichtsverteilungen in einem Bayes'schen gegen Frequentistischen Ansatz

---

Vollbayesianische Perspektive eines ganzen CNN

---

Schichttypen

Dieses Repository enthält zwei Arten von Bayesian Lauer -Implementierung:

• BBB (Bayes by Backprop):
  Basierend auf diesem Papier. Diese Schicht probiert alle Gewichte einzeln ab und kombiniert sie dann mit den Eingängen, um eine Probe aus den Aktivierungen zu berechnen.

• BBB_LRT (Bayes von Backprop mit lokalem Reparametrisierungstrick):
  Diese Schicht kombiniert Bayes per Backprop mit lokalem Reparametrisierungstrick aus diesem Papier. Dieser Trick ermöglicht es, die Verteilung über Aktivierungen direkt zu probieren.

---

Machen Sie Ihr benutzerdefiniertes Bayes'sche Netzwerk?

Um ein benutzerdefiniertes Bayesian -Netzwerk zu erstellen, inerit layers.misc.ModuleWrapper anstelle von torch.nn.Module und verwenden Sie BBBLinear und BBBConv2d aus einer der angegebenen Ebenen ( BBB oder BBB_LRT ) anstelle von torch.nn.Linear und torch.nn.Conv2d . Darüber hinaus müssen keine forward definiert werden. Es wird automatisch durch ModuleWrapper betreut.

Zum Beispiel:

 class Net ( nn . Module ):

  def __init__ ( self ):
    super (). __init__ ()
    self . conv = nn . Conv2d ( 3 , 16 , 5 , strides = 2 )
    self . bn = nn . BatchNorm2d ( 16 )
    self . relu = nn . ReLU ()
    self . fc = nn . Linear ( 800 , 10 )

  def forward ( self , x ):
    x = self . conv ( x )
    x = self . bn ( x )
    x = self . relu ( x )
    x = x . view ( - 1 , 800 )
    x = self . fc ( x )
    return x

Das obere Netzwerk kann wie folgt in Bayesian konvertiert werden:

 class Net ( ModuleWrapper ):

  def __init__ ( self ):
    super (). __init__ ()
    self . conv = BBBConv2d ( 3 , 16 , 5 , strides = 2 )
    self . bn = nn . BatchNorm2d ( 16 )
    self . relu = nn . ReLU ()
    self . flatten = FlattenLayer ( 800 )
    self . fc = BBBLinear ( 800 , 10 )

Anmerkungen:

1. Fügen Sie FlattenLayer vor dem ersten BBBLinear -Block hinzu.
2. Die forward des Modells gibt ein Tupel als (logits, kl) zurück.
3. priors können als Argument an die Schichten übergeben werden. Standardwert ist:

 priors = {
    'prior_mu' : 0 ,
    'prior_sigma' : 0.1 ,
    'posterior_mu_initial' : ( 0 , 0.1 ),  # (mean, std) normal_
    'posterior_rho_initial' : ( - 3 , 0.1 ),  # (mean, std) normal_
}

---

Wie führe ich Standardexperimente durch?

Derzeit werden folgende Datensätze und Modelle unterstützt.

• Datensätze: MNIST, CIFAR10, CIFAR100
• Models: Alexnet, Lenet, 3Conv3fc

Bayesian

python main_bayesian.py

• Setzen Sie Hyperparameter in config_bayesian.py

Häufigkeit

python main_frequentist.py

• Setzen Sie Hyperparameter in config_frequentist.py

---

Verzeichnisstruktur:

layers/ : Enthält ModuleWrapper , FlattenLayer , BBBLinear und BBBConv2d .
models/BayesianModels/ : Enthält Standard -Bayes'sche Modelle (BBBLENET, BBBALEXNET, BBB3CONV3FC).
models/NonBayesianModels/ : Enthält Standard-Nicht-Bayesian-Modelle (Lenet, Alexnet).
checkpoints/ : Checkpoint -Verzeichnis: Modelle werden hier gespeichert.
tests/ : Grundlegende unittestes Fälle für Schichten und Modelle.
main_bayesian.py : Bayes'sche Modelle trainieren und bewerten.
config_bayesian.py : Hyperparameter für main_bayesian -Datei.
main_frequentist.py : trainieren und bewerten Sie nicht-bayesische (Frequentist) Modelle.
config_frequentist.py : Hyperparameter für main_frequentist -Datei.

---

Unsicherheitsschätzung:

Es gibt zwei Arten von Unsicherheiten: Aleateorische und epistemische .
Aleateorische Unsicherheit ist eine Maßnahme für die Variation von Daten, und die epistemische Unsicherheit wird durch das Modell verursacht.
Hier 'normalized' zwei Methoden in uncertainty_estimation.py 'softmax' .
Außerdem kann uncertainty_estimation.py verwendet werden, um Unsicherheiten durch ein Bayesian neuronales Netzwerk auf MNIST und notMNIST -Datensatz zu vergleichen. Sie können Argumente wie:

1. net_type : lenet , alexnet oder 3conv3fc . Standard ist lenet .
2. weights_path : Gewichte für das angegebene net_type . Standard ist 'checkpoints/MNIST/bayesian/model_lenet.pt' .
3. not_mnist_dir : Verzeichnis des notMNIST -Datensatzes. Standard ist 'data' .
4. num_batches : Anzahl der Chargen, für die Unsicherheiten berechnet werden müssen.

Anmerkungen :

1. Sie müssen den notmnistischen Datensatz von hier herunterladen.
2. Parameter layer_type und activation_type in uncertainty_etimation.py müssen von config_bayesian.py festgelegt werden, um mit den bereitgestellten Gewichten übereinzustimmen.

---

Wenn Sie diese Arbeit verwenden, zitieren Sie bitte:

 @article{shridhar2019comprehensive,
  title={A comprehensive guide to bayesian convolutional neural network with variational inference},
  author={Shridhar, Kumar and Laumann, Felix and Liwicki, Marcus},
  journal={arXiv preprint arXiv:1901.02731},
  year={2019}
}

 @article{shridhar2018uncertainty,
  title={Uncertainty estimations by softplus normalization in bayesian convolutional neural networks with variational inference},
  author={Shridhar, Kumar and Laumann, Felix and Liwicki, Marcus},
  journal={arXiv preprint arXiv:1806.05978},
  year={2018}
}
}

---