Téléchargement d' opacus - Téléchargement du code source opacus

opacus

Python

v1.5.2

Télécharger

Opacus est une bibliothèque qui permet la formation de modèles Pytorch avec une confidentialité différentielle. Il prend en charge la formation avec un minimum de modifications de code requises sur le client, a peu d'impact sur les performances de formation et permet au client de suivre en ligne le budget de confidentialité dépensé à un moment donné.

Public cible

Cette version de code s'adresse à deux publics cibles:

Les praticiens de la ML trouveront que c'est une introduction douce à la formation d'un modèle avec une confidentialité différentielle car elle nécessite des changements de code minimaux.
Les chercheurs différentiels en matière de confidentialité trouveront cela facile à expérimenter et à bricoler, leur permettant de se concentrer sur ce qui compte.

Installation

La dernière version d'Opacus peut être installée via pip :

pip install opacus

Ou, alternativement, via conda :

conda install -c conda-forge opacus

Vous pouvez également installer directement à partir de la source des dernières fonctionnalités (ainsi que ses bizarreries et ses bogues potentiellement occasionnels):

git clone https://github.com/pytorch/opacus.git
cd opacus
pip install -e .

Commencer

Pour former votre modèle avec une confidentialité différentielle, tout ce que vous avez à faire est d'instancier une PrivacyEngine et de passer votre modèle, Data_loader et Optimizer sur la méthode make_private() du moteur pour obtenir leurs homologues privés.

 # define your components as usual
model = Net ()
optimizer = SGD ( model . parameters (), lr = 0.05 )
data_loader = torch . utils . data . DataLoader ( dataset , batch_size = 1024 )

# enter PrivacyEngine
privacy_engine = PrivacyEngine ()
model , optimizer , data_loader = privacy_engine . make_private (
    module = model ,
    optimizer = optimizer ,
    data_loader = data_loader ,
    noise_multiplier = 1.1 ,
    max_grad_norm = 1.0 ,
)
# Now it's business as usual

L'exemple MNIST montre une exécution de bout en bout à l'aide d'Opacus. Le dossier Exemples contient plus de tels exemples.

Migration vers 1.0

Opacus 1.0 a introduit de nombreuses améliorations à la bibliothèque, mais aussi quelques changements de rupture. Si vous utilisez Opacus 0.x et que vous souhaitez mettre à jour la dernière version, veuillez utiliser ce guide de migration

Apprendre encore plus

Tutoriels interactifs

Nous avons construit une série de tutoriels basés sur Ipython comme une introduction douce aux modèles de formation avec la confidentialité et l'utilisation de diverses fonctionnalités d'Opacus.

Construire un classificateur d'image avec une confidentialité différentielle
Formation d'un modèle LSTM différentiellement privé pour la classification des noms
Classificateur de texte de construction avec une confidentialité différentielle sur Bert
Guide OPACUS: Introduction aux fonctionnalités avancées
Guide OPACUS: Grad Samplers
Guide de l'Opacus: validateur et fixateur du module

Rapport technique et citation

Le rapport technique introduisant Opacus, présentant ses principes de conception, ses fondations mathématiques et ses références peut être trouvée ici.

Pensez à citer le rapport si vous utilisez Opacus dans vos papiers, comme suit:

 @article{opacus,
  title={Opacus: {U}ser-Friendly Differential Privacy Library in {PyTorch}},
  author={Ashkan Yousefpour and Igor Shilov and Alexandre Sablayrolles and Davide Testuggine and Karthik Prasad and Mani Malek and John Nguyen and Sayan Ghosh and Akash Bharadwaj and Jessica Zhao and Graham Cormode and Ilya Mironov},
  journal={arXiv preprint arXiv:2109.12298},
  year={2021}
}

Blogposts et discussions

Si vous souhaitez en savoir plus sur DP-SGD et des sujets connexes, consultez notre série de blogs et de conférences:

Série de confidentialité différentielle Partie 1 | Algorithme DP-SGD expliqué
Série de confidentialité différentielle Partie 2 | Calcul de gradient efficace par échantillon dans Opacus
Tutoriel Pricon 2020: formation de modèle différentiellement privé avec Opacus
Confidentialité différentielle sur Pytorch | Pytorch Developer Day 2020
Opacus v1.0 Faits saillants | Pytorch Developer Day 2021

FAQ

Consultez la page FAQ pour obtenir des réponses à certaines des questions les plus fréquemment posées sur la confidentialité différentielle et l'Opacus.