Unduh opacus - Unduh Kode Sumber opacus

opacus

ular piton

v1.5.2

Unduh

Opacus adalah perpustakaan yang memungkinkan pelatihan model Pytorch dengan privasi diferensial. Ini mendukung pelatihan dengan perubahan kode minimal yang diperlukan pada klien, memiliki sedikit dampak pada kinerja pelatihan, dan memungkinkan klien untuk melacak secara online anggaran privasi yang dikeluarkan pada saat tertentu.

Target audiens

Rilis kode ini ditujukan untuk dua audiens target:

Praktisi ML akan menemukan ini sebagai pengantar yang lembut untuk melatih model dengan privasi diferensial karena membutuhkan perubahan kode minimal.
Peneliti privasi diferensial akan menemukan ini mudah bereksperimen dan bermain -main, memungkinkan mereka untuk fokus pada apa yang penting.

Instalasi

Rilis terbaru Opacus dapat diinstal melalui pip :

pip install opacus

Atau, sebagai alternatif, melalui conda :

conda install -c conda-forge opacus

Anda juga dapat menginstal langsung dari sumber untuk fitur terbaru (bersama dengan keanehan dan bug yang berpotensi sesekali):

git clone https://github.com/pytorch/opacus.git
cd opacus
pip install -e .

Memulai

Untuk melatih model Anda dengan privasi diferensial, yang perlu Anda lakukan adalah instantiate PrivacyEngine dan lulus model Anda, data_loader, dan pengoptimal ke metode make_private() mesin untuk mendapatkan rekan pribadi mereka.

 # define your components as usual
model = Net ()
optimizer = SGD ( model . parameters (), lr = 0.05 )
data_loader = torch . utils . data . DataLoader ( dataset , batch_size = 1024 )

# enter PrivacyEngine
privacy_engine = PrivacyEngine ()
model , optimizer , data_loader = privacy_engine . make_private (
    module = model ,
    optimizer = optimizer ,
    data_loader = data_loader ,
    noise_multiplier = 1.1 ,
    max_grad_norm = 1.0 ,
)
# Now it's business as usual

Contoh MNIST menunjukkan menjalankan end-to-end menggunakan Opacus. Folder contoh berisi lebih banyak contoh seperti itu.

Migrasi ke 1.0

OPACUS 1.0 memperkenalkan banyak peningkatan ke perpustakaan, tetapi juga beberapa perubahan yang melanggar. Jika Anda telah menggunakan Opacus 0.x dan ingin memperbarui ke rilis terbaru, silakan gunakan panduan migrasi ini

Pelajari lebih lanjut

Tutorial interaktif

Kami telah membangun serangkaian tutorial berbasis Ipython sebagai pengantar yang lembut untuk model pelatihan dengan privasi dan menggunakan berbagai fitur Opacus.

Membangun classifier gambar dengan privasi diferensial
Melatih model LSTM pribadi yang berbeda untuk klasifikasi nama
Membangun Klasifikasi Teks dengan Privasi Diferensial di Bert
Panduan OPACUS: Pengantar Fitur Tingkat Lanjut
Panduan OPACUS: Sampler lulusan
Panduan OPACUS: Validator Modul dan Fixer

Laporan Teknis dan Kutipan

Laporan teknis yang memperkenalkan Opacus, menyajikan prinsip -prinsip desainnya, yayasan matematika, dan tolok ukur dapat ditemukan di sini.

Pertimbangkan mengutip laporan jika Anda menggunakan Opacus di koran Anda, sebagai berikut:

 @article{opacus,
  title={Opacus: {U}ser-Friendly Differential Privacy Library in {PyTorch}},
  author={Ashkan Yousefpour and Igor Shilov and Alexandre Sablayrolles and Davide Testuggine and Karthik Prasad and Mani Malek and John Nguyen and Sayan Ghosh and Akash Bharadwaj and Jessica Zhao and Graham Cormode and Ilya Mironov},
  journal={arXiv preprint arXiv:2109.12298},
  year={2021}
}

Blogpost dan pembicaraan

Jika Anda ingin mempelajari lebih lanjut tentang DP-SGD dan topik terkait, lihat serangkaian posting blog dan pembicaraan kami:

Seri Privasi Diferensial Bagian 1 | Algoritma DP-SGD dijelaskan
Seri Privasi Diferensial Bagian 2 | Perhitungan gradien per sampel yang efisien di OPACUS
Tutorial Pricon 2020: Pelatihan model pribadi yang berbeda dengan OPACUS
Privasi diferensial di Pytorch | Hari Pengembang Pytorch 2020
Opacus v1.0 Sorotan | Hari Pengembang Pytorch 2021