opacus Download - ดาวน์โหลดซอร์สโค้ด opacus

opacus

หลาม

v1.5.2

ดาวน์โหลด

Opacus เป็นห้องสมุดที่ช่วยให้โมเดล Pytorch ฝึกอบรมที่มีความเป็นส่วนตัวที่แตกต่างกัน รองรับการฝึกอบรมที่มีการเปลี่ยนแปลงรหัสน้อยที่สุดที่จำเป็นสำหรับลูกค้ามีผลกระทบเพียงเล็กน้อยต่อประสิทธิภาพการฝึกอบรมและช่วยให้ลูกค้าสามารถติดตามงบประมาณความเป็นส่วนตัวที่ใช้ในช่วงเวลาใดก็ได้

กลุ่มเป้าหมาย

การเปิดตัวรหัสนี้มุ่งเน้นไปที่ผู้ชมเป้าหมายสองคน:

ผู้ปฏิบัติงาน ML จะพบว่าสิ่งนี้เป็นการแนะนำอย่างอ่อนโยนในการฝึกอบรมแบบจำลองที่มีความเป็นส่วนตัวที่แตกต่างกันเนื่องจากต้องมีการเปลี่ยนแปลงรหัสน้อยที่สุด
นักวิจัยความเป็นส่วนตัวที่แตกต่างจะพบว่าการทดลองและคนจรจัดด้วยสิ่งนี้ทำให้พวกเขาสามารถมุ่งเน้นไปที่สิ่งที่สำคัญ

การติดตั้ง

สามารถติดตั้ง Opacus ล่าสุดได้ผ่าน pip :

pip install opacus

หรืออีกทางเลือกหนึ่งผ่าน conda :

conda install -c conda-forge opacus

นอกจากนี้คุณยังสามารถติดตั้งโดยตรงจากแหล่งข้อมูลสำหรับคุณสมบัติล่าสุด (พร้อมกับนิสัยใจคอและข้อบกพร่องเป็นครั้งคราว):

git clone https://github.com/pytorch/opacus.git
cd opacus
pip install -e .

เริ่มต้น

ในการฝึกอบรมโมเดลของคุณด้วยความเป็นส่วนตัวที่แตกต่างสิ่งที่คุณต้องทำคือการสร้างอินสแตนซ์ PrivacyEngine และส่งผ่านโมเดลของคุณ Data_loader และ Optimizer ไปยังวิธี make_private() ของเครื่องยนต์เพื่อให้ได้คู่หูส่วนตัวของพวกเขา

 # define your components as usual
model = Net ()
optimizer = SGD ( model . parameters (), lr = 0.05 )
data_loader = torch . utils . data . DataLoader ( dataset , batch_size = 1024 )

# enter PrivacyEngine
privacy_engine = PrivacyEngine ()
model , optimizer , data_loader = privacy_engine . make_private (
    module = model ,
    optimizer = optimizer ,
    data_loader = data_loader ,
    noise_multiplier = 1.1 ,
    max_grad_norm = 1.0 ,
)
# Now it's business as usual

ตัวอย่าง MNIST แสดงการทำงานแบบ end-to-end โดยใช้ opacus โฟลเดอร์ตัวอย่างมีตัวอย่างเพิ่มเติม

การย้ายไปที่ 1.0

Opacus 1.0 แนะนำการปรับปรุงมากมายให้กับห้องสมุด แต่ก็มีการเปลี่ยนแปลงบางอย่าง หากคุณใช้ opacus 0.x และต้องการอัปเดตเป็นรุ่นล่าสุดโปรดใช้คู่มือการย้ายข้อมูลนี้

เรียนรู้เพิ่มเติม

บทช่วยสอนแบบโต้ตอบ

เราได้สร้างแบบฝึกหัดที่ใช้ Ipython เป็นชุดแนะนำอย่างอ่อนโยนเกี่ยวกับรูปแบบการฝึกอบรมที่มีความเป็นส่วนตัวและการใช้คุณสมบัติ Opacus ต่างๆ

การสร้างตัวจําแนกรูปภาพที่มีความเป็นส่วนตัวที่แตกต่างกัน
การฝึกอบรมแบบจำลอง LSTM ส่วนตัวที่แตกต่างกันสำหรับการจำแนกชื่อ
การสร้างตัวจําแนกข้อความที่มีความเป็นส่วนตัวที่แตกต่างกันบนเบิร์ต
คู่มือ Opacus: บทนำสู่คุณสมบัติขั้นสูง
Opacus Guide: Samplers ผู้สำเร็จการศึกษา
คู่มือ Opacus: Module Validator และ Fixer

รายงานทางเทคนิคและการอ้างอิง

รายงานทางเทคนิคที่แนะนำ Opacus นำเสนอหลักการออกแบบฐานรากทางคณิตศาสตร์และมาตรฐานสามารถพบได้ที่นี่

พิจารณาอ้างถึงรายงานหากคุณใช้ opacus ในเอกสารของคุณดังนี้:

 @article{opacus,
  title={Opacus: {U}ser-Friendly Differential Privacy Library in {PyTorch}},
  author={Ashkan Yousefpour and Igor Shilov and Alexandre Sablayrolles and Davide Testuggine and Karthik Prasad and Mani Malek and John Nguyen and Sayan Ghosh and Akash Bharadwaj and Jessica Zhao and Graham Cormode and Ilya Mironov},
  journal={arXiv preprint arXiv:2109.12298},
  year={2021}
}

บล็อกโพสต์และการพูดคุย

หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ DP-SGD และหัวข้อที่เกี่ยวข้องลองดูชุดบล็อกและการพูดคุยของเรา:

ซีรี่ส์ความเป็นส่วนตัวที่แตกต่างตอนที่ 1 | อัลกอริทึม DP-SGD อธิบาย
ซีรี่ส์ความเป็นส่วนตัวที่แตกต่างตอนที่ 2 | การคำนวณการไล่ระดับสีต่อตัวอย่างที่มีประสิทธิภาพใน opacus
Pricon 2020 บทช่วยสอน: การฝึกอบรมแบบจำลองส่วนตัวที่แตกต่างกับ opacus
ความเป็นส่วนตัวที่แตกต่างกันใน Pytorch | Pytorch Developer Day 2020
Opacus v1.0 ไฮไลท์ | Pytorch Developer Day 2021