intro_dgm

"การสร้างแบบจำลองการกำเนิดลึก": ตัวอย่างเบื้องต้น

ที่เก็บนี้มีตัวอย่างของแบบจำลองการกำเนิดลึกสำหรับหนังสือ "การสร้างแบบจำลองการกำเนิดลึก":

1. ส่วนผสมของ Gaussians (Mogs): ส่วนผสมของ Gaussians
2. โมเดลอัตโนมัติ (แขน): พารามิเตอร์แขนด้วย convolutionas สาเหตุและหม้อแปลง
3. โมเดลที่ใช้การไหล (ไหล): RealNVP และ IDFS (Integer Discrete Flows)
4. การเข้ารหัสอัตโนมัติ Variational (VAES): VAE ธรรมดาและนักบวชต่าง ๆ , VAE ลำดับชั้น
5. แบบจำลองการกำเนิดลึกที่เกิดจากการแพร่กระจาย (DDGMS): การแพร่กระจายไปข้างหน้าแบบเกาส์เซียน
6. โมเดลการกำเนิดที่ใช้คะแนน (SBGMS): การจับคู่คะแนน, โมเดลการกำเนิดที่อิงกับคะแนน, การจับคู่การไหล (เงื่อนไข)
7. การสร้างแบบจำลองไฮบริด
8. แบบจำลองพลังงาน
9. เครือข่ายฝ่ายตรงข้ามกำเนิด (GANS)
10. การบีบอัดระบบประสาทด้วยการสร้างแบบจำลองการกำเนิดลึก
11. โมเดลภาษาขนาดใหญ่ (LLMS)

ตัวอย่างอาจดูมากเกินไป แต่นั่นคือประเด็น! ความคิดของฉันคือทุกคนสามารถติดตามทุกบรรทัดของรหัสและเรียกใช้การทดลองภายในไม่กี่นาทีในเกือบทุกแล็ปท็อปหรือคอมพิวเตอร์ เป้าหมายของฉันคือการส่งเสริมให้คนที่ยังใหม่กับการเข้าใจและเล่นกับแบบจำลองที่ลึกซึ้ง ในทางกลับกันผู้ใช้ขั้นสูงสามารถรีเฟรชความรู้หรือสร้างขึ้นมาเพื่อตรวจสอบความคิดของพวกเขาได้อย่างรวดเร็ว ไม่ว่าจะด้วยวิธีใดฉันหวังว่ารหัสจะช่วยให้ทุกคนเข้าร่วมการเดินทางที่น่าสนใจในการสร้างแบบจำลองการกำเนิดลึก!

ความต้องการ

ในตัวอย่างทั้งหมดเราใช้:

• pytorch 1.7.0
• numpy 1.17.2
• matplotlib 3.1.1
• scikit-learn 0.21.3
• pytorch-model-summary 0.1.1
• jupyter 1.0.0

ตัวอย่าง

ตัวอย่างทั้งหมดของแบบจำลองการกำเนิดลึกที่ใช้งานนั้นมีให้เป็นสมุดบันทึก Jupyter พวกเขาสามารถหาได้ในโฟลเดอร์ต่อไปนี้:

1. mog : ตัวอย่างของการผสมผสานของเกาส์ที่มีส่วนประกอบที่สามารถติดตั้งได้หรือความน่าจะเป็นส่วนประกอบที่สามารถฝึกอบรมได้
2. arms : ตัวอย่างของแบบจำลองอัตโนมัติที่มีเลเยอร์ convolutiona เชิงสาเหตุใน 1D และหม้อแปลง
3. flows : ตัวอย่างของแบบจำลองการไหล ได้แก่ RealnVP พร้อมเลเยอร์การมีเพศสัมพันธ์และเลเยอร์การเปลี่ยนรูปและ IDFs (กระแสไม่ต่อเนื่องจำนวนเต็ม)
4. vaes : (i) ตัวอย่างของการเข้ารหัสอัตโนมัติ Variational โดยใช้เลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์และ Gaussian มาตรฐานก่อนหน้า (ii) ตัวอย่างของนักบวชต่าง ๆ สำหรับ Vaes, (iii) ตัวอย่างของ VAE แบบลำดับชั้น
5. ddgms : ตัวอย่างของแบบจำลองการแพร่กระจายแบบลึกที่ใช้การแพร่กระจายโดยใช้การแพร่กระจายไปข้างหน้าแบบเกาส์เซียนด้วยความแปรปรวนคงที่และพารามิเตอร์การแพร่กระจายแบบย้อนกลับโดย MLP
6. sbgms : (i) ตัวอย่างของโมเดลคะแนนโดยใช้วิธีการจับคู่คะแนนและโมเดลคะแนนที่ใช้ MLP (ii) ตัวอย่างของพารามิเตอร์การแพร่กระจายแบบใช้ตาม SDE โดย MLP, (iii) ตัวอย่างของพารามิเตอร์การจับคู่การไหลแบบแบบมีเงื่อนไขโดย MLP
7. hybrid_modeling : ตัวอย่างของแบบจำลองไฮบริดโดยใช้เลเยอร์และ IDF ที่เชื่อมต่ออย่างสมบูรณ์
8. ebms : ตัวอย่างของพารามิเตอร์โมเดลที่ใช้พลังงานโดย MLP
9. gans : ตัวอย่างของพารามิเตอร์ GAN โดย MLPS
10. neural_compression : ตัวอย่างของการใช้การสร้างแบบจำลองการกำเนิดลึกกับการบีบอัดของระบบประสาท
11. llms : ตัวอย่างของหม้อแปลงที่ใช้ตัวถอดรหัส (LLM; ที่นี่เราเรียกมันว่า Teenygpt

การอ้างอิง

หากคุณใช้รหัสนี้ในทางใดทางหนึ่งโปรดอ้างอิงโดยอ้างถึงหนังสือของฉัน "Deep Generation Modeling"::

• สไตล์ APA:

 Tomczak, J. M. (2024). Deep Generative Modeling. Springer Cham

• bibtex:

 @book{tomczak2024deep,
  title={Deep Generative Modeling},
  author={Tomczak, Jakub M},
  publisher={Springer Cham},
  year={2024}
}