uvadlc_notebooks

บทเรียนการเรียนรู้ลึกของ UVA

หมายเหตุ: หากต้องการดูสมุดบันทึกในรูปแบบที่ดีกว่าโปรดไปที่เว็บไซต์ RTD ของเรา: https://uvadlc-notebooks.readthedocs.io/en/latest/

เว็บไซต์หลักสูตร : https://uvadlc.github.io/
Course Edition : Fall 2024 (28 ตุลาคม - 20 ธันวาคม) - ได้รับการปรับปรุงให้ทันสมัย
การบันทึก : เพลย์ลิสต์ YouTube
ผู้แต่ง : Phillip Lippe

สำหรับรุ่นหลักสูตรในปีนี้เราได้สร้างชุดของสมุดบันทึก Jupyter ที่ออกแบบมาเพื่อช่วยให้คุณเข้าใจ "ทฤษฎี" จากการบรรยายโดยเห็นการใช้งานที่สอดคล้องกัน เราจะเยี่ยมชมหัวข้อต่าง ๆ เช่นเทคนิคการเพิ่มประสิทธิภาพหม้อแปลงเครือข่ายประสาทกราฟและอื่น ๆ (สำหรับรายการทั้งหมดดูด้านล่าง) สมุดบันทึกอยู่ที่นั่นเพื่อช่วยให้คุณเข้าใจเนื้อหาและสอนรายละเอียดเกี่ยวกับเฟรมเวิร์ก Pytorch รวมถึง Pytorch Lightning นอกจากนี้เราให้การแปลหนึ่งต่อหนึ่งของสมุดบันทึกเป็น Jax+Flax เป็นเฟรมเวิร์กทางเลือก

สมุดบันทึกจะถูกนำเสนอในชั่วโมงแรกของการสอนทุกกลุ่ม ในระหว่างการสอนเราจะนำเสนอเนื้อหาและอธิบายการใช้งานสมุดบันทึก คุณสามารถตัดสินใจด้วยตัวเองว่าคุณแค่ต้องการดูสมุดบันทึกที่เต็มไปด้วยอยากลองด้วยตัวเองหรือโค้ดในระหว่างการใช้งานจริง สมุดบันทึกไม่ได้เป็นส่วนหนึ่งของการมอบหมายที่บังคับใช้โดยตรงซึ่งคุณจะให้คะแนนหรือในทำนองเดียวกัน อย่างไรก็ตามเราขอแนะนำให้คุณทำความคุ้นเคยกับสมุดบันทึกและการทดลองหรือขยายตัวด้วยตัวเอง นอกจากนี้เนื้อหาที่นำเสนอจะเกี่ยวข้องกับการมอบหมายและการสอบอย่างช้าๆ

บทช่วยสอนได้รับการรวมเป็นแบบฝึกหัดอย่างเป็นทางการของ Pytorch Lightning ดังนั้นคุณสามารถดูพวกเขาในเอกสารของพวกเขา

วิธีเรียกใช้สมุดบันทึก

ในเว็บไซต์นี้คุณจะพบสมุดบันทึกที่ส่งออกไปยังรูปแบบ HTML เพื่อให้คุณสามารถอ่านได้จากอุปกรณ์ใดก็ตามที่คุณต้องการ อย่างไรก็ตามเราขอแนะนำให้คุณลองและเรียกใช้พวกเขาด้วยตัวเอง มีสามวิธีหลักในการเรียกใช้สมุดบันทึกที่เราแนะนำ:

• ในพื้นที่ของ CPU : สมุดบันทึกทั้งหมดจะถูกเก็บไว้ในที่เก็บ GitHub ที่สร้างเว็บไซต์นี้ด้วย คุณสามารถค้นหาได้ที่นี่: https://github.com/phlippe/uvadlc_notebooks/tree/master/docs/tutorial_notebooks สมุดบันทึกได้รับการออกแบบเพื่อให้คุณสามารถดำเนินการบนแล็ปท็อปทั่วไปโดยไม่จำเป็นต้องใช้ GPU เราให้บริการรุ่นก่อนหน้านี้ที่ดาวน์โหลดโดยอัตโนมัติเมื่อเรียกใช้โน้ตบุ๊กหรือสามารถดาวน์โหลดได้ด้วยตนเองจาก Google ไดรฟ์นี้ พื้นที่ดิสก์ที่ต้องการสำหรับรุ่นและชุดข้อมูลที่ผ่านการฝึกอบรมน้อยกว่า 1GB เพื่อให้แน่ใจว่าคุณติดตั้งแพ็คเกจ Python ที่ถูกต้องทั้งหมดเราจึงมีสภาพแวดล้อม conda ในที่เก็บเดียวกัน (เลือก CPU หรือ GPU เวอร์ชันขึ้นอยู่กับระบบของคุณ)

• Google Colab : หากคุณต้องการเรียกใช้สมุดบันทึกบนแพลตฟอร์มอื่นนอกเหนือจากคอมพิวเตอร์ของคุณเองหรือต้องการทดสอบด้วยการสนับสนุน GPU เราขอแนะนำให้ใช้ Google Colab โน้ตบุ๊กแต่ละรายการในเว็บไซต์เอกสารนี้มีป้ายพร้อมลิงค์เพื่อเปิดบน Google Colab อย่าลืมเปิดใช้งานการสนับสนุน GPU ก่อนที่จะเรียกใช้สมุดบันทึก ( Runtime -> Change runtime type ) สมุดบันทึกแต่ละใบสามารถดำเนินการได้อย่างอิสระและไม่ต้องการให้คุณเชื่อมต่อ Google ไดรฟ์หรือที่คล้ายกัน อย่างไรก็ตามเมื่อปิดเซสชันการเปลี่ยนแปลงอาจหายไปหากคุณไม่ได้บันทึกลงในคอมพิวเตอร์ในพื้นที่ของคุณหรือคัดลอกโน๊ตบุ๊คไปยัง Google ไดรฟ์ของคุณล่วงหน้า

• Snellius Cluster : หากคุณต้องการฝึกอบรมเครือข่ายประสาทของคุณเอง (ใหญ่กว่า) ตามสมุดบันทึกคุณสามารถใช้ประโยชน์จากคลัสเตอร์ Snellius ได้ อย่างไรก็ตามนี่เป็นข้อเสนอแนะเฉพาะในกรณีที่คุณต้องการฝึกอบรมแบบจำลองใหม่และใช้อีกสองตัวเลือกเพื่อผ่านการสนทนาและการวิเคราะห์แบบจำลอง Snellius อาจไม่อนุญาตให้คุณบัญชีนักเรียนของคุณเรียกใช้สมุดบันทึก Jupyter โดยตรงในพาร์ติชัน GPU_shared แต่คุณสามารถแปลงโน้ตบุ๊กเป็นสคริปต์โดยใช้ jupyter nbconvert --to script ...ipynb จากนั้นเริ่มงานบน Snellius เพื่อเรียกใช้สคริปต์ คำแนะนำเล็กน้อยเมื่อทำงานบน Snellius:

  • ปิดใช้งานคำสั่ง TQDM ในสมุดบันทึก มิฉะนั้นไฟล์เอาต์พุต slurm ของคุณอาจล้นและมีขนาดใหญ่หลาย MB ใน Pytorch Lightning คุณสามารถทำได้โดยการตั้งค่า progress_bar_refresh_rate=0 ในเทรนเนอร์
  • แสดงความคิดเห็นคำสั่งการพล็อต matplotlib หรือเปลี่ยนแปลง: รหัส: plt.show() เป็น plt.savefig(...)

การจัดตำแหน่งการบรรยาย

เราจะหารือเกี่ยวกับ 7 บทเรียนในหลักสูตรกระจายไปทั่วการบรรยายเพื่อครอบคลุมบางสิ่งบางอย่างจากทุกพื้นที่ คุณสามารถจัดเรียงบทเรียนกับการบรรยายตามหัวข้อของพวกเขา รายการบทเรียนคือ:

• คู่มือ 1: การทำงานกับคลัสเตอร์ Snellius
• บทช่วยสอน 2: บทนำสู่ Pytorch
• บทช่วยสอน 3: ฟังก์ชั่นการเปิดใช้งาน
• บทช่วยสอน 4: การเพิ่มประสิทธิภาพและการเริ่มต้น
• บทช่วยสอน 5: Inception, Resnet และ Densenet
• บทช่วยสอน 6: หม้อแปลงและความสนใจหลายหัว
• บทช่วยสอน 7: เครือข่ายประสาทกราฟ
• บทช่วยสอน 8: แบบจำลองพลังงานลึก
• บทช่วยสอน 9: Autoencoders
• บทช่วยสอน 10: การโจมตีฝ่ายตรงข้าม
• บทช่วยสอน 11: การทำให้เป็นปกติในการสร้างแบบจำลองภาพ
• บทช่วยสอน 12: การสร้างแบบจำลองภาพอัตโนมัติ
• บทช่วยสอนที่ 15: หม้อแปลงวิสัยทัศน์
• บทช่วยสอน 16: การเรียนรู้เมตา - เรียนรู้ที่จะเรียนรู้
• บทช่วยสอน 17: การเรียนรู้ที่แตกต่างจากตนเองด้วยตนเองกับ SimClr

ข้อเสนอแนะคำถามหรือการมีส่วนร่วม

นี่เป็นครั้งแรกที่เรานำเสนอแบบฝึกหัดเหล่านี้ในระหว่างหลักสูตรการเรียนรู้อย่างลึกซึ้ง เช่นเดียวกับโครงการอื่น ๆ ข้อผิดพลาดและปัญหาเล็ก ๆ น้อย ๆ เราขอขอบคุณข้อเสนอแนะใด ๆ จากนักเรียนไม่ว่าจะเกี่ยวกับความผิดพลาดในการสะกดคำข้อผิดพลาดในการสะกดคำหรือคำแนะนำสำหรับการปรับปรุง/เพิ่มเติมในสมุดบันทึก โปรดใช้ลิงก์ต่อไปนี้เพื่อส่งข้อเสนอแนะหรืออย่าลังเลที่จะติดต่อฉันโดยตรงต่ออีเมล (p dot lippe ที่ UVA dot NL) หรือคว้าฉันในช่วงเซสชั่น TA ใด ๆ

หากคุณพบว่าบทช่วยสอนมีประโยชน์และต้องการอ้างอิงคุณสามารถใช้ bibtex ต่อไปนี้:

 @misc { lippe2024uvadlc ,
   title        = { {UvA Deep Learning Tutorials} } ,
   author       = { Phillip Lippe } ,
   year         = 2024 ,
   howpublished = { url{https://uvadlc-notebooks.readthedocs.io/en/latest/} }
}