หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

บทช่วยสอน Pytorch Transformers

บทช่วยสอนหม้อแปลง

การแนะนำ

สาขา NLP ได้รับการปฏิวัติในปี 2561 โดยการแนะนำของ เบิร์ต และเพื่อน หม้อแปลง ของเขา (Roberta, XLM ฯลฯ )

สถาปัตยกรรมเครือข่ายประสาทที่ใช้หม้อแปลงใหม่เหล่านี้และวิธีการใหม่ในการฝึกอบรมเครือข่ายประสาทในข้อมูลภาษาธรรมชาติแนะนำการเรียนรู้การถ่ายโอนไปยังปัญหา NLP การเรียนรู้การถ่ายโอนได้ให้ผลลัพธ์ที่ทันสมัยในโดเมนวิสัยทัศน์คอมพิวเตอร์เป็นเวลาสองสามปีแล้วและการแนะนำโมเดลหม้อแปลงสำหรับ NLP ทำให้เกิดการเปลี่ยนแปลงกระบวนทัศน์เดียวกันใน NLP

บริษัท อย่าง Google และ Facebook ได้ฝึกอบรมเครือข่ายประสาทของพวกเขาในข้อมูลภาษาธรรมชาติขนาดใหญ่เพื่อเข้าใจความซับซ้อนของภาษาดังนั้นการสร้างรูปแบบภาษา ในที่สุดโมเดลเหล่านี้ได้รับการปรับให้เข้ากับชุดข้อมูลโดเมนที่เฉพาะเจาะจงเพื่อให้ได้ผลลัพธ์ที่ทันสมัยสำหรับคำสั่งปัญหาเฉพาะ พวกเขายังเผยแพร่รูปแบบที่ผ่านการฝึกอบรมเหล่านี้ให้กับชุมชนโอเพนซอร์ส สมาชิกชุมชนสามารถปรับโมเดลเหล่านี้ให้เข้ากับกรณีการใช้งานเฉพาะของพวกเขาได้

การกอดใบหน้าทำให้ชุมชนสามารถเข้าถึงและปรับโมเดลเหล่านี้ได้ง่ายขึ้นโดยใช้แพ็คเกจ Python: Transformers

แรงจูงใจ

แม้จะมีความก้าวหน้าทางเทคโนโลยีที่น่าทึ่งเหล่านี้การใช้โซลูชั่นเหล่านี้กับปัญหาทางธุรกิจยังคงเป็นสิ่งที่ท้าทายเนื่องจากความรู้เฉพาะที่จำเป็นในการทำความเข้าใจและใช้วิธีการเหล่านี้กับคำสั่งปัญหาเฉพาะ ดังนั้นในบทช่วยสอนต่อไปนี้ฉันจะแสดงให้เห็นว่าผู้ใช้สามารถใช้ประโยชน์จากเทคโนโลยีพร้อมกับเครื่องมืองูหลามอื่น ๆ เพื่อปรับโมเดลภาษาเหล่านี้ให้เหมาะกับงานประเภทเฉพาะ

ก่อนที่ฉันจะดำเนินการต่อไปฉันอยากจะพูดถึงกลุ่มต่อไปนี้สำหรับงานที่ยอดเยี่ยมที่พวกเขากำลังทำและแบ่งปันซึ่งทำให้สมุดบันทึกและแบบฝึกหัดเหล่านี้เป็นไปได้:

โปรดตรวจสอบแหล่งข้อมูลที่น่าตื่นตาตื่นใจเหล่านี้และสมัครรับข้อมูลช่อง/แหล่งข้อมูลของพวกเขา

  • กอดทีมใบหน้า
  • Abhishek Thakur สำหรับวิดีโอ YouTube ที่น่าทึ่งของเขา

ข้อความปัญหาที่ฉันจะทำงานด้วยคือ:

สมุดบันทึก ลิงค์ GitHub ลิงค์ colab เคอร์เนล Kaggle
การจำแนกประเภทข้อความ: หลายคลาส คนอื่น ๆ Kaggle
การจำแนกประเภทข้อความ: หลายฉลาก คนอื่น ๆ Kaggle
การจำแนกความเชื่อมั่น ด้วยการติดตามการทดลองใน Wandb! คนอื่น ๆ
การจดจำเอนทิตีชื่อ: ด้วยการประมวลผล TPU! คนอื่น ๆ Kaggle
ตอบคำถาม
การเขียนสรุป: ด้วยการติดตามการทดลองใน Wandb! คนอื่น ๆ Kaggle

โครงสร้างไดเรกทอรี

  1. data : โฟลเดอร์นี้มีข้อมูลของเล่นทั้งหมดที่ใช้สำหรับการปรับแต่งอย่างละเอียด
  2. utils : โฟลเดอร์นี้จะมีสคริปต์เบ็ดเตล็ดใด ๆ ที่ใช้ในการเตรียมตัวสำหรับการปรับแต่งที่ดี
  3. models : โฟลเดอร์เพื่อบันทึกสิ่งประดิษฐ์ทั้งหมดโพสต์การปรับแต่งอย่างละเอียด

ดู/อ่านเพิ่มเติม

ฉันจะพยายามครอบคลุมด้านการปฏิบัติและการใช้งานของการปรับจูนแบบจำลองภาษาเหล่านี้อย่างละเอียดในงาน NLP ต่างๆ คุณสามารถปรับปรุงความรู้ของคุณในหัวข้อนี้โดยการอ่าน/ดูทรัพยากรต่อไปนี้

  • การรับชม

    • บทนำในแง่ง่าย ๆ
    • ถ่ายโอนการเรียนรู้ใน NLP
    • ชุดวิจัยเบิร์ตจาก Chrismccormickai

  • การอ่าน

    • เอกสาร Transformers
    • เอกสาร Pytorch
    • บล็อก Google AI
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด