หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

สูตรหม้อแปลง

$$ operatorname {attere} (q, k, v) = operatorname {softmax} ซ้าย (frac {qk^{t}} {sqrt {d_ {k}}} ขวา) v $$

หม้อแปลงได้เร่งการพัฒนาเทคนิคและแบบจำลองใหม่สำหรับงานการประมวลผลภาษาธรรมชาติ (NLP) ในขณะที่ส่วนใหญ่ถูกใช้สำหรับงาน NLP แต่ตอนนี้ก็เห็นการยอมรับอย่างหนักในด้านอื่น ๆ เช่นการมองเห็นคอมพิวเตอร์และการเรียนรู้การเสริมแรง นั่นทำให้เป็นหนึ่งในแนวคิดที่ทันสมัยที่สุดที่จะเข้าใจและสามารถนำไปใช้ได้

ฉันทราบว่าการเรียนรู้ของเครื่องจักรจำนวนมากและนักเรียนและผู้ปฏิบัติงาน NLP มีความกระตือรือร้นในการเรียนรู้เกี่ยวกับหม้อแปลง ดังนั้นฉันได้เตรียมคู่มือการศึกษาในรูปแบบของรายการทรัพยากรและสื่อการศึกษาเพื่อช่วยแนะนำนักเรียนที่สนใจในการเรียนรู้เกี่ยวกับโลกของหม้อแปลง

เริ่มต้นด้วยฉันได้เตรียมลิงค์ไปยังวัสดุที่ฉันใช้เพื่อทำความเข้าใจและใช้โมเดลหม้อแปลงตั้งแต่เริ่มต้น

การแนะนำระดับสูง

ก่อนอื่นพยายามที่จะได้รับการแนะนำระดับสูงมากเกี่ยวกับหม้อแปลง การอ้างอิงบางอย่างที่ควรดู:

รู้เบื้องต้นเกี่ยวกับหม้อแปลง - บันทึกการบรรยาย (Elvis Saravia)

Transformers จากศูนย์ (Brandon Rohrer)

Transformers ทำงานอย่างไรในการเรียนรู้อย่างลึกซึ้งและ NLP: บทนำที่ใช้งานง่าย (AI Summer)

Stanford CS25 - Transformers United

การเรียนรู้อย่างลึกซึ้งสำหรับการทำความเข้าใจภาษา (DeepMind)

โมเดลหม้อแปลง: บทนำและแคตตาล็อก (Xavier Amatriain)

หม้อแปลงอธิบาย

คำอธิบายภาพประกอบของ Jay Alammar นั้นยอดเยี่ยม เมื่อคุณได้รับความเข้าใจในระดับสูงของหม้อแปลงคุณสามารถกระโดดเข้าไปในคำอธิบายรายละเอียดที่เป็นที่นิยมและภาพประกอบของหม้อแปลง:

หม้อแปลงภาพประกอบ

บทความถัดไปนี้ยังแบ่งหม้อแปลงเป็นส่วนประกอบอธิบายและแสดงรายละเอียดว่าแต่ละส่วนทำอะไร:

ทำลายหม้อแปลง

บทสรุปทางเทคนิค

ณ จุดนี้คุณอาจกำลังมองหาบทสรุปทางเทคนิคและภาพรวมของหม้อแปลง โพสต์บล็อกของ Lilian Weng เป็นอัญมณีและให้คำอธิบาย/สรุปทางเทคนิคที่รัดกุม:

ตระกูลหม้อแปลง

Transformer Family เวอร์ชัน 2.0

การดำเนินการ

หลังจากทฤษฎีมันเป็นสิ่งสำคัญที่จะทดสอบความรู้ โดยทั่วไปฉันชอบที่จะเข้าใจสิ่งต่าง ๆ ในรายละเอียดมากขึ้นดังนั้นฉันจึงชอบใช้อัลกอริทึมตั้งแต่เริ่มต้น สำหรับการใช้ Transformers ฉันพึ่งพาบทช่วยสอนนี้เป็นหลัก:

หม้อแปลงหมายเหตุประกอบ (Google Colab | GitHub)

การสร้างแบบจำลองภาษาด้วย nn.transformer และ torchtext

หากคุณกำลังมองหาการใช้งานเชิงลึกในหม้อแปลงล่าสุดบางส่วนคุณอาจพบเอกสารที่มีคอลเลกชันวิธีการโค้ดสำหรับหม้อแปลงที่มีประโยชน์

ความสนใจคือสิ่งที่คุณต้องการ

บทความนี้โดย Vaswani และคณะ แนะนำสถาปัตยกรรมหม้อแปลง อ่านหลังจากที่คุณมีความเข้าใจระดับสูงและต้องการรับรายละเอียด ให้ความสนใจกับการอ้างอิงอื่น ๆ ในกระดาษเพื่อดำน้ำลึก

ความสนใจคือสิ่งที่คุณต้องการ

การใช้หม้อแปลง

หลังจากเวลาเรียนรู้และทำความเข้าใจทฤษฎีเบื้องหลัง Transformers คุณอาจสนใจที่จะนำไปใช้กับโครงการ NLP หรือการวิจัยที่แตกต่างกัน ในเวลานี้ทางออกที่ดีที่สุดของคุณคือห้องสมุด Transformers โดย HuggingFace

หม้อแปลงไฟฟ้า

ทีม Hugging Face ได้ตีพิมพ์หนังสือเล่มใหม่เกี่ยวกับ NLP ด้วย Transformers ดังนั้นคุณอาจต้องการตรวจสอบที่นี่

รายการอ่านใน LLMS

เป็นโบนัสนี่คือรายการการอ่านที่ยอดเยี่ยมใน LLMS โดย Sebastian Raschka

ทำความเข้าใจกับแบบจำลองภาษาขนาดใหญ่ - รายการการอ่านที่เปลี่ยนแปลงได้

อย่าลังเลที่จะแนะนำวัสดุการศึกษา ในการอัปเดตครั้งต่อไปฉันต้องการเพิ่มคอลเลกชันที่ครอบคลุมมากขึ้นของแอปพลิเคชันและเอกสารหม้อแปลง นอกจากนี้การใช้รหัสเพื่อการทดลองง่าย ๆ ก็มาเช่นกัน คอยติดตาม!

หากต้องการรับการอัปเดตเป็นประจำเกี่ยวกับทรัพยากร ML และ NLP ใหม่ให้ติดตามฉันบน Twitter

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด