LoraCSE

? Loracse: การเรียนรู้ที่แตกต่างของการฝังประโยคโดยใช้ LORA

โครงการสุดท้ายของ EECS 487: บทนำเกี่ยวกับการประมวลผลภาษาธรรมชาติ (UMICH)

Autor: Yilin Jia, Sikai Li, Yuqi Mai

วันที่: 18 เมษายน 2566

คำแนะนำ

โครงการนี้เกี่ยวข้องกับการประเมินประสิทธิภาพของโมเดล Loracse ผ่านชุดการทดลอง นี่คือวิธีการเข้าถึงและเรียกใช้รหัส:

• เปิดสมุดบันทึก Loracse.ipynb เพื่อดูและเรียกใช้รหัสสำหรับการทดลองทั้งหมด
• ทำตามคำแนะนำที่ให้ไว้ในสมุดบันทึกเพื่อเรียกใช้การทดลองโดยใช้ GPU ของคุณและดูผลลัพธ์
• หลังจากเรียกใช้การทดลองให้ดูไฟล์ Loracse.pdf ประกอบสำหรับการวิเคราะห์อย่างละเอียดของผลลัพธ์

การวิเคราะห์ที่ให้ไว้ใน Loracse.pdf นำเสนอข้อมูลเชิงลึกเกี่ยวกับประสิทธิภาพของโมเดล Loracse และความสามารถในการจัดการข้อมูลประเภทต่างๆ ใช้ข้อมูลนี้เพื่อปรับปรุงความแม่นยำของโมเดลสำหรับกรณีการใช้งานเฉพาะของคุณ

ผลงาน

แบบอย่าง	avg. STS
sup-loracse-bert-base (ขนาดแบทช์ 512)	81.55
sup-loracse-roberta-base (ขนาดแบทช์ 512)	82.49
Sup-Loracse-Roberta-Large (ขนาดแบทช์ 375)	84.69

ความต้องการ

ในการเรียกใช้การทดลองซึ่งเกี่ยวข้องกับการประมวลผลข้อมูลจำนวนมากด้วยขนาดแบทช์ 512 GPU ของคุณจะต้องมี RAM อย่างน้อย 40GB นี่คือ GPU ที่เข้ากันได้:

• V100
• A6000
• A40
• RTX3090 (จำเป็นต้องใช้สี่)

ในการทดลองนี้เราใช้ A40 สี่ตัว

กิตติกรรมประกาศ

เราต้องการรับทราบโครงการต่อไปนี้สำหรับการมีส่วนร่วมในงานของเรา:

• Simcse: รหัสของเราได้เรียนรู้มากมายจากการใช้งานและแนวคิดที่นำเสนอในที่เก็บนี้
• PEFT: เราได้ใช้ฟังก์ชั่นบางอย่างที่จัดทำโดยไลบรารีนี้เพื่อปรับปรุงประสิทธิภาพของรหัสของเรา

เราขอขอบคุณผู้มีส่วนร่วมของโครงการเหล่านี้สำหรับการแบ่งปันความรู้และความเชี่ยวชาญของพวกเขากับชุมชน

งานในอนาคต

• เรียนรู้และใช้ Adalora เพื่อปรับแต่ง
• เร่งการฝึกอบรมและการประเมินผล
• พยายามปรับแต่ง debertv3
• อัปโหลดโมเดลไปยัง HuggingFace