Interspeech23 Tutorial Para Efficient Cross Modal Tutorial

การสอน Interspeech 2023

• Interspeech 23 Resource Efficient and Cross-Modal Learning Toward Foundation Modeling Tutorial - วิดีโอ

• ICASSP 22 การสอน Neural Model Reprogramming and Prompting for Speech Modeling - วิดีโอ | เลื่อน

• ICASSP 23 Parameter-Efficient Learning (PEL) for Speech and NLP: Adapters, Prompts, and Reprogramming - สไลด์

ส่วนที่ 1 ภาพรวมของการเรียนรู้ที่มีประสิทธิภาพของทรัพยากรดร. ฮัคหยาง

9:00

1.1. การเรียนรู้แบบพารามิเตอร์ที่มีประสิทธิภาพ

• พื้นหลังของการปรับตัวแบบแช่แข็ง
• อะแดปเตอร์ประสาท, การเขียนโปรแกรม, การแจ้งเตือนและการปรับตัวระดับต่ำ (LORA)

ชื่อ	ผู้เขียน	รหัส	ปี
อะแดปเตอร์ส่วนตัวที่แตกต่างกันสำหรับการสร้างแบบจำลองอะคูสติกที่มีประสิทธิภาพ	C.-W. โฮและคณะ	รหัส	Interspeech 2023
การเรียนรู้แบบพารามิเตอร์ที่มีประสิทธิภาพสำหรับการปรับสำเนียงข้อความเป็นคำพูด	L.-J. หยางและคณะ	รหัส	Interspeech 2023
วิธีการเรียนรู้แบบพารามิเตอร์ที่มีประสิทธิภาพในการระบุภาษาอาหรับด้วยแบบจำลองคำพูดที่ได้รับการฝึกฝนมาก่อน	S. Radhakrishnan และคณะ	รหัส	Interspeech 2023

1.2. การเรียนรู้ที่ประหยัดหน่วยความจำ

• ลดลงในหน่วยความจำ GPU / TPU ในระหว่างการฝึกอบรม (เช่นหน่วยความจำของการเปิดใช้งาน)
• การทำให้เป็นอนุกรมแบบจำลอง
• การเรียนรู้อย่างมีประสิทธิภาพบนอุปกรณ์ผ่านการเขียนโปรแกรมฟีเจอร์ (CVPR 2022)
• การปรับแต่งด้านบันได (Neurips 2022)

1.3 วิธีการประเมินเลเยอร์หรือโมเดลใดที่จะปรับแต่ง?

• ทฤษฎีการประมาณสากล (IEEE Tip 1993)
• LogMe: การประเมินแบบจำลองที่ผ่านการฝึกอบรมมาก่อนสำหรับการเรียนรู้การถ่ายโอน (ICML 2021)
• การจัดตำแหน่งพื้นที่แฝงใน "โมเดลอะคูสติก reprogramming สำหรับการจำแนกแบบอนุกรมเวลา" (ICML 2021)

ชื่อ	ผู้เขียน	รหัส	ปี
วิธีการประเมินความสามารถในการถ่ายโอนแบบจำลองของแบบจำลองการพูดที่ผ่านการฝึกอบรมมาก่อน?	Z. -C. เฉินและคณะ	รหัส	Interspeech 2023

1.4 เทคนิคการปรับตัวระดับต่ำ (LORA) ขั้นสูง (LORA)

• การผสานข้ามรูปแบบ
• การปรับระดับต่ำ (LORA) สำหรับการสร้างแบบจำลองพื้นฐานและการฝึกอบรมก่อน

1.5 บริการชุมชน

• เซสชั่นพิเศษใน ICASSP 2024: การเรียนรู้ในบริบทสำหรับการประมวลผลคำพูดและภาษา
• [email protected]

BREAK: Hand-On Session 1 (5 นาที)

• วิธีการฝึกกระซิบของคุณด้วยอะแดปเตอร์ประสาทและ Lora

ตอนที่ 2: AI ที่น่าเชื่อถือและการเรียนรู้ข้ามรูปแบบในยุคของแบบจำลองพื้นฐาน Dr. Pin-u Chen

11:00 to 11:45

ส่วนที่ 3: การฝึกอบรมล่วงหน้าแบบหลายรูป

11:45 to 12:20

Spotlight เชิญ Talk "กระตุ้น LLM สำหรับ ASR" โดย Dr. Chunyang Wu, Meta AI

12:20 to 12:30

การอภิปราย QA และ Plenary

12:40 to 12:45