Tutorial Interspeech 2023
Interspeech 23 Resource Efficient and Cross-Modal Learning Toward Foundation Modeling Tutorial - Video
ICASSP 22 Neural Model Reprogramming and Prompting for Speech Modeling - Video | Menggeser
ICASSP 23 Tutorial Parameter-Efficient Learning (PEL) for Speech and NLP: Adapters, Prompts, and Reprogramming - Slide - Slide
Bagian 1. Gambaran Umum Pembelajaran Efisien Sumber Daya, Dr. Huck Yang
9:00
1.1. Pembelajaran yang efisien parameter
- Latar belakang adaptasi model beku
- Adaptor saraf, pemrograman ulang, diminta, dan adaptasi rendah (LORA)
| Judul | Penulis | Kode | Tahun |
|---|
| Adaptor pribadi yang berbeda untuk pemodelan akustik yang efisien parameter | C.-W. Ho et al. | kode | Interspeech 2023 |
| Pembelajaran Parameter-Efisien untuk Adaptasi Aksen Teks-ke-Pidato | L.-J. Yang et al. | kode | Interspeech 2023 |
| Pendekatan pembelajaran yang efisien parameter untuk identifikasi dialek Arab dengan model bicara tujuan umum yang sudah terlatih | S. Radhakrishnan et al. | kode | Interspeech 2023 |
1.2. Pembelajaran yang efisien memori
- Kurangi ke memori GPU / TPU selama pelatihan (misalnya, memori aktivasi)
- Serialisasi model
- Pembelajaran on-perangkat yang efisien melalui pemrograman ulang fitur (CVPR 2022)
- Tuning Sisi Tangga (Neurips 2022)
1.3 Bagaimana cara memperkirakan lapisan mana atau model mana yang akan disesuaikan?
- Teori Perkiraan Universal (Tip IEEE 1993)
- Logme: Penilaian Praktis Model Pra-Terlatih untuk Pembelajaran Transfer (ICML 2021)
- Penyelarasan Laten Space dalam "Model Akustik Pemrograman ulang untuk Klasifikasi Seri Waktu" (ICML 2021)
| Judul | Penulis | Kode | Tahun |
|---|
| Bagaimana cara memperkirakan transferabilitas model model bicara pra-terlatih? | Z.-C. Chen et al. | kode | Interspeech 2023 |
1.4 Teknik adaptasi rendah (LORA) canggih
- Penggabungan Cross-Modal
- Adaptasi rendah (LORA) untuk pemodelan fondasi dan pra-pelatihan
1.5 Layanan Masyarakat
- Sesi Khusus di ICASSP 2024: Pembelajaran dalam konteks untuk pemrosesan bicara dan bahasa
- [email protected]
Break: Hand-on Sesi 1 (5 menit)
- Cara melatih bisikan Anda dengan adaptor saraf dan lora
Bagian 2: Pembelajaran AI dan Cross-Modal yang Dapat Dipercaya di Era Model Yayasan, Dr. Pin-Yu Chen
11:00 to 11:45
Bagian 3: Pra-Pelatihan Multimodal untuk Pengenalan Pidato Otomatis dan Berbagi Visi, Dr. Shalini Ghosh
11:45 to 12:20
Spotlight Diundang Bicara, "Meminta LLM untuk ASR," oleh Dr. Chunyang Wu, Meta AI
12:20 to 12:30
Diskusi QA dan Pleno
12:40 to 12:45
