Interspeech23 Tutorial Para Efficient Cross Modal Tutorial

Interspeech 2023教程

• Interspeech 23 Resource Efficient and Cross-Modal Learning Toward Foundation Modeling Tutorial - 视频

• ICASSP 22教程Neural Model Reprogramming and Prompting for Speech Modeling - 视频|滑动

• ICASSP 23 Parameter-Efficient Learning (PEL) for Speech and NLP: Adapters, Prompts, and Reprogramming - 幻灯片

第1部分。资源效率学习的概述，Huck Yang博士

9:00

1.1。参数效率学习

• 冷冻模型适应的背景
• 神经适配器，重编程，提示和低级适应（LORA）

标题	作者	代码	年
用于参数有效的声学建模的差异私有适配器	C.-W。 Ho等。	代码	间言式2023
文本到语音重音适应的参数效率学习	L.-J。杨等。	代码	间言式2023
使用预训练的通用语音模型的阿拉伯方言识别的参数学习方法	S. Radhakrishnan等。	代码	间言式2023

1.2。记忆效率学习

• 在训练期间还原为GPU / TPU内存（例如，激活的内存）
• 模型序列化
• 通过功能重编程有效地学习（CVPR 2022）
• 梯子侧调谐（神经2022）

1.3如何估计哪个层或哪个模型调谐？

• 通用近似理论（IEEE TIP 1993）
• logme：对转移学习的预训练模型的实际评估（ICML 2021）
• “为时间序列分类的重编程声学模型”中的潜在空间对齐（ICML 2021）

标题	作者	代码	年
如何估计预训练的语音模型的模型可传递性？	Z.-C。 Chen等。	代码	间言式2023

1.4高级低级适应（LORA）技术

• 跨模式合并
• 用于基础建模和预训练的低级适应（LORA）

1.5社区服务

• ICASSP 2024中的特别会议：语音和语言处理的文章学习
• [email protected]

休息：手工1（5分钟）

• 如何用神经适配器和洛拉训练您的耳语

第2部分：基础模型时代Pin-Yu Chen博士的值得信赖的AI和跨模式学习

11:00 to 11:45

第3部分：自动语音识别和视力共享的多模式预训练，Shalini Ghosh博士

11:45 to 12:20

Spotlight邀请了Talk，“促使LLM for ASR”，Chunyang Wu博士，Meta ai

12:20 to 12:30

质量检查和全体讨论

12:40 to 12:45