Interspeech23 Tutorial Para Efficient Cross Modal Tutorial

Interspeech 2023教程

• Interspeech 23 Resource Efficient and Cross-Modal Learning Toward Foundation Modeling Tutorial - 視頻

• ICASSP 22教程Neural Model Reprogramming and Prompting for Speech Modeling - 視頻|滑動

• ICASSP 23 Parameter-Efficient Learning (PEL) for Speech and NLP: Adapters, Prompts, and Reprogramming - 幻燈片

第1部分。資源效率學習的概述，Huck Yang博士

9:00

1.1。參數效率學習

• 冷凍模型適應的背景
• 神經適配器，重編程，提示和低級適應（LORA）

標題	作者	代碼	年
用於參數有效的聲學建模的差異私有適配器	C.-W。 Ho等。	代碼	間言式2023
文本到語音重音適應的參數效率學習	L.-J。楊等。	代碼	間言式2023
使用預訓練的通用語音模型的阿拉伯方言識別的參數學習方法	S. Radhakrishnan等。	代碼	間言式2023

1.2。記憶效率學習

• 在訓練期間還原為GPU / TPU內存（例如，激活的內存）
• 模型序列化
• 通過功能重編程有效地學習（CVPR 2022）
• 梯子側調諧（神經2022）

1.3如何估計哪個層或哪個模型調諧？

• 通用近似理論（IEEE TIP 1993）
• logme：對轉移學習的預訓練模型的實際評估（ICML 2021）
• “為時間序列分類的重編程聲學模型”中的潛在空間對齊（ICML 2021）

標題	作者	代碼	年
如何估計預訓練的語音模型的模型可傳遞性？	Z.-C。 Chen等。	代碼	間言式2023

1.4高級低級適應（LORA）技術

• 跨模式合併
• 用於基礎建模和預訓練的低級適應（LORA）

1.5社區服務

• ICASSP 2024中的特別會議：語音和語言處理的文章學習
• [email protected]

休息：手工1（5分鐘）

• 如何用神經適配器和洛拉訓練您的耳語

第2部分：基礎模型時代Pin-Yu Chen博士的值得信賴的AI和跨模式學習

11:00 to 11:45

第3部分：自動語音識別和視力共享的多模式預訓練，Shalini Ghosh博士

11:45 to 12:20

Spotlight邀請了Talk，“促使LLM for ASR”，Chunyang Wu博士，Meta ai

12:20 to 12:30

質量檢查和全體討論

12:40 to 12:45