Interspeech23 Tutorial Para Efficient Cross Modal Tutorial

Speech 2023チュートリアル

• speech 23 Resource Efficient and Cross-Modal Learning Toward Foundation Modeling Tutorial - ビデオ

• ICASSP 22チュートリアルNeural Model Reprogramming and Prompting for Speech Modeling - ビデオ|スライド

• ICASSP 23チュートリアルParameter-Efficient Learning (PEL) for Speech and NLP: Adapters, Prompts, and Reprogramming - スライド

パート1。リソース効率の高い学習の概要、ハック・ヤン博士

9:00

1.1。パラメーター効率の高い学習

• 凍結モデルの適応の背景
• ニューラルアダプター、再プログラミング、プロンプト、および低ランク適応（LORA）

タイトル	著者	コード	年
パラメーター効率的なアコースティックモデリング用の差次的にプライベートアダプター	C.-W。 Ho et al。	コード	speech 2023
テキストからスピーチへのアクセントの適応のためのパラメーター効率の高い学習	L.-J.ヤン等。	コード	speech 2023
事前に訓練された汎用音声モデルを使用したアラビア語の方言の識別に対するパラメーター効率の高い学習アプローチ	S. Radhakrishnan et al。	コード	speech 2023

1.2。メモリ効率の高い学習

• トレーニング中にGPU / TPUメモリに削減します（たとえば、活性化のメモリ）
• モデルのシリアル化
• フィーチャーリプラミングを介した効率的なオンデバイス学習（CVPR 2022）
• はしご側のチューニング（ニューリップ2022）

1.3どのレイヤーまたはチューニングするモデルを推定する方法は？

• ユニバーサル近似理論（IEEE TIP 1993）
• logme：転送学習のための事前に訓練されたモデルの実用的評価（ICML 2021）
• 「時系列分類のための音響モデルの再プログラミング」（ICML 2021）の潜在スペースアライメント

タイトル	著者	コード	年
事前に訓練された音声モデルのモデル転送可能性を推定する方法は？	Z.-C.チェン等。	コード	speech 2023

1.4高度な低ランク適応（LORA）技術

• クロスモーダル合併
• 基礎モデリングとトレーニング前の低ランク適応（LORA）

1.5コミュニティサービス

• ICASSP 2024の特別セッション：音声および言語処理のためのコンテキスト学習
• [email protected]

休憩：ハンドオンセッション1（5分）

• ニューラルアダプターとロラでささやきを訓練する方法

パート2：財団モデルの時代における信頼できるAIとクロスモーダル学習、ピンユ・チェン博士

11:00 to 11:45

パート3：自動音声認識とビジョン共有のためのマルチモーダルプリトレーニング、シャリーニゴーシュ博士

11:45 to 12:20

SpotlightがTalkを招待し、「ASRにLLMを促して」、Chunyang Wu博士、メタAI

12:20 to 12:30

QAおよび全体的な議論

12:40 to 12:45