Tutorial de interponelación 2023
Interpech 23 Resource Efficient and Cross-Modal Learning Toward Foundation Modeling Tutorial - Video
ICASSP 22 Tutorial Neural Model Reprogramming and Prompting for Speech Modeling - Video | Deslizar
ICASSP 23 Tutorial Parameter-Efficient Learning (PEL) for Speech and NLP: Adapters, Prompts, and Reprogramming - Diapositiva
Parte 1. Descripción general del aprendizaje eficiente de recursos, Dr. Huck Yang
9:00
1.1. Aprendizaje de los parámetros
- Antecedentes de adaptación de modelo congelado
- Adaptador neural, reprogramación, solicitud y adaptación de bajo rango (Lora)
| Título | Autores | Código | Año |
|---|
| Adaptadores diferencialmente privados para el modelado acústico eficiente de los parámetros | C.-W. Ho et al. | código | Interpecha 2023 |
| Aprendizaje de los parámetros para la adaptación de acento de texto a voz | L.-J. Yang et al. | código | Interpecha 2023 |
| Un enfoque de aprendizaje de parámetros-eficiente para la identificación del dialecto árabe con modelo de habla general de propósito general | S. Radhakrishnan et al. | código | Interpecha 2023 |
1.2. Aprendizaje de la memoria eficiente
- Reducir a la memoria GPU / TPU durante el entrenamiento (por ejemplo, la memoria de la activación)
- Serialización del modelo
- Aprendizaje eficiente en el dispositivo a través de la reprogramación de características (CVPR 2022)
- Afinación del lado de la escalera (Neurips 2022)
1.3 ¿Cómo estimar qué capa o qué modelo sintonizar?
- Teoría de la aproximación universal (IEEE Tip 1993)
- LogMe: Evaluación práctica de modelos previamente capacitados para el aprendizaje de transferencia (ICML 2021)
- Alineación de espacio latente en "Reprogramación de modelos acústicos para la clasificación de series de tiempo" (ICML 2021)
| Título | Autores | Código | Año |
|---|
| ¿Cómo estimar la transferibilidad del modelo de los modelos de habla previamente capacitados? | Z.-C. Chen et al. | código | Interpecha 2023 |
1.4 Técnicas avanzadas de adaptación de bajo rango (LORA)
- Fusión intermodal
- Adaptación de bajo rango (LORA) para modelado de cimientos y pre-entrenamiento
1.5 Servicio comunitario
- Sesión especial en ICASSP 2024: Aprendizaje en contexto para el procesamiento del habla y el lenguaje
- [email protected]
Break: Sesión de mano 1 (5 min)
- Cómo entrenar tu susurro con adaptador neuronal y Lora
Parte 2: AI confiable y aprendizaje intermodal en la era de los modelos de fundaciones, Dr. Pin-Yu Chen
11:00 to 11:45
Parte 3: Presadrenamiento multimodal para reconocimiento automático de voz y uso compartido de visión, Dr. Shalini Ghosh
11:45 to 12:20
Spotlight Invited Talk, "Involucrar a LLM para ASR", por el Dr. Chunyang Wu, Meta AI
12:20 to 12:30
QA y discusión plenaria
12:40 to 12:45
