Tutorial interpeech 2023
Resource Efficient and Cross-Modal Learning Toward Foundation Modeling Tutorial - vídeo
ICASSP 22 Neural Model Reprogramming and Prompting for Speech Modeling - Vídeo | Deslizar
ICASSP 23 Parameter-Efficient Learning (PEL) for Speech and NLP: Adapters, Prompts, and Reprogramming - slide
Parte 1. Visão geral do aprendizado eficiente em recursos, Dr. Huck Yang
9:00
1.1. Aprendizagem eficiente em parâmetro
- Antecedência do modelo congelado
- Adaptador neural, reprogramação, solicitação e adaptação de baixo rank (LORA)
| Título | Autores | Código | Ano |
|---|
| Adaptadores diferencialmente privados para modelagem acústica eficiente em parâmetro | C.-W. Ho et al. | código | Interseche 2023 |
| Aprendizado com eficiência de parâmetro para adaptação de sotaque de texto a fala | L.-J. Yang et al. | código | Interseche 2023 |
| Uma abordagem de aprendizado eficiente em parâmetro para a identificação de dialetas em árabe com modelo de fala pré-treinado de uso geral | S. Radhakrishnan et al. | código | Interseche 2023 |
1.2. Aprendizagem com eficiência de memória
- Reduza à memória GPU / TPU durante o treinamento (por exemplo, a memória da ativação)
- Modelo de serialização
- Aprendizagem eficiente no dispositivo por meio de reprogramação de recursos (CVPR 2022)
- Ajuste do lado da escada (Neurips 2022)
1.3 Como estimar qual camada ou qual modelo sintoniza?
- Teoria da aproximação universal (IEEE Tip 1993)
- LOGME: Avaliação prática de modelos pré-treinados para aprendizado de transferência (ICML 2021)
- Alinhamento de espaço latente em "ROPROGRAMSING MODELOS acústicos para classificação de séries temporais" (ICML 2021)
| Título | Autores | Código | Ano |
|---|
| Como estimar a transferibilidade do modelo de modelos de fala pré-treinados? | Z.-C. Chen et al. | código | Interseche 2023 |
1.4 Técnicas avançadas de adaptação de baixo rank (LORA)
- Fusão cruzada
- Adaptação de baixo rank (LORA) para modelagem de fundação e pré-treinamento
1.5 Serviço comunitário
- Sessão Especial no ICASSP 2024: aprendizado no contexto para processamento de fala e linguagem
- [email protected]
Break: Sessão 1 (5 min)
- Como treinar seu sussurro com adaptador neural e Lora
Parte 2: AI confiável e aprendizado cruzado na era dos modelos de fundação, Dr. Pin-Yu Chen
11:00 to 11:45
Parte 3: Pré-treinamento multimodal para reconhecimento automático de fala e compartilhamento de visão, Dr. Shalini Ghosh
11:45 to 12:20
Spotlight convidou Talk, "Promoting LLM for ASR", do Dr. Chunyang Wu, Meta AI
12:20 to 12:30
Discussão de controle de qualidade e plenário
12:40 to 12:45
