Межспика 2023 Учебное пособие
Interspeech 23 Resource Efficient and Cross-Modal Learning Toward Foundation Modeling Tutorial - видео
ICASSP 22 Учебная Neural Model Reprogramming and Prompting for Speech Modeling - Видео | Слайд
ICASSP 23 Учебное Parameter-Efficient Learning (PEL) for Speech and NLP: Adapters, Prompts, and Reprogramming - слайд
Часть 1. Обзор ресурсного эффективного обучения, доктор Хак Ян
9:00
1.1. Параметр-эффективное обучение
- Фон замороженной модели адаптации
- Нейронный адаптер, перепрограммирование, подсказка и адаптация с низкой оценкой (LORA)
| Заголовок | Авторы | Код | Год |
|---|
| Дифференциальные частные адаптеры для эффективного акустического моделирования параметров | C.-W. Ho et al. | код | Межспика 2023 |
| Параметр-эффективное обучение для адаптации акцента текста в речь | Л.-Дж. Ян и соавт. | код | Межспика 2023 |
| Параметр-эффективный подход к обучению к идентификации арабского диалекта с предварительно обученной речевой моделью общего назначения | S. Radhakrishnan et al. | код | Межспика 2023 |
1.2. Эффективное обучение памяти
- Снизить память графического процессора / TPU во время обучения (например, память об активации)
- Модель сериализация
- Эффективное обучение на устройстве с помощью перепрограммирования функций (CVPR 2022)
- Настройка на стороне лестницы (Neurips 2022)
1.3 Как оценить, какой слой или какую модель настройку?
- Теория универсальной приближения (IEEE TIP 1993)
- Logme: Практическая оценка предварительно обученных моделей для обучения передачи (ICML 2021)
- Выравнивание скрытого пространства в «перепрограммировании акустических моделей для классификации временных рядов» (ICML 2021)
| Заголовок | Авторы | Код | Год |
|---|
| Как оценить переносимость модели предварительно обученных речевых моделей? | Z.-C. Chen et al. | код | Межспика 2023 |
1.4 Усовершенствованные методы адаптации с низким уровнем ранга (LORA)
- Кросс-модальное слияние
- Адаптация с низким рейтингом (LORA) для моделирования фундамента и предварительного обучения
1.5 Общественные работы
- Специальная сессия в ICASSP 2024: в контекстном контексте обучения для речевой и языковой обработки
- [email protected]
Перерыв: ручная сессия 1 (5 мин)
- Как тренировать свой шепот с нейронным адаптером и Лорой
Часть 2: Достоверное ИИ и межмодальное обучение в эпоху моделей Фонда, доктор Пин-Ю Чен
11:00 to 11:45
Часть 3: Мультимодальное предварительное обучение для автоматического распознавания речи и обмена зрения, доктор Шалини Гош
11:45 to 12:20
Spotlight пригласил выступить, «побуждение LLM для ASR», доктора Чуньян Ву, Meta AI
12:20 to 12:30
QA и пленарное обсуждение
12:40 to 12:45
