Курс обработки речи YSDA
- Материалы для каждой недели в папках ./week*
Курс программы
- Неделя 1: слайды | Лекция | Семинар
- Лекция: вступление в цифровую обработку сигналов (DSP)
- Семинар: реализовать трубопровод DSP
- Неделя 2: слайды | Лекция | Семинар
- Лекция: Введение в речь и дискриминационные модели. Задачи обнаружения голосовой активности (VAD) и звуковое обнаружение событий (SED)
- Семинар: модели Train VAD
- Домашнее задание: модели SED Train SED
- Неделя 3: слайды | Лекция | Семинар
- Лекция: задачи по биометрии с ключевым словом и биометрии речи
- Семинар: модель биометрии поезда и посмотрите на встраивание
- Домашнее задание: модель биометрии поезда для лучшего качества
- Неделя 4: слайды | Лекция | Семинар
- Лекция: распознавание речи I
- Семинар: метрики и дополнения для распознавания речи
- Домашнее задание: внедрять алгоритм CTC
- Неделя 5: слайды | Лекция
- Лекция: распознавание речи II, предварительная подготовка
- Домашнее задание: Finetune wav2vec2
- Неделя 6: слайды | Лекция
- Лекция: текст к речи I, вступление, препроцессор, метрики
- Неделя 7: слайды | Лекция
- Лекция: текст к речи II, акустические модели
- Семинар: оценка высоты тона, монотонное выравнивание поиск оценки продолжительности фонем
- Домашнее задание: модель Fastpitch Train
- Неделя 8: слайды, P1 | Лекция, P1 | Слайды, P2 | Лекция, P2 | Семинар
- Лекция, стр.: Текстовые к речи III, вокал
- Лекция, стр. 2: квантование вектора, кодеки
- Семинар: вектор Quantizaton, квантование остаточного вектора
- Неделя 9: слайды | Лекция, P1 | Лекция, P2
- Лекция: трансформеры для TTS
- Домашнее задание: напишите вывод для предварительно обученного трансформатора
- Неделя 10: слайды | Лекция | Семинар
- Лекция: снижение шума
- Семинар: потоковая передача STFT и ISTFT
- Домашнее задание: реализация модели шумоподавления
- Неделя 11: слайды | Лекция
- Лекция: отмена акустического эха (AEC) и формирование луча
- Неделя 12: слайды | Лекция | Семинар
- Лекция: вывод ASR
- Семинар: потоковая аср
- Неделя 13: слайды | Лекция
- Лекция: преобразование голоса на основе потока.
Сотрудники и персонал курса
Текущий:
- Алекс Рак - Вад, Spectter, биометрия
- Михаил Андрев - Аср
- Степан Каргальтев - Аср
- Evgeniia elistratova - tts
- Роман Кейл - ТТС
- Vladimir Platonov - TTS
- Evgenii shabalin - tts
- Равил Хисамов - VQE
Предыдущая итерация:
- Андрей Малинин - администратор курса, лекции, семинары, домашние работы
- Владимир Кириченко - Лекции, семинары, домашние работы
- Segey Dukanov - Лежуры, семинары, домашние работы
