dla

音频的深度学习（DLA）

• 每周的讲座和研讨会材料在./week*文件夹中，有关材料和说明，请参见README.md
• 任何技术问题，想法，课程材料中的错误，贡献思想 - 添加一个问题
• 该课程的当前版本于2024年秋天在HSE CS教职员工进行。

有关往年版本，请参见过去的版本部分。

教学大纲

• Week01课程介绍

  • 讲座：课程介绍
  • 研讨会：实验跟踪， Hydra ， Git ， VS code
  • 自学： PyTorch简介

• Week02数字信号处理简介

  • 讲座：信号，傅立叶变换，频谱图，Melscale，MFCC
  • 研讨会：实践中的DSP，频谱图创建，IRF，频率过滤

• Week03语音识别我

  • 讲座：指标，数据集，连接派时间分类（CTC），经典模型，光束搜索，语言模型
  • 研讨会：音频增强，光束搜索
  • 问答环节：家庭作业讨论，研发编码技巧

• Week04语音识别II

  • 讲座：LAS，RNN-T，RNN-T和LAS的语言模型
  • 研讨会：混合RNN-T和CTC模型培训和推理

• Week05来宾演讲。语音识别III和音频SSL

  • 讲座：音频，音频LLM的自我监督模型

• Week06来源分离I

  • 讲座：一般来源分离和denoing，编码器 - 编码器 - 分离器架构，demucs family，dccrn，fullsubnet+，bandsplitrnn
  • 研讨会：指标

• Week07来源分离II

  • 讲座：语音分离，盲和目标分离，经常性（TASNET，DPRNN，VoiceFilter）和CNN（Convtasnet，Spex+）
  • 研讨会：Wienerfilter，Sincfilter和Demucs；流处理和性能指标

• Week08视听深度学习

  • 讲座：视听融合，来源分离，语音识别和自我监管模型。 wav2lip和sadtalker（说话的脸）
  • 问与答：项目和Slurm讨论
  • 额外的研讨会：创建自己的聪明的语音助手

• Week09文字到语音（TTS）

  • 讲座：Tacotron，DeepVoice，GST，FastSpeech，AdapeChe，注意窍门
  • 研讨会：推迟

• 第10周神经声码器

  • 讲座：波纳特，平行波甘，波格洛，梅尔根，hifigan
  • 研讨会：FastSpeech I，TTS管道：从文本到音频

• 基于第11周扩散的TT

  • 讲座：扩散概念。扩散声码编码器和扩散声模型。

• 第12周语音生物特征I

  • 讲座：简介。混响。记录和合成语音检测的CMS（LCNN，Rawnet2，Aasist）。 gnns
  • 研讨会：ASVSPOOF，SINC-LAYER，GNN

• Week13语音生物特征II

  • 来宾讲座：Kolmogorov-Arnold Networks（KANS），AASIST3，ASVSPOOF5
  • 讲座：ASV系统。 SASV系统。流

• 音乐14 AI的音乐

  • 讲座：任务概述，音乐信息检索，音乐发电

作业和项目

• HW_ASR培训语音识别模型
• Project_avss培训视听语音分离模型
• HW_NV实现TTS模型（神经声码器）

请参阅我们的项目模板。

资源

• YouTube上的演讲录音（俄语）

其中一些星期有英语录音。请参阅相应的子目录。

贡献者和课程人员

课程材料和教学（在不同的年内）由：

• Maxim Kaledin
• 彼得·格林伯格
• 格里格里·费多洛夫（Grigory Fedorov）
• 艾贝克·艾拉诺夫（Aibek Alanov）
• 亚历山大·马尔科维奇（以前）
• 丹尼尔·伊万诺夫（以前）
• Ilya Lewin（以前）
• Timofey Smirnov（以前）
• 亚历山大·妈妈（以前）

过去的版本

• 2023
• 2022
• 2021
• 2020