dla

音頻的深度學習（DLA）

• 每週的講座和研討會材料在./week*文件夾中，有關材料和說明，請參見README.md
• 任何技術問題，想法，課程材料中的錯誤，貢獻思想 - 添加一個問題
• 該課程的當前版本於2024年秋天在HSE CS教職員工進行。

有關往年版本，請參見過去的版本部分。

教學大綱

• Week01課程介紹

  • 講座：課程介紹
  • 研討會：實驗跟踪， Hydra ， Git ， VS code
  • 自學： PyTorch簡介

• Week02數字信號處理簡介

  • 講座：信號，傅立葉變換，頻譜圖，Melscale，MFCC
  • 研討會：實踐中的DSP，頻譜圖創建，IRF，頻率過濾

• Week03語音識別我

  • 講座：指標，數據集，連接派時間分類（CTC），經典模型，光束搜索，語言模型
  • 研討會：音頻增強，光束搜索
  • 問答環節：家庭作業討論，研發編碼技巧

• Week04語音識別II

  • 講座：LAS，RNN-T，RNN-T和LAS的語言模型
  • 研討會：混合RNN-T和CTC模型培訓和推理

• Week05來賓演講。語音識別III和音頻SSL

  • 講座：音頻，音頻LLM的自我監督模型

• Week06來源分離I

  • 講座：一般來源分離和denoing，編碼器 - 編碼器 - 分離器架構，demucs family，dccrn，fullsubnet+，bandsplitrnn
  • 研討會：指標

• Week07來源分離II

  • 講座：語音分離，盲和目標分離，經常性（TASNET，DPRNN，VoiceFilter）和CNN（Convtasnet，Spex+）
  • 研討會：Wienerfilter，Sincfilter和Demucs；流處理和性能指標

• Week08視聽深度學習

  • 講座：視聽融合，來源分離，語音識別和自我監管模型。 wav2lip和sadtalker（說話的臉）
  • 問與答：項目和Slurm討論
  • 額外的研討會：創建自己的聰明的語音助手

• Week09文字到語音（TTS）

  • 講座：Tacotron，DeepVoice，GST，FastSpeech，AdapeChe，注意竅門
  • 研討會：推遲

• 第10週神經聲碼器

  • 講座：波納特，平行波甘，波格洛，梅爾根，hifigan
  • 研討會：FastSpeech I，TTS管道：從文本到音頻

• 基於第11週擴散的TT

  • 講座：擴散概念。擴散聲碼編碼器和擴散聲模型。

• 第12週語音生物特徵I

  • 講座：簡介。混響。記錄和合成語音檢測的CMS（LCNN，Rawnet2，Aasist）。 gnns
  • 研討會：ASVSPOOF，SINC-LAYER，GNN

• Week13語音生物特徵II

  • 來賓講座：Kolmogorov-Arnold Networks（KANS），AASIST3，ASVSPOOF5
  • 講座：ASV系統。 SASV系統。流

• 音樂14 AI的音樂

  • 講座：任務概述，音樂信息檢索，音樂發電

作業和項目

• HW_ASR培訓語音識別模型
• Project_avss培訓視聽語音分離模型
• HW_NV實現TTS模型（神經聲碼器）

請參閱我們的項目模板。

資源

• YouTube上的演講錄音（俄語）

其中一些星期有英語錄音。請參閱相應的子目錄。

貢獻者和課程人員

課程材料和教學（在不同的年內）由：

• Maxim Kaledin
• 彼得·格林伯格
• 格里格里·費多洛夫（Grigory Fedorov）
• 艾貝克·艾拉諾夫（Aibek Alanov）
• 亞歷山大·馬爾科維奇（以前）
• 丹尼爾·伊万諾夫（以前）
• Ilya Lewin（以前）
• Timofey Smirnov（以前）
• 亞歷山大·媽媽（以前）

過去的版本

• 2023
• 2022
• 2021
• 2020