dlaダウンロードdlaソースコードのダウンロード

dla

AI ソースコード

1.0.0

ダウンロード

logo5v1

オーディオのディープラーニング（DLA）

毎週の講義とセミナーの資料は./week*フォルダーにあります。材料と指示についてはREADME.md参照してください
技術的な問題、アイデア、コース資料のバグ、貢献アイデア - 問題を追加する
コースの現在のバージョンは、2024年秋にHSEのCS学部で実施されます。

前年のバージョンについては、過去のバージョンセクションを参照してください。

シラバス

week01コースの紹介
- 講義：コースの紹介
- セミナー：実験追跡、 Hydra 、 Git 、 VS code
- 自己学習： PyTorchの紹介
Week02デジタル信号処理の紹介
- 講義：シグナル、フーリエ変換、スペクトログラム、メルスケール、MFCC
- セミナー：実際にはDSP、スペクトログラムの作成、IRF、周波数フィルタリング
week03音声認識i
- 講義：メトリック、データセット、コネクショニストの時間分類（CTC）、クラシックモデル、ビーム検索、言語モデル
- セミナー：オーディオ拡張、ビーム検索
- Q＆Aセッション：宿題のディスカッション、R＆Dコーディングのヒント
Week04音声認識II
- 講義：LAS、RNN-T、RNN-TおよびLASの言語モデル
- セミナー：ハイブリッドRNN-TおよびCTCモデルのトレーニングと推論
Week5ゲスト講義。音声認識IIIおよびオーディオSSL
- 講義：オーディオ、オーディオLLMSの自己監視モデル
week06ソース分離i
- 講義：一般的なソース分離と除去、エンコーダデコーダーセパレータアーキテクチャ、Demusファミリー、DCCRN、FullSubnet+、Bandsplitrnnnのレビュー
- セミナー：メトリック
Week07ソース分離II
- 講義：音声分離、ブラインドおよびターゲット分離、再発（TASNET、DPRNN、VoiceFilter）およびCNN（ConvtasNet、Spex+）
- セミナー：Wienerfilter、Sincfilter、Demucs。ストリーミング処理とパフォーマンスメトリック
week08オーディオビジュアルディープラーニング
- 講義：視聴覚融合、ソース分離、音声認識、および自己監視モデル。 wav2lip and adtalker（トーキングフェイス）
- Q＆A：プロジェクトとSLURMディスカッション
- 追加セミナー：独自のインテリジェント音声アシスタントを作成します
week09テキストからスピーチ（TTS）
- 講義：Tacotron、Deepvoice、GST、FastSpeech、Adaspeech、注意のトリック
- セミナー：延期
Week10ニューラルボコーダー
- 講義：Wavenet、Parallel Wavgan、Waveglow、Melgan、Hifigan
- セミナー：FastSpeech I、TTSパイプライン：テキストからオーディオまで
Week11拡散ベースのTTS
- 講義：拡散概念。拡散ボコーダーと拡散音響モデル。
week12音声生体測定i
- 講義：はじめに。残響。記録および合成された音声検出のCMS（LCNN、Rawnet2、AASIST）。 GNNS
- セミナー：ASVSPOOF、SINC-LAYER、GNN
week13音声生体測定II
- ゲストの講義：Kolmogorov-Arnold Networks（Kans）、AASIST3、ASVSPOOF5
- 講義：ASVシステム。 SASVシステム。ストリーミング
week14 ai for music
- 講義：タスクの概要、音楽情報検索、音楽生成