asteroid

---

Asteroid adalah toolkit pemisahan sumber audio berbasis pytorch yang memungkinkan eksperimen cepat pada dataset umum. Muncul dengan kode sumber yang mendukung sejumlah besar set data dan arsitektur, dan satu set resep untuk mereproduksi beberapa makalah penting.

Anda menggunakan asteroid atau Anda ingin?

Tolong, jika Anda telah menemukan bug, buka masalah, jika Anda menyelesaikannya, buka permintaan tarik! Hal yang sama berlaku untuk fitur baru, beri tahu kami apa yang Anda inginkan atau bantu kami membangunnya! Jangan ragu untuk bergabung dengan Slack dan mengajukan pertanyaan / menyarankan fitur baru di sana juga! Asteroid dimaksudkan untuk menjadi proyek berbasis komunitas jadi naik dan bantu kami!

Isi

• Isi
• Instalasi
• Tutorial
• Menjalankan resep
• Resep yang tersedia
• Dataset yang Didukung
• Model pretrained
• Berkontribusi
• Visualisasi Tensorboard
• Prinsip Panduan
• Mengutip asteroid

Instalasi

(↑ hingga konten) untuk memasang asteroid, mengkloning repo dan memasangnya menggunakan conda, pip atau python:

 # First clone and enter the repo
git clone https://github.com/asteroid-team/asteroid
cd asteroid

• Dengan pip

 # Install with pip in editable mode
pip install -e .
# Or, install with python in dev mode
# python setup.py develop

• Dengan conda (jika Anda belum memiliki conda, lihat di sini.)

conda env create -f environment.yml
conda activate asteroid

• Asteroid juga ada di PYPI, Anda dapat menginstal rilis terbaru

pip install asteroid

Tutorial

(↑ Sampai Isi) Berikut adalah daftar buku catatan yang menunjukkan contoh penggunaan fitur asteroid.

• Memulai dengan Asteroid
• Pendahuluan dan Ikhtisar
• API Filterbank
• Permutasi Pembungkus Pelatihan Invariant PITLossWrapper
• Memproses file wav besar

Menjalankan resep

(↑ Sampai Isi) Menjalankan resep membutuhkan paket tambahan dalam banyak kasus, kami sarankan menjalankan:

 # from asteroid/
pip install -r requirements.txt

Kemudian pilih resep yang ingin Anda jalankan dan jalankan!

 cd egs/wham/ConvTasNet
. ./run.sh

Informasi lebih lanjut dalam EGS/README.MD.

Resep yang tersedia

(↑ sampai konten)

• Convtasnet (Luo et al.)
• Tasnet (Luo et al.)
• Clustering yang dalam (Hershey et al. Dan Isik et al.)
• Chimera ++ (Luo et al. Dan Wang et al.)
• Dualpathrnn (Luo et al.)
• Pembelajaran dua langkah (Tzinis et al.)
• Sudormrfnet (Tzinis et al.)
• DPTNET (Chen et al.)
• Dccrnet (Hu et al.)
• Dcunet (Choi et al.)
• CrossNet-Open-Unmix (Sawata et al.)
• DPRNN MULTI-DECODER (Zhu et al.)
• Open-Unmix (Datang) (Stöter et al.)
• WAVESPLIT (DATANG) (Zeghidour et al.)

Dataset yang Didukung

(↑ sampai konten)

• WSJ0-2MIX / WSJ03MIX (Hershey et al.)
• Wham (Wichern et al.)
• Whamr (Maciejewski et al.)
• Librimix (Cosentino et al.)
• Microsoft DNS Challenge (Chandan et al.)
• SMS_WSJ (Drude et al.)
• Musdb18 (Raffi et al.)
• Keributan (Wisdom et al.)
• Avspeech (Ephrat et al.)
• Kinect-WSJ (Sivasankaran et al.)

Model pretrained

(↑ sampai konten) Lihat di sini

Berkontribusi

(↑ Sampai Isi) Kami selalu mencari untuk memperluas liputan kami tentang pemisahan sumber dan penelitian peningkatan bicara, berikut ini adalah daftar hal -hal yang kami lewatkan. Anda ingin berkontribusi? Ini adalah tempat yang bagus untuk memulai!

• WAVESPLIT (Zeghidour dan Grangier)
• Furcanext (Shi et al.)
• Deepcasa (Liu and Want)
• Set uji VCTK dari Kadioglu et al.
• Pit yang terganggu dan bertingkat (Yang et al.)
• Kontraints Konsistensi (Wisdom et al.)
• STOI dan PESQ yang dapat dipropagasi.
• Bank filter parametrized dari Tukuljac et al.
• Misi ujung ke ujung (Wang et al.)

Jangan lupa membaca pedoman yang berkontribusi.

Anda juga dapat membuka masalah atau membuat PR untuk menambahkan sesuatu yang kami lewatkan dalam daftar ini.

Visualisasi Tensorboard

Logger default adalah Tensorboard di semua resep. Dari folder resep, Anda dapat menjalankan yang berikut untuk memvisualisasikan log semua menjalankan Anda. Anda juga dapat membandingkan sistem yang berbeda pada dataset yang sama dengan menjalankan perintah yang sama dari Dataset Directiories.

 # Launch tensorboard (default port is 6006)
tensorboard --logdir exp/ --port tf_port

Jika peluncuran Tensorboard Anda dari jarak jauh, Anda harus membuka terowongan SSH

 # Open port-forwarding connection. Add -Nf option not to open remote.
ssh -L local_port:localhost:tf_port user@ip

Kemudian buka http://localhost:local_port/ . Jika kedua port itu sama, Anda dapat mengklik URL Tensorboard yang diberikan pada remote, itu hanya lebih praktis.

Prinsip Panduan

(↑ sampai konten)

• Modularitas. Blok bangunan dipikirkan dan dirancang untuk dicolokkan dengan mulus. CilterBanks, Encoder, Masker, Decoder dan Rugi adalah semua blok bangunan umum yang dapat dikombinasikan dengan cara yang fleksibel untuk menciptakan sistem baru.
• Kemungkinan diperpanjang. Memperluas asteroid dengan fitur baru sederhana. Tambahkan bank filterbank baru, arsitektur pemisah, dataset atau bahkan resep dengan sangat mudah.
• Reproduktifitas. Resep memberikan cara mudah untuk mereproduksi hasil dengan persiapan data, desain sistem, pelatihan dan evaluasi dalam satu skrip. Ini adalah alat penting bagi komunitas!

Mengutip asteroid

(↑ Hingga Isi) Jika Anda suka menggunakan asteroid dan Anda ingin mengutip kami, gunakan ini:

 @inproceedings { Pariente2020Asteroid ,
    title = { Asteroid: the {PyTorch}-based audio source separation toolkit for researchers } ,
    author = { Manuel Pariente and Samuele Cornell and Joris Cosentino and Sunit Sivasankaran and
            Efthymios Tzinis and Jens Heitkaemper and Michel Olvera and Fabian-Robert Stöter and
            Mathieu Hu and Juan M. Martín-Doñas and David Ditter and Ariel Frank and Antoine Deleforge
            and Emmanuel Vincent } ,
    year = { 2020 } ,
    booktitle = { Proc. Interspeech } ,
}