asteroid

---

Asteroid est une boîte à outils de séparation de source audio basée sur Pytorch qui permet une expérimentation rapide sur des ensembles de données communs. Il est livré avec un code source qui prend en charge une large gamme d'ensembles de données et d'architectures, et un ensemble de recettes pour reproduire certains articles importants.

Vous utilisez de l'astéroïde ou vous le souhaitez?

S'il vous plaît, si vous avez trouvé un bogue, ouvrez un problème, si vous le résolvez, ouvrez une demande de traction! Il en va de même pour les nouvelles fonctionnalités, dites-nous ce que vous voulez ou nous aidez à la construire! N'hésitez pas à rejoindre le Slack et à poser des questions / suggérer également de nouvelles fonctionnalités là-bas! Asteroid est destiné à être un projet communautaire, alors sautez et aidez-nous!

Contenu

• Contenu
• Installation
• Tutoriels
• Faire une recette
• Recettes disponibles
• Ensembles de données pris en charge
• Modèles pré-entraînés
• Contributif
• Visualisation de Tensorboard
• Principes de guidage
• Citant l'astéroïde

Installation

(↑ jusqu'à le contenu) pour installer l'astéroïde, cloner le repo et l'installer à l'aide de conda, pip ou python:

 # First clone and enter the repo
git clone https://github.com/asteroid-team/asteroid
cd asteroid

• Avec pip

 # Install with pip in editable mode
pip install -e .
# Or, install with python in dev mode
# python setup.py develop

• Avec conda (si vous n'avez pas déjà conda, voyez ici.)

conda env create -f environment.yml
conda activate asteroid

• Asteroid est également sur PYPI, vous pouvez installer la dernière version avec

pip install asteroid

Tutoriels

(↑ jusqu'à le contenu) Voici une liste des cahiers montrant l'exemple d'utilisation des fonctionnalités d'Astéroïdes.

• Commencer avec l'astéroïde
• Introduction et aperçu
• API FilterBank
• Permutation Invariant Training Wrapper PITLossWrapper
• Traiter de grands fichiers WAV

Faire une recette

(↑ Jusqu'au contenu) L'exécution des recettes nécessite des packages supplémentaires dans la plupart des cas, nous vous recommandons de courir:

 # from asteroid/
pip install -r requirements.txt

Ensuite, choisissez la recette que vous souhaitez exécuter et exécutez-la!

 cd egs/wham/ConvTasNet
. ./run.sh

Plus d'informations dans EGS / Readme.md.

Recettes disponibles

(↑ jusqu'au contenu)

• Convtasnet (Luo et al.)
• Tasnet (Luo et al.)
• Clustering profond (Hershey et al. Et Isik et al.)
• Chimera ++ (Luo et al. Et Wang et al.)
• Dualpathrnn (Luo et al.)
• Apprentissage en deux étapes (Tzinis et al.)
• Sudormrfnet (Tzinis et al.)
• DPTNET (Chen et al.)
• Dccrnet (Hu et al.)
• Dcunet (Choi et al.)
• Crossnet-out-unmix (Sawata et al.)
• DPRNN multi-décodeur (Zhu et al.)
• Open-unmix (à venir) (Stöter et al.)
• Wavesplit (à venir) (Zeghidour et al.)

Ensembles de données pris en charge

(↑ jusqu'au contenu)

• WSJ0-2MIX / WSJ03MIX (Hershey et al.)
• Wham (Wichern et al.)
• Whamr (Maciejewski et al.)
• Librimix (Cosentino et al.)
• Microsoft DNS Challenge (Chandan et al.)
• SMS_WSJ (Drude et al.)
• MUSDB18 (Raffi et al.)
• Fuss (Wisdom et al.)
• AvSpeech (Ephrat et al.)
• Kinect-WSJ (Sivasankaran et al.)

Modèles pré-entraînés

(↑ jusqu'au contenu) Voir ici

Contributif

(↑ jusqu'au contenu) Nous cherchons toujours à élargir notre couverture de la recherche de séparation des sources et d'amélioration de la parole, ce qui suit est une liste des choses qui nous manquent. Vous voulez contribuer? C'est un excellent point de départ!

• Wavesplit (Zeghidour et Grangier)
• Furcanex (Shi et al.)
• Deepcasa (Liu et Want)
• Les ensembles de tests VCTK de Kadioglu et al.
• Pit interrompue et en cascade (Yang et al.)
• Contraves de cohérence (Wisdom et al.)
• STOI et PESQ rétro-propagables.
• Les filtres paramétrisés de Tukuljac et al.
• Misi de bout en bout (Wang et al.)

N'oubliez pas de lire nos directives contributives.

Vous pouvez également ouvrir un problème ou créer un PR pour ajouter quelque chose que nous avons manqué dans cette liste.

Visualisation de Tensorboard

L'enregistreur par défaut est Tensorboard dans toutes les recettes. Dans le dossier de recettes, vous pouvez exécuter ce qui suit pour visualiser les journaux de toutes vos courses. Vous pouvez également comparer différents systèmes sur le même ensemble de données en exécutant une commande similaire à partir des directeurs de données.

 # Launch tensorboard (default port is 6006)
tensorboard --logdir exp/ --port tf_port

Si vous lancez Tensorboard à distance, vous devez ouvrir un tunnel SSH

 # Open port-forwarding connection. Add -Nf option not to open remote.
ssh -L local_port:localhost:tf_port user@ip

Puis ouvrez http://localhost:local_port/ . Si les deux ports sont les mêmes, vous pouvez cliquer sur l'URL du tensorboard donné sur la télécommande, c'est tout simplement plus pratique.

Principes de guidage

(↑ jusqu'au contenu)

• Modularité. Les blocs de construction sont pensés et conçus pour être branchés de manière transparente. Les banques de filtres, les encodeurs, les masqueurs, les décodeurs et les pertes sont tous des blocs de construction courants qui peuvent être combinés de manière flexible pour créer de nouveaux systèmes.
• Extensibilité. Extension de l'astéroïde avec de nouvelles fonctionnalités est simple. Ajoutez une nouvelle banque filtrante, une architecture de séparateur, un ensemble de données ou même une recette très facilement.
• Reproductibilité. Les recettes fournissent un moyen facile de reproduire les résultats avec la préparation des données, la conception du système, la formation et l'évaluation dans un seul script. C'est un outil essentiel pour la communauté!

Citant l'astéroïde

(↑ Jusqu'au contenu) Si vous avez adoré utiliser Asteroid et que vous souhaitez nous citer, utilisez ceci:

 @inproceedings { Pariente2020Asteroid ,
    title = { Asteroid: the {PyTorch}-based audio source separation toolkit for researchers } ,
    author = { Manuel Pariente and Samuele Cornell and Joris Cosentino and Sunit Sivasankaran and
            Efthymios Tzinis and Jens Heitkaemper and Michel Olvera and Fabian-Robert Stöter and
            Mathieu Hu and Juan M. Martín-Doñas and David Ditter and Ariel Frank and Antoine Deleforge
            and Emmanuel Vincent } ,
    year = { 2020 } ,
    booktitle = { Proc. Interspeech } ,
}