asteroid

---

Asteroid ist ein pytorchbasiertes Audio-Quell-Trennungs-Toolkit, das schnelle Experimente mit gemeinsamen Datensätzen ermöglicht. Es wird mit einem Quellcode geliefert, der eine große Auswahl an Datensätzen und Architekturen unterstützt, und eine Reihe von Rezepten, um einige wichtige Artikel zu reproduzieren.

Sie verwenden Asteroid oder möchten Sie?

Wenn Sie einen Fehler gefunden haben, öffnen Sie ein Problem, wenn Sie ihn gelöst haben, öffnen Sie eine Pull -Anfrage! Gleiches gilt für neue Funktionen, sagen Sie uns, was Sie wollen, oder helfen Sie uns, es zu bauen! Zögern Sie nicht, sich der Slack anzuschließen und dort auch Fragen zu stellen / dort auch neue Funktionen vorzuschlagen! Asteroid soll ein Community-basiertes Projekt sein, also hüpfen Sie uns auf und helfen Sie uns!

Inhalt

• Inhalt
• Installation
• Tutorials
• Ein Rezept ausführen
• Verfügbare Rezepte
• Unterstützte Datensätze
• Vorbereitete Modelle
• Beitragen
• Tensorboard -Visualisierung
• Leitprinzipien
• Unter Berufung auf Asteroid

Installation

(↑ bis zum Inhalt) So installieren Sie Asteroiden, klonen Sie das Repo und installieren Sie es mit Conda, PIP oder Python:

 # First clone and enter the repo
git clone https://github.com/asteroid-team/asteroid
cd asteroid

• Mit pip

 # Install with pip in editable mode
pip install -e .
# Or, install with python in dev mode
# python setup.py develop

• Mit Conda (wenn Sie noch nicht Conda haben, siehe hier.)

conda env create -f environment.yml
conda activate asteroid

• Asteroid ist auch auf PYPI. Sie können die neueste Version mit installieren

pip install asteroid

Tutorials

(↑ bis zu Inhalt) Hier finden Sie eine Liste von Notizbüchern, die beispielsweise die Verwendung von Asteroidenfunktionen zeigen.

• Erste Schritte mit Asteroiden
• Einführung und Übersicht
• Filterbank -API
• Permutation invariante Training Wrapper PITLossWrapper
• Verarbeiten Sie große WAV -Dateien

Ein Rezept ausführen

(↑ bis zum Inhalt) Ausführen der Rezepte erfordert in den meisten Fällen zusätzliche Pakete. Wir empfehlen das Ausführen:

 # from asteroid/
pip install -r requirements.txt

Dann wählen Sie das Rezept, das Sie ausführen und es ausführen möchten!

 cd egs/wham/ConvTasNet
. ./run.sh

Weitere Informationen in EGS/Readme.md.

Verfügbare Rezepte

(↑ bis zu Inhalt)

• Convtasnet (Luo et al.)
• Tasnet (Luo et al.)
• Tiefes Clustering (Hershey et al. Und Isik et al.)
• Chimera ++ (Luo et al. Und Wang et al.)
• Dualpathrnn (Luo et al.)
• Zwei -Stufen -Lernen (Tzinis et al.)
• Sudormrfnet (Tzinis et al.)
• DPTNET (Chen et al.)
• DCCRNet (Hu et al.)
• Dcunet (Choi et al.)
• Crossnet-Open-Unmix (Sawata et al.)
• Multi-Decoder-DPRNN (Zhu et al.)
• Open-Unmix (Coming) (Stöter et al.)
• Wavesplit (Coming) (Zeghidour et al.)

Unterstützte Datensätze

(↑ bis zu Inhalt)

• WSJ0-2MIX / WSJ03MIX (Hershey et al.)
• Wham (Wichern et al.)
• WHAMR (Maciejewski et al.)
• Librimix (Cosentino et al.)
• Microsoft DNS Challenge (Chandan et al.)
• Sms_wsj (Drude et al.)
• Musdb18 (Raffi et al.)
• Aufregung (Weisheit et al.)
• Avspeech (Ephrat et al.)
• Kinect-WSJ (Sivasankaran et al.)

Vorbereitete Modelle

(↑ bis zum Inhalt) Siehe hier

Beitragen

(↑ bis zum Inhalt) Wir sind immer bestrebt, unsere Berichterstattung über die Forschung zur Trennung von Quellen und Sprachverbesserung zu erweitern. Das Folgende ist eine Liste der Dinge, die uns fehlen. Sie möchten einen Beitrag leisten? Dies ist ein großartiger Ort, um anzufangen!

• Wavesplit (Zeghidour und Grangier)
• Furcanext (Shi et al.)
• Deepcasa (Liu und will)
• VCTK -Testsätze von Kadioglu et al.
• Unterbrochene und kaskadierte Grube (Yang et al.)
• Konsistenz während dessen (Wisdom et al.)
• Backpropagable Stoi und Pesq.
• Parametrisierte Filterbanks von Tukuljac et al.
• End-to-End-Misi (Wang et al.)

Vergessen Sie nicht, unsere beitragenden Richtlinien zu lesen.

Sie können auch ein Problem öffnen oder eine PR erstellen, um etwas hinzuzufügen, das wir in dieser Liste verpasst haben.

Tensorboard -Visualisierung

Der Standardprotokoll ist Tensorboard in allen Rezepten. Aus dem Rezeptordner können Sie Folgendes ausführen, um die Protokolle aller Ihre Läufe zu visualisieren. Sie können auch verschiedene Systeme im selben Datensatz vergleichen, indem Sie einen ähnlichen Befehl aus den Datensatzdirektoren ausführen.

 # Launch tensorboard (default port is 6006)
tensorboard --logdir exp/ --port tf_port

Wenn Ihr Start Tensorboard remote, sollten Sie einen SSH -Tunnel öffnen

 # Open port-forwarding connection. Add -Nf option not to open remote.
ssh -L local_port:localhost:tf_port user@ip

Öffnen Sie dann http://localhost:local_port/ . Wenn beide Ports gleich sind, können Sie auf die in der Fernbedienung angegebene Tensorboard -URL klicken. Dies ist nur praktischer.

Leitprinzipien

(↑ bis zu Inhalt)

• Modularität. Bausteine ​​werden gedacht und so konzipiert, dass sie nahtlos zusammengefügt werden. Filterbanks, Encoder, Maskierer, Decoder und Verluste sind allgemeine Bausteine, die auf flexible Weise kombiniert werden können, um neue Systeme zu erstellen.
• Erweiterbarkeit. Das Ausdehnen von Asteroiden mit neuen Funktionen ist einfach. Fügen Sie sehr einfach eine neue Filterbank, eine Separatorarchitektur, einen Datensatz oder sogar Rezept hinzu.
• Reproduzierbarkeit. Rezepte bieten eine einfache Möglichkeit, Ergebnisse mit Datenvorbereitung, Systemdesign, Schulung und Bewertung in einem einzigen Skript zu reproduzieren. Dies ist ein wesentliches Werkzeug für die Community!

Unter Berufung auf Asteroid

(↑ bis zum Inhalt) Wenn Sie es geliebt haben, Asteroid zu verwenden und uns zitieren möchten, verwenden Sie dies:

 @inproceedings { Pariente2020Asteroid ,
    title = { Asteroid: the {PyTorch}-based audio source separation toolkit for researchers } ,
    author = { Manuel Pariente and Samuele Cornell and Joris Cosentino and Sunit Sivasankaran and
            Efthymios Tzinis and Jens Heitkaemper and Michel Olvera and Fabian-Robert Stöter and
            Mathieu Hu and Juan M. Martín-Doñas and David Ditter and Ariel Frank and Antoine Deleforge
            and Emmanuel Vincent } ,
    year = { 2020 } ,
    booktitle = { Proc. Interspeech } ,
}