asteroid

---

O Asteroid é um kit de ferramentas de separação de fonte de áudio baseado em Pytorch que permite a experimentação rápida em conjuntos de dados comuns. Ele vem com um código -fonte que suporta uma grande variedade de conjuntos de dados e arquiteturas e um conjunto de receitas para reproduzir alguns documentos importantes.

Você usa asteróide ou deseja?

Por favor, se você encontrou um bug, abra um problema, se você o resolveu, abra uma solicitação de tração! O mesmo vale para novos recursos, diga -nos o que você deseja ou nos ajude a construí -lo! Não hesite em participar da folga e fazer perguntas / sugerir novos recursos lá também! O asteróide pretende ser um projeto comunitário, então pule e nos ajude!

Conteúdo

• Conteúdo
• Instalação
• Tutoriais
• Executando uma receita
• Receitas disponíveis
• Conjuntos de dados suportados
• Modelos pré -terem sido pretados
• Contribuindo
• Visualização do Tensorboard
• Princípios orientadores
• Citando asteróides

Instalação

(↑ Até o conteúdo) Para instalar asteróides, clonar o repositório e instalá -lo usando conda, pip ou python:

 # First clone and enter the repo
git clone https://github.com/asteroid-team/asteroid
cd asteroid

• Com pip

 # Install with pip in editable mode
pip install -e .
# Or, install with python in dev mode
# python setup.py develop

• Com conda (se você ainda não tem conda, veja aqui.)

conda env create -f environment.yml
conda activate asteroid

• Asteróide também está no Pypi, você pode instalar o lançamento mais recente com

pip install asteroid

Tutoriais

(↑ Até o conteúdo) Aqui está uma lista de notebooks mostrando um exemplo de uso dos recursos do asteróide.

• Introdução com asteróides
• Introdução e visão geral
• API do FilterBank
• Permutação Invariante Treinamento PITLossWrapper
• Processe arquivos WAV grandes

Executando uma receita

(↑ Até o conteúdo) A execução das receitas requer pacotes adicionais na maioria dos casos, recomendamos a execução:

 # from asteroid/
pip install -r requirements.txt

Em seguida, escolha a receita que você deseja executar e executá -la!

 cd egs/wham/ConvTasNet
. ./run.sh

Mais informações no EGS/README.MD.

Receitas disponíveis

(↑ Até o conteúdo)

• Convtasnet (Luo et al.)
• Tasnet (Luo et al.)
• Clustering Deep (Hershey et al. E Isik et al.)
• Chimera ++ (Luo et al. E Wang et al.)
• Dualpathrnn (Luo et al.)
• Aprendizagem de duas etapas (Tzinis et al.)
• Sudormrfnet (Tzinis et al.)
• Dptnet (Chen et al.)
• DCCRNET (Hu et al.)
• DCunet (Choi et al.)
• Crossnet-Open-Unmix (Sawata et al.)
• DPRNN com vários decodificadores (Zhu et al.)
• Open-Unmix (chegando) (Stöter et al.)
• Wavesplit (chegando) (Zeghidour et al.)

Conjuntos de dados suportados

(↑ Até o conteúdo)

• WSJ0-2MIX / WSJ03MIX (Hershey et al.)
• Wham (Wichern et al.)
• Whamr (Maciejewski et al.)
• Librimix (Cosentino et al.)
• Desafio da Microsoft DNS (Chandan et al.)
• SMS_WSJ (Drude et al.)
• MUSDB18 (Raffi et al.)
• Fuss (Sabedoria et al.)
• AvSpeech (Ephrat et al.)
• Kinect-WSJ (Sivasankaran et al.)

Modelos pré -terem sido pretados

(↑ Até o conteúdo) Veja aqui

Contribuindo

(↑ Até o conteúdo) Estamos sempre procurando expandir nossa cobertura da pesquisa de separação de origem e pesquisa de aprimoramento da fala, a seguir, é apresentada uma lista de coisas que estamos perdendo. Você quer contribuir? Este é um ótimo lugar para começar!

• Ondas -plit (Zeghidour e Grangier)
• Furcanext (Shi et al.)
• Deepcasa (Liu e Want)
• Conjuntos de testes VCTK de Kadioglu et al.
• Poço interrompido e em cascata (Yang et al.)
• Consistência Contragens (Sabedoria et al.)
• Stoi e Pesq de backpropagável.
• Banks de filtro parametrizados de Tukuljac et al.
• Misi de ponta a ponta (Wang et al.)

Não se esqueça de ler nossas diretrizes contribuintes.

Você também pode abrir um problema ou fazer um PR para adicionar algo que perdemos nesta lista.

Visualização do Tensorboard

O logger padrão é o Tensorboard em todas as receitas. Na pasta de receitas, você pode executar o seguinte para visualizar os logs de todas as suas execuções. Você também pode comparar sistemas diferentes no mesmo conjunto de dados executando um comando semelhante a partir dos diretores do conjunto de dados.

 # Launch tensorboard (default port is 6006)
tensorboard --logdir exp/ --port tf_port

Se o seu tensorboard de lançamento remotamente, você deve abrir um túnel SSH

 # Open port-forwarding connection. Add -Nf option not to open remote.
ssh -L local_port:localhost:tf_port user@ip

Em seguida, abra http://localhost:local_port/ . Se as duas portas forem iguais, você pode clicar no URL do Tensorboard fornecido no controle remoto, é apenas mais prático.

Princípios orientadores

(↑ Até o conteúdo)

• Modularidade. Os blocos de construção são pensados ​​e projetados para serem conectados perfeitamente. Filterbanks, codificadores, mascaradores, decodificadores e perdas são todos os blocos de construção comuns que podem ser combinados de uma maneira flexível de criar novos sistemas.
• Extensibilidade. Estender o asteróide com novos recursos é simples. Adicione um novo banco de filtragem, arquitetura do separador, conjunto de dados ou até receita com muita facilidade.
• Reprodutibilidade. As receitas fornecem uma maneira fácil de reproduzir resultados com a preparação de dados, o design do sistema, o treinamento e a avaliação em um único script. Esta é uma ferramenta essencial para a comunidade!

Citando asteróides

(↑ Até o conteúdo) Se você adorou usar asteróides e deseja nos citar, use isso:

 @inproceedings { Pariente2020Asteroid ,
    title = { Asteroid: the {PyTorch}-based audio source separation toolkit for researchers } ,
    author = { Manuel Pariente and Samuele Cornell and Joris Cosentino and Sunit Sivasankaran and
            Efthymios Tzinis and Jens Heitkaemper and Michel Olvera and Fabian-Robert Stöter and
            Mathieu Hu and Juan M. Martín-Doñas and David Ditter and Ariel Frank and Antoine Deleforge
            and Emmanuel Vincent } ,
    year = { 2020 } ,
    booktitle = { Proc. Interspeech } ,
}