asteroid

---

Asteroid는 Pytorch 기반 오디오 소스 분리 툴킷으로 일반 데이터 세트에서 빠른 실험을 할 수 있습니다. 다양한 데이터 세트 및 아키텍처를 지원하는 소스 코드와 중요한 논문을 재현하기위한 일련의 레시피가 제공됩니다.

소행성을 사용하거나 원하십니까?

버그를 찾은 경우 버그를 열면 문제가 해결되면 풀 요청을 엽니 다! 새로운 기능도 마찬가지입니다. 원하는 것을 알려 주거나 우리가 그것을 구축하는 데 도움이됩니다! 주저하지 말고 슬랙에 참여하고 질문을하고 새로운 기능도 제안하십시오! 소행성은 커뮤니티 기반 프로젝트가 되기위한 것이므로 우리를 도와주십시오!

내용물

• 내용물
• 설치
• 튜토리얼
• 레시피 실행
• 사용 가능한 레시피
• 지원되는 데이터 세트
• 사전 예방 모델
• 기여
• 텐서 보드 시각화
• 지도 원리
• 소행성 인용

설치

(↑ 내용물까지) 소행성을 설치하려면 Repo를 복제하고 Conda, Pip 또는 Python을 사용하여 설치하십시오.

 # First clone and enter the repo
git clone https://github.com/asteroid-team/asteroid
cd asteroid

• pip 와 함께

 # Install with pip in editable mode
pip install -e .
# Or, install with python in dev mode
# python setup.py develop

• 콘다와 함께 (아직 콘다가 없다면 여기를 참조하십시오.)

conda env create -f environment.yml
conda activate asteroid

• Asteroid는 PYPI에도 있습니다. 최신 릴리스를 설치할 수 있습니다.

pip install asteroid

튜토리얼

(↑ 내용까지) 여기에 소행성 특징의 예제 사용을 보여주는 노트북 목록이 있습니다.

• 소행성을 시작합니다
• 소개 및 개요
• 필터 뱅크 API
• 순열 불변 훈련 래퍼 PITLossWrapper
• 큰 WAV 파일을 처리합니다

레시피 실행

(↑ 내용까지) 레시피를 실행하는 경우 대부분의 경우 추가 패키지가 필요합니다.

 # from asteroid/
pip install -r requirements.txt

그런 다음 실행하려는 레시피를 선택하고 실행하십시오!

 cd egs/wham/ConvTasNet
. ./run.sh

EGS/ReadMe.md의 자세한 정보.

사용 가능한 레시피

(↑ 내용까지)

• Convtasnet (Luo et al.)
• Tasnet (Luo et al.)
• 깊은 클러스터링 (Hershey et al. 및 Isik et al.)
• Chimera ++ (Luo et al. 및 Wang et al.)
• Dualpathrnn (Luo et al.)
• 두 단계 학습 (Tzinis et al.)
• Sudormrfnet (Tzinis et al.)
• dptnet (Chen et al.)
• DCCRNET (Hu et al.)
• Dcunet (Choi et al.)
• Crossnet-Open-Unmix (Sawata et al.)
• 멀티 코더 dprnn (Zhu et al.)
• Open-Unmix (Coming) (Stöter et al.)
• Wavesplit (Coming) (Zeghidour et al.)

지원되는 데이터 세트

(↑ 내용까지)

• WSJ0-2MIX / WSJ03MIX (Hershey et al.)
• Wham (Wichern et al.)
• Whamr (Maciejewski et al.)
• Librimix (Cosentino et al.)
• Microsoft DNS Challenge (Chandan et al.)
• SMS_WSJ (Drude et al.)
• MUSDB18 (Raffi et al.)
• 소란 (Wisdom et al.)
• Avspeech (Ephrat et al.)
• Kinect-WSJ (Sivasankaran et al.)

사전 예방 모델

(↑ 내용까지) 여기를 참조하십시오

기여

(↑ 내용까지) 우리는 항상 소스 분리 및 음성 향상 연구에 대한 범위를 확장하려고합니다. 다음은 우리가 누락 된 것들의 목록입니다. 기여하고 싶습니까? 이것은 시작하기에 좋은 곳입니다!

• Wavesplit (Zeghidour and Grangier)
• Furcanext (Shi et al.)
• Deepcasa (Liu and Want)
• Kadioglu et al.의 VCTK 테스트 세트.
• 중단 및 계단식 구덩이 (Yang et al.)
• 일관성 계약 (Wisdom et al.)
• 역전 가능 STOI 및 PESQ.
• Tukuljac et al.
• 엔드 투 엔드 미사 (Wang et al.)

기고 가이드 라인을 읽는 것을 잊지 마십시오.

이 목록에서 놓친 것을 추가하기 위해 문제를 열거나 PR을 만들 수도 있습니다.

텐서 보드 시각화

기본 로거는 모든 레시피의 Tensorboard입니다. 레시피 폴더에서 다음을 실행하여 모든 실행의 로그를 시각화 할 수 있습니다. 데이터 세트 직접에서 유사한 명령을 실행하여 동일한 데이터 세트의 다른 시스템을 비교할 수도 있습니다.

 # Launch tensorboard (default port is 6006)
tensorboard --logdir exp/ --port tf_port

원격으로 텐서 보드를 시작하면 SSH 터널을 열어야합니다.

 # Open port-forwarding connection. Add -Nf option not to open remote.
ssh -L local_port:localhost:tf_port user@ip

그런 다음 http://localhost:local_port/ 엽니 다. 두 포트가 모두 동일하다면 리모컨에서 주어진 Tensorboard URL을 클릭하면 더 실용적입니다.

지도 원리

(↑ 내용까지)

• 모듈성. 빌딩 블록은 생각하고 원활하게 연결되도록 설계되었습니다. 필터 뱅크, 인코더, 마스커, 디코더 및 손실은 모두 새로운 시스템을 만들기 위해 유연한 방법으로 결합 할 수있는 일반적인 빌딩 블록입니다.
• 확장 성. 새로운 기능으로 소행성을 확장하는 것은 간단합니다. 새 필터 뱅크, 분리기 아키텍처, 데이터 세트 또는 레시피를 매우 쉽게 추가하십시오.
• 재현성. 레시피는 단일 스크립트로 데이터 준비, 시스템 설계, 교육 및 평가로 결과를 쉽게 재현 할 수있는 방법을 제공합니다. 이것은 커뮤니티를위한 필수 도구입니다!

소행성 인용

(↑ 내용까지) 소행성 사용을 좋아하고 우리를 인용하고 싶다면 이것을 사용하십시오.

 @inproceedings { Pariente2020Asteroid ,
    title = { Asteroid: the {PyTorch}-based audio source separation toolkit for researchers } ,
    author = { Manuel Pariente and Samuele Cornell and Joris Cosentino and Sunit Sivasankaran and
            Efthymios Tzinis and Jens Heitkaemper and Michel Olvera and Fabian-Robert Stöter and
            Mathieu Hu and Juan M. Martín-Doñas and David Ditter and Ariel Frank and Antoine Deleforge
            and Emmanuel Vincent } ,
    year = { 2020 } ,
    booktitle = { Proc. Interspeech } ,
}