asteroid

---

Asteroid เป็นชุดเครื่องมือแยกแหล่งเสียงที่ใช้ pytorch ที่ช่วยให้การทดลองอย่างรวดเร็วในชุดข้อมูลทั่วไป มันมาพร้อมกับซอร์สโค้ดที่รองรับชุดข้อมูลและสถาปัตยกรรมที่หลากหลายและชุดของสูตรอาหารเพื่อทำซ้ำเอกสารสำคัญบางอย่าง

คุณใช้ดาวเคราะห์น้อยหรือต้องการ?

ได้โปรดถ้าคุณพบข้อผิดพลาดให้เปิดปัญหาถ้าคุณแก้ไขให้เปิดคำขอดึง! เหมือนกันสำหรับคุณสมบัติใหม่บอกเราว่าคุณต้องการอะไรหรือช่วยเราสร้างมัน! อย่าลังเลที่จะเข้าร่วม Slack และถามคำถาม / แนะนำคุณสมบัติใหม่ที่นั่นเช่นกัน! Asteroid มีวัตถุประสงค์เพื่อเป็น โครงการที่ใช้ชุมชน ดังนั้นกระโดดและช่วยเรา!

สารบัญ

• สารบัญ
• การติดตั้ง
• บทเรียน
• ใช้สูตรอาหาร
• สูตรที่มีอยู่
• ชุดข้อมูลที่รองรับ
• นางแบบที่ได้รับการฝึกฝน
• การบริจาค
• การสร้างภาพเทนซอร์บอร์ด
• หลักการชี้นำ
• อ้างถึงดาวเคราะห์น้อย

การติดตั้ง

(↑ถึงเนื้อหา) เพื่อติดตั้งดาวเคราะห์น้อยโคลน repo และติดตั้งโดยใช้ conda, pip หรือ python:

 # First clone and enter the repo
git clone https://github.com/asteroid-team/asteroid
cd asteroid

• ด้วย pip

 # Install with pip in editable mode
pip install -e .
# Or, install with python in dev mode
# python setup.py develop

• ด้วย conda (ถ้าคุณไม่มี conda ดูที่นี่)

conda env create -f environment.yml
conda activate asteroid

• Asteroid ยังอยู่ใน PYPI คุณสามารถติดตั้งรีลีสล่าสุดด้วย

pip install asteroid

บทเรียน

(↑ถึงเนื้อหา) นี่คือรายการโน้ตบุ๊กที่แสดงตัวอย่างการใช้งานคุณสมบัติของดาวเคราะห์น้อย

• เริ่มต้นด้วยดาวเคราะห์น้อย
• บทนำและภาพรวม
• FilterBank API
• PITLossWrapper
• ประมวลผลไฟล์ WAV ขนาดใหญ่

ใช้สูตรอาหาร

(↑ถึงเนื้อหา) การเรียกใช้สูตรอาหารต้องใช้แพ็คเกจเพิ่มเติมในกรณีส่วนใหญ่เราขอแนะนำให้เรียกใช้:

 # from asteroid/
pip install -r requirements.txt

จากนั้นเลือกสูตรที่คุณต้องการเรียกใช้และเรียกใช้!

 cd egs/wham/ConvTasNet
. ./run.sh

ข้อมูลเพิ่มเติมใน EGS/Readme.md

สูตรที่มีอยู่

(↑ถึงเนื้อหา)

• Convtasnet (Luo et al.)
• Tasnet (Luo et al.)
• การจัดกลุ่มลึก (Hershey et al. และ Isik et al.)
• Chimera ++ (Luo et al. และ Wang et al.)
• dualpathrnn (Luo et al.)
• การเรียนรู้สองขั้นตอน (Tzinis et al.)
• Sudormrfnet (Tzinis et al.)
• dptnet (Chen et al.)
• dccrnet (Hu et al.)
• dcunet (Choi et al.)
• Crossnet-Open-unmix (Sawata et al.)
• DPRNN แบบหลายตัว (Zhu et al.)
• Open-unmix (มา) (Stöter et al.)
• Wavesplit (มา) (Zeghidour et al.)

ชุดข้อมูลที่รองรับ

(↑ถึงเนื้อหา)

• WSJ0-2MIX / WSJ03MIX (Hershey et al.)
• Wham (Wichern et al.)
• Whamr (Maciejewski et al.)
• Librimix (Cosentino et al.)
• Microsoft DNS Challenge (Chandan et al.)
• SMS_WSJ (Drude et al.)
• MUSDB18 (Raffi et al.)
• Fuss (Wisdom et al.)
• AvSpeech (Ephrat et al.)
• Kinect-WSJ (Sivasankaran et al.)

นางแบบที่ได้รับการฝึกฝน

(↑ถึงเนื้อหา) ดูที่นี่

การบริจาค

(↑ถึงเนื้อหา) เรามักจะมองหาการขยายความครอบคลุมของการแยกแหล่งที่มาและการวิจัยการเพิ่มประสิทธิภาพการพูดต่อไปนี้เป็นรายการของสิ่งที่เราขาดหายไป คุณต้องการมีส่วนร่วม? นี่เป็นจุดเริ่มต้นที่ดี!

• Wavesplit (Zeghidour และ Grangier)
• Furcanext (Shi et al.)
• Deepcasa (Liu and Want)
• ชุดทดสอบ VCTK จาก Kadioglu และคณะ
• หลุมขัดจังหวะและเรียงซ้อน (Yang et al.)
• ข้อโต้แย้งที่สอดคล้องกัน (Wisdom et al.)
• Backpropagable Stoi และ Pesq
• parametrized filterbanks จาก Tukuljac และคณะ
• MISI แบบ end-to-end (Wang et al.)

อย่าลืมอ่านแนวทางการสนับสนุนของเรา

นอกจากนี้คุณยังสามารถเปิดปัญหาหรือสร้าง PR เพื่อเพิ่มสิ่งที่เราพลาดในรายการนี้

การสร้างภาพเทนซอร์บอร์ด

เครื่องบันทึกเริ่มต้นคือ tensorboard ในสูตรทั้งหมด จากโฟลเดอร์สูตรคุณสามารถเรียกใช้สิ่งต่อไปนี้เพื่อให้เห็นภาพบันทึกการรันทั้งหมดของคุณ นอกจากนี้คุณยังสามารถเปรียบเทียบระบบที่แตกต่างกันในชุดข้อมูลเดียวกันโดยเรียกใช้คำสั่งที่คล้ายกันจากผู้กำกับชุดข้อมูล

 # Launch tensorboard (default port is 6006)
tensorboard --logdir exp/ --port tf_port

หาก Tensorboard เปิดตัวจากระยะไกลคุณควรเปิดอุโมงค์ SSH

 # Open port-forwarding connection. Add -Nf option not to open remote.
ssh -L local_port:localhost:tf_port user@ip

จากนั้นเปิด http://localhost:local_port/ หากพอร์ตทั้งสองเหมือนกันคุณสามารถคลิกที่ URL Tensorboard ที่ให้ไว้ในรีโมทมันก็ใช้ได้จริงมากขึ้น

หลักการชี้นำ

(↑ถึงเนื้อหา)

• โมดูลาร์ การสร้างบล็อกเป็นความคิดและออกแบบมาเพื่อเสียบเข้าด้วยกันอย่างราบรื่น FilterBanks, encoders, maskers, decoders และการสูญเสียเป็นหน่วยการสร้างทั่วไปที่สามารถรวมกันในวิธีที่ยืดหยุ่นในการสร้างระบบใหม่
• ความสามารถในการขยาย การขยายดาวเคราะห์น้อยด้วยคุณสมบัติใหม่นั้นง่าย เพิ่ม FilterBank ใหม่สถาปัตยกรรมตัวคั่นชุดข้อมูลหรือแม้แต่สูตรง่าย ๆ
• การทำซ้ำได้ สูตรอาหารเป็นวิธีที่ง่ายในการทำซ้ำผลลัพธ์ด้วยการเตรียมข้อมูลการออกแบบระบบการฝึกอบรมและการประเมินผลในสคริปต์เดียว นี่เป็นเครื่องมือสำคัญสำหรับชุมชน!

อ้างถึงดาวเคราะห์น้อย

(↑ถึงเนื้อหา) หากคุณชอบใช้ดาวเคราะห์น้อยและคุณต้องการอ้างอิงเราใช้สิ่งนี้:

 @inproceedings { Pariente2020Asteroid ,
    title = { Asteroid: the {PyTorch}-based audio source separation toolkit for researchers } ,
    author = { Manuel Pariente and Samuele Cornell and Joris Cosentino and Sunit Sivasankaran and
            Efthymios Tzinis and Jens Heitkaemper and Michel Olvera and Fabian-Robert Stöter and
            Mathieu Hu and Juan M. Martín-Doñas and David Ditter and Ariel Frank and Antoine Deleforge
            and Emmanuel Vincent } ,
    year = { 2020 } ,
    booktitle = { Proc. Interspeech } ,
}