asteroid

---

Астероид-это инструментарий для разделения аудио-источника на основе питорха, который обеспечивает быстрые эксперименты на общих наборах данных. Он поставляется с исходным кодом, который поддерживает большой диапазон наборов данных и архитектуры, и набор рецептов для воспроизведения некоторых важных документов.

Вы используете астероид или хотите?

Пожалуйста, если вы нашли ошибку, откройте проблему, если вы решили ее, откройте запрос на тягу! То же самое касается новых функций, расскажите нам, что вы хотите, или помогите нам построить их! Не стесняйтесь присоединиться к Slack и задавать вопросы / предложите там новые функции! Астероид предназначен для того, чтобы быть общественным проектом, так что прыгайте и помогите нам!

Содержимое

• Содержимое
• Установка
• Учебные пособия
• Запуск рецепта
• Доступные рецепты
• Поддерживаемые наборы данных
• Предварительные модели
• Внося
• Визуализация тенскора
• Руководящие принципы
• Цитируя астероид

Установка

(↑ до содержимого), чтобы установить астероид, клонировать репо и установите его, используя Conda, Pip или Python:

 # First clone and enter the repo
git clone https://github.com/asteroid-team/asteroid
cd asteroid

• С pip

 # Install with pip in editable mode
pip install -e .
# Or, install with python in dev mode
# python setup.py develop

• С Conda (если у вас еще нет Conda, посмотрите здесь.)

conda env create -f environment.yml
conda activate asteroid

• Астероид также на PYPI, вы можете установить последний релиз с

pip install asteroid

Учебные пособия

(↑ до содержимого) Вот список ноутбуков, показывающих пример использования функций астероида.

• Начало работы с астероидом
• Введение и обзор
• FilterBank API
• Инвариантная учебная обертка PITLossWrapper
• Обрабатывать большие файлы wav

Запуск рецепта

(↑ до содержимого) Запуск рецептов требует дополнительных пакетов в большинстве случаев, мы рекомендуем запустить:

 # from asteroid/
pip install -r requirements.txt

Затем выберите рецепт, который вы хотите запустить и запустить его!

 cd egs/wham/ConvTasNet
. ./run.sh

Более подробная информация в EGS/readme.md.

Доступные рецепты

(↑ до содержимого)

• Convtasnet (Luo et al.)
• Tasnet (Luo et al.)
• Глубокая кластеризация (Hershey et al. И Isik et al.)
• Химера ++ (Luo et al. И Wang et al.)
• DualPathrnn (Luo et al.)
• Два шага обучения (Tzinis et al.)
• Sudormrfnet (Tzinis et al.)
• Dptnet (Chen et al.)
• Dccrnet (Hu et al.)
• Dcunet (Choi et al.)
• Crossnet-Open-Unmix (Sawata et al.)
• Multi-Decoder DPRNN (Zhu et al.)
• Open-Unmix (грядущий) (Stöter et al.)
• Wavesplit (Прибытие) (Zeghidour et al.)

Поддерживаемые наборы данных

(↑ до содержимого)

• WSJ0-2MIX / WSJ03MIX (Hershey et al.)
• Wham (Wichern et al.)
• Whamr (Maciejewski et al.)
• Librimix (Cosentino et al.)
• Microsoft DNS Challenge (Chandan et al.)
• SMS_WSJ (Drude et al.)
• Musdb18 (Raffi et al.)
• Судья (Мудрость и др.)
• Avspeech (Ephrat et al.)
• Kinect-WSJ (Sivasankaran et al.)

Предварительные модели

(↑ до содержимого) См. Здесь

Внося

(↑ до содержимого) Мы всегда стремимся расширить наше освещение в исследовании разделения источника и улучшения речи, ниже приводится список вещей, которые нам не хватает. Вы хотите внести свой вклад? Это отличное место для начала!

• Wavesplit (Zeghidour и Grangier)
• Furcanext (Shi et al.)
• Deepcasa (Лю и хочу)
• Испытательные наборы VCTK от Kadioglu et al.
• Прерванная и каскадная яма (Yang et al.)
• Последовательные противоречия (Wisdom et al.)
• Специально -перепрессованный STOI и PESQ.
• Параметризованные фильтры из Tukuljac et al.
• Сквозной Миси (Wang et al.)

Не забудьте прочитать наши рекомендации.

Вы также можете открыть проблему или сделать пиар, чтобы добавить то, что мы пропустили в этом списке.

Визуализация тенскора

Регистратор по умолчанию - это Tensorboard во всех рецептах. Из папки рецептов вы можете запустить следующее, чтобы визуализировать журналы всех ваших прогонов. Вы также можете сравнить различные системы в одном наборе данных, выполнив аналогичную команду из директоров набора данных.

 # Launch tensorboard (default port is 6006)
tensorboard --logdir exp/ --port tf_port

Если вы запускаете Tensorboard удаленно, вам следует открыть туннель SSH

 # Open port-forwarding connection. Add -Nf option not to open remote.
ssh -L local_port:localhost:tf_port user@ip

Затем откройте http://localhost:local_port/ . Если оба порта одинаковы, вы можете щелкнуть URL -адрес Tensorboard, приведенный на пульте, это просто практично.

Руководящие принципы

(↑ до содержимого)

• Модульность. Строительные блоки рассматриваются и предназначены для плавного подключения. FilterBanks, Encoders, Maskers, Decoders и потери - это обычные строительные блоки, которые можно объединить гибким способом создания новых систем.
• Расширяемость. Расширение астероида с новыми функциями просто. Добавьте новый фильтр, архитектуру сепаратора, набор данных или даже рецепт очень легко.
• Воспроизводимость. Рецепты обеспечивают простой способ воспроизведения результатов с помощью подготовки данных, проектирования системы, обучения и оценки в одном сценарии. Это важный инструмент для сообщества!

Цитируя астероид

(↑ до содержимого) Если вы любили использовать астероид и хотите ссылаться на нас, используйте это:

 @inproceedings { Pariente2020Asteroid ,
    title = { Asteroid: the {PyTorch}-based audio source separation toolkit for researchers } ,
    author = { Manuel Pariente and Samuele Cornell and Joris Cosentino and Sunit Sivasankaran and
            Efthymios Tzinis and Jens Heitkaemper and Michel Olvera and Fabian-Robert Stöter and
            Mathieu Hu and Juan M. Martín-Doñas and David Ditter and Ariel Frank and Antoine Deleforge
            and Emmanuel Vincent } ,
    year = { 2020 } ,
    booktitle = { Proc. Interspeech } ,
}