Nnaudio是使用Pytorch卷積神經網絡作為後端的音頻處理工具箱。通過這樣做,可以通過在神經網絡訓練期間直接產生頻譜圖,並且可以訓練傅立葉內核(例如或CQT內核)。 Kapre具有類似的概念,在該概念中,他們還使用1D卷積神經網絡根據Keras提取頻譜圖。
其他GPU音頻處理工具是Torchaudio和TF.Signal。但是他們沒有使用神經網絡方法,因此無法訓練傅立葉基礎。從Pytorch 1.6.0開始,由於sox Torchaudio仍然很難安裝在Windows環境下。 Nnaudio是跨不同操作系統的更兼容的音頻處理工具,因為它主要依賴於Pytorch卷積神經網絡。 Nnaudio的名字來自torch.nn
pip install git+https://github.com/KinWaiCheuk/nnAudio.git#subdirectory=Installation
或者
pip install nnAudio==0.3.1
https://kinwaicheuk.github.io/nnaudio/index.html
| 特徵 | nnaudio | TORCH.STFT | 卡普雷 | Torchaudio | tf.Signal | 火炬 - stft | 天秤座 |
|---|---|---|---|---|---|---|---|
| 可訓練 | ✅ | ✅ | ✅ | ||||
| 可區分 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |
| 線性頻率STFT | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 對數頻率stft | ✅ | ✅ | |||||
| 逆向撞 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 格里芬·萊姆(Griffin-Lim) | ✅ | ✅ | ✅ | ✅ | |||
| 梅爾 | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| MFCC | ✅ | ✅ | ✅ | ✅ | |||
| CQT | ✅ | ✅ | |||||
| VQT | ✅ | ✅ | |||||
| 伽馬酮 | ✅ | ||||||
| CFP 1 | ✅ | ||||||
| GPU支持 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
✅:完全支持☑️:開發(僅在開發版本中可用):不支持
1結合光譜和時間表示的多形音樂的估計
要查看完整的變形值,請轉到ChangElog.md
版本0.3.1 (2021年12月24日):
版本0.3.0 (2021年11月19日):
nnAudio.Spectrogram將被nnAudio.features替換。當前,可以通過兩種方法訪問各種頻譜圖。 Nnaudio的論文在IEEE訪問中是可用的
KW Cheuk,H。 Anderson,K。 Agres和D. Herremans,“ Nnaudio:使用1D卷積神經網絡的頻率GPU音頻到頻譜轉換工具箱”,IEEE Access,Vol。 8,pp。 161981-162003,2020,doi:10.1109/access.2020.3019084。
@ARTICLE{9174990, author={KW {Cheuk} and H. {Anderson} and K. {Agres} and D. {Herremans}}, journal={IEEE Access}, title={nnAudio: An on-the-Fly GPU Audio to Spectrogram Conversion Toolbox Using 1D Convolutional Neural Networks}, year={2020},音量= {8},number = {},pages = {161981-162003},doi = {10.1109/access.2020.3019084}}
Nnaudio是一個快速增長的軟件包。隨著功能請求數量的越來越多,我們歡迎任何熟悉數字信號處理和神經網絡的人為Nnaudio做出貢獻。當前待處理功能的清單包括:
(單位測試的快速提示: cd內部安裝文件夾,然後鍵入pytest 。您至少需要1931 MIB GPU內存才能通過所有單元測試)
另外,您也可以通過:
numpy> = 1.14.5
Scipy> = 1.2.0
pytorch> = 1.6.0(Griffin-lim僅在1.6.0之後可用)
python> = 3.6
librosa = 0.7.0(理論上nnaudio取決於libreosa。但是我們只需要使用librosa.filters的單個函數mel 。為了節省用戶在此單個函數中安裝庫洛斯的麻煩,我只需複制與mel在我的代碼中相對應的函數,以便無需安裝lubrosa即可運行nneudio)
卡普雷
火炬 - stft