Nnaudio是使用Pytorch卷积神经网络作为后端的音频处理工具箱。通过这样做,可以通过在神经网络训练期间直接产生频谱图,并且可以训练傅立叶内核(例如或CQT内核)。 Kapre具有类似的概念,在该概念中,他们还使用1D卷积神经网络根据Keras提取频谱图。
其他GPU音频处理工具是Torchaudio和TF.Signal。但是他们没有使用神经网络方法,因此无法训练傅立叶基础。从Pytorch 1.6.0开始,由于sox Torchaudio仍然很难安装在Windows环境下。 Nnaudio是跨不同操作系统的更兼容的音频处理工具,因为它主要依赖于Pytorch卷积神经网络。 Nnaudio的名字来自torch.nn
pip install git+https://github.com/KinWaiCheuk/nnAudio.git#subdirectory=Installation
或者
pip install nnAudio==0.3.1
https://kinwaicheuk.github.io/nnaudio/index.html
| 特征 | nnaudio | TORCH.STFT | 卡普雷 | Torchaudio | tf.Signal | 火炬 - stft | 天秤座 |
|---|---|---|---|---|---|---|---|
| 可训练 | ✅ | ✅ | ✅ | ||||
| 可区分 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |
| 线性频率STFT | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 对数频率stft | ✅ | ✅ | |||||
| 逆向撞 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 格里芬·莱姆(Griffin-Lim) | ✅ | ✅ | ✅ | ✅ | |||
| 梅尔 | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| MFCC | ✅ | ✅ | ✅ | ✅ | |||
| CQT | ✅ | ✅ | |||||
| VQT | ✅ | ✅ | |||||
| 伽马酮 | ✅ | ||||||
| CFP 1 | ✅ | ||||||
| GPU支持 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
✅:完全支持☑️:开发(仅在开发版本中可用):不支持
1结合光谱和时间表示的多形音乐的估计
要查看完整的变形值,请转到ChangElog.md
版本0.3.1 (2021年12月24日):
版本0.3.0 (2021年11月19日):
nnAudio.Spectrogram将被nnAudio.features替换。当前,可以通过两种方法访问各种频谱图。 Nnaudio的论文在IEEE访问中是可用的
KW Cheuk,H。Anderson,K。Agres和D. Herremans,“ Nnaudio:使用1D卷积神经网络的频率GPU音频到频谱转换工具箱”,IEEE Access,Vol。 8,pp。161981-162003,2020,doi:10.1109/access.2020.3019084。
@ARTICLE{9174990, author={KW {Cheuk} and H. {Anderson} and K. {Agres} and D. {Herremans}}, journal={IEEE Access}, title={nnAudio: An on-the-Fly GPU Audio to Spectrogram Conversion Toolbox Using 1D Convolutional Neural Networks}, year={2020},音量= {8},number = {},pages = {161981-162003},doi = {10.1109/access.2020.3019084}}
Nnaudio是一个快速增长的软件包。随着功能请求数量的越来越多,我们欢迎任何熟悉数字信号处理和神经网络的人为Nnaudio做出贡献。当前待处理功能的清单包括:
(单位测试的快速提示: cd内部安装文件夹,然后键入pytest 。您至少需要1931 MIB GPU内存才能通过所有单元测试)
另外,您也可以通过:
numpy> = 1.14.5
Scipy> = 1.2.0
pytorch> = 1.6.0(Griffin-lim仅在1.6.0之后可用)
python> = 3.6
librosa = 0.7.0(理论上nnaudio取决于libreosa。但是我们只需要使用librosa.filters的单个函数mel 。为了节省用户在此单个函数中安装库洛斯的麻烦,我只需复制与mel在我的代码中相对应的函数,以便无需安装lubrosa即可运行nneudio)
卡普雷
火炬 - stft