
Voxnovel是一个创新的程序,它利用BookNLP的能力分析文学,将报价归因于特定角色,并生成一个量身定制的有声读物,每个字符通过Coqui TTS具有独特的声音。这不仅提供了沉浸式的有声读物体验,而且还以独特的声音为每个角色带来了生活,从而使聆听体验更具吸引力。
所有COQUI TTS型号 - (Tacotron,Tacotron2,Glow-TTS,Speedy Speech,Align-TTS,FastPitch,FastSpeech2,sc-Glowtts,sc-glowtts,CapiciTron,cativerfron,溢出,神经HMM hmm tts,tts,tts,distly tts tts,distly tts,vits,vits,yⓧtts,ⓧtts,ⓧtts,ⓧ

(以及单个MP4 Chatper文件的文件夹,并带有电子书图像,如果您愿意的话)
高质量XTTS V2演示
高质量的乌龟演示
超级快速的音频巴拉肯舞演示
**通过微调模型超级高质量测试**
您可以免费使用大约6分钟以上的音频来微调自己的XTTS型号https://colab.research.google.com/drive/1gii4_x724m8q2w-zz-jxo7cwtv7rfah-
编辑:That Colab不再起作用:使用提供修复程序的我的版本:https://colab.research.google.com/drive/1SQQQQQQQQZUPO2PDJGGGKRBM60SU6SBFYO3SU?usp = sharing sharing
直接在Google Colab上探索并运行无头voxnovel项目的交互式版本!开始这里。


如果BookNLP错误地分配了引号,则此GUI用于手动校正演讲者作业。它读取包含书籍提取的报价和扬声器信息的book.csv文件,并允许您在传递到下一个TTS步骤之前,根据需要进行视觉检查和修改扬声器分配。


直接在Google Colab上探索并运行无头voxnovel项目的交互式版本!开始这里。
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:headless_m1_v2
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest_headless
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run --gpus all -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest_headless
请按照以下步骤使用PowerShell在Windows系统上设置Voxnovel项目:
导航到您的用户配置文件目录:
cd $ env: USERPROFILE克隆GitHub的Voxnovel存储库:
git clone https: // github.com / DrewThomasson / VoxNovel.git要在CPU上的Docker容器中运行Voxnovel应用程序:
docker run - v " ${ env: USERPROFILE} /VoxNovel/:/VoxNovel/ " - it athomasson2 / voxnovel:latest_headless如果您有NVIDIA GPU并想加速处理,请使用以下命令:
docker run -- gpus all - v " ${ env: USERPROFILE} /VoxNovel/:/VoxNovel/ " - it athomasson2 / voxnovel:latest_headlessgit clone https://github.com/DrewThomasson/VoxNovel.gitsudo docker run --gpus all -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix -v /dev/snd:/dev/snd --device /dev/snd -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest本指南提供了有关如何使用Xquartz在MacOS上使用图形用户界面运行Docker容器的说明,用于X11转发和音量安装。
XQuartz > Preferences 。Security选项卡中,启用允许网络客户端的连接。打开终端并运行以下命令,以允许从本地计算机到Xquartz的连接:
xhost + $(ifconfig en0 | grep inet | awk '$1=="inet" {print $2}')
运行以下命令以启动Docker容器。此命令配置GUI以在主机上显示并安装必要的目录:
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
docker run -e DISPLAY=$(ifconfig en0 | grep inet | awk '$1=="inet" {print $2}'):0
-v /tmp/.X11-unix:/tmp/.X11-unix
-v "/Users/$(whoami)/VoxNovel:/VoxNovel"
athomasson2/voxnovel:latest
/Users/$(whoami)/VoxNovel 。如果不是,请根据需要在Docker命令中调整音量安装路径。安装VCXSRV:
choco install vcxsrv安装VCXSRV后,它通常会自动启动。您可以通过在系统托盘中检查其图标,该图标通常位于任务栏的时钟附近。当您登录系统时,它也可能会自动启动。
为了确保其配置为允许Docker容器的连接,请按照以下步骤:
使用这些设置,VCXSRV应运行并配置为允许Docker容器的连接。现在,您可以继续运行需要GUI支持的Docker命令。
更改为您的主目录:
cd $HOME克隆存储库:
git clone https://github.com/DrewThomasson/VoxNovel.git运行Docker容器:
docker run -e DISPLAY=host.docker.internal:0 -v " /Users/ $( whoami ) /VoxNovel:/VoxNovel/ " -it athomasson2/voxnovel:latest(如果您已经安装了Minconda,请勿使用。)
要在Ubuntu上安装voxnovel,您可以使用以下单个命令:
yes | wget -O - https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Ubuntu-install.sh | bash- 上面的单个安装脚本还应为应用程序创建快捷方式。
或者,您可以使用以下命令在终端中手动启动该应用程序:
cd ~ /VoxNovel && conda activate VoxNovel && python gui_run.pysudo apt-get install calibresudo apt-get install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install bs4pip install styletts2pip install tts==0.21.3pip install booknlp==1.0.7.1pip install -r Ubuntu_requirements.txtpython -m spacy download en_core_web_sm安装mecab(非拉丁语言TTS支持)(可选):
sudo apt-get install -y mecab libmecab-dev mecab-ipadic-utf8 (对于非拉丁语言TTS支持)(可选)
python -m unidic download
pip install mecab mecab-python3 unidicbash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Steam-Deck_VoxNovel-Install.sh )下载Intel Voxnovel安装程序
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Intel_Mac_Install_VoxNovel.sh )完成后,您应该有一个桌面快捷方式。
要卸载,请在您的终端中运行以下命令:
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/uninstall_VoxNovel_Mac.sh )brew install calibrebrew install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install styletts2pip install tts==0.21.3pip install -r MAC-requirements.txt pip install booknlp==1.0.7.1 9。pip install spacy python -m spacy download en_core_web_sm安装mecab(非拉丁语言TTS支持)(可选):
brew install mecab , brew install mecab-ipadic (对于非拉丁语言TTS支持)(可选)
python -m unidic download
pip install mecab mecab-python3 unidic下载Apple Silicon Voxnovel安装程序
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Apple_silicone_VoxNovel_install.sh )完成后,您应该有一个桌面快捷方式。
要卸载,请在您的终端中运行以下命令:
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/uninstall_VoxNovel_Mac.sh )按以下顺序运行:
brew install calibre (如果这不起作用,您可能还必须从其网站手动安装它)brew install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install tensorflow-macos (也可选的pip install tensorflow-metal ,但到目前为止我还没有获得GPU加速pip install styletts2pip install tts==0.21.3pip install --no-dependencies booknlp==1.0.7.1pip install transformers==4.30.0pip install tensorflowpip install -r MAC-requirements.txtpip install ebooklib bs4 epub2txt pygame moviepy spacypython -m spacy download en_core_web_sm安装mecab(非拉丁语言TTS支持)(可选):
brew install mecab , brew install mecab-ipadic (用于非拉丁语的语言TTS支持)(可选)python -m unidic downloadpip install mecab mecab-python3 unidic在您的Powershell中,粘贴:
wsl --install安装WSL。 (如果需要在Windows上运行WSL,则系统可能会提示您在BIOS中启用虚拟化。)
设置您的用户名和密码后,打开WSL并将此命令粘贴到单个命令安装:
yes | wget -O - https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Ubuntu-install.sh | bash(如果您没有NVIDIA图形卡,则仅适用于NVIDA图形卡)安装NVIDIA CUDA工具包(NVIDIA GPU加速所需):
sudo apt install nvidia-cuda-toolkit确保您在Voxnovel Conda环境中:(如果找不到'conda:命令'ie -conda不被视为命令,然后尝试关闭当前的powershell窗口,然后使用[wsl -d ubuntu]重新启动WSL ENV
conda activate VoxNovel导航到Voxnovel文件夹(如果还没有):
cd ~ && cd VoxNovel现在只运行下面显示的两个程序之一
python gui_run.pypython headless_voxnovel.py您可以通过在地址栏中输入以下路径:
\wsl.localhostUbuntuhome
输出有声读物文件将位于wsl env中的VoxNoveloutput_audiobooks下
在PowerShell中运行此命令
Invoke-Expression (Invoke-WebRequest -Uri " https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Windows-install-scripts/create_desktop_shortcut.ps1 " ).Content要删除所有内容,请在PowerShell中运行以下命令:
wsl --unregister Ubuntu这将完全删除存储应用程序的Ubuntu环境。 ?
如果您在WSL环境方面遇到麻烦:
列出所有WSL环境:
wsl --list --verbose删除特定的WSL环境(例如,Ubuntu):
wsl --unregister < distro_name >重新安装WSL:
wsl --install要启动WSL,您可以随时运行此程序,您可以使用Windows中的搜索栏查找和启动“ WSL”或运行:
wsl安装mecab(非拉丁语言TTS支持)(可选):
sudo apt-get install -y mecab libmecab-dev mecab-ipadic-utf8 (对于非拉丁语言TTS支持)(可选)
python -m unidic download
pip install mecab mecab-python3 unidicpython gui_run.pypython headless_voxnovel.py要运行系统上提供的脚本,请按照以下步骤操作:
图书处理(仅CPU):
python 1CPU_Book_processing.py运行音频产生(仅GPU):
1CPU_Book_processing.py完成书处理后应运行。python 2GPU_Audio_generation.py运行使用上述设置使用EPUB文件进行迷你测试后,观察到以下性能指标:
使用位于example_working_files.zip中的迷你epub文件进行测试
| 任务 | 配置 | 时间(秒) |
|---|---|---|
| 书处理 | 仅GPU(GEFORCE GTX 980),4GB VRAM,32GB RAM,Intel I7-8700K | 2.922 |
| 音频产生 | 仅GPU(GEFORCE GTX 980),4GB VRAM,32GB RAM,Intel I7-8700K | 128.48 |
| 书处理 | 仅CPU,32GB RAM,Intel I7-8700K | 4.964 |
| 音频产生 | 仅CPU,32GB RAM,Intel I7-8700K | 391.4227 |
python auto_noGui_run.py
您可以在位置的Voxnovel文件夹中访问生成的有声读物文件
VoxNovel/output_audiobooks
。
/final_combined_output_audio:这是所有章节音频文件都按照num的顺序放置的地方
/output_audiobooks:这是所有M4B有声读物文件都将存储的地方
/working_files:在激活运行时保留程序使用的所有工作文件。
/乌龟:保存所有示例语音文件
- @Sidharthrajaram(对于他创建的Styletts2 Pip安装,没有他,我就无法添加Styletts2。:)(https://github.com/sidharthrajaram/styletts2)