
Voxnovel是一個創新的程序,它利用BookNLP的能力分析文學,將報價歸因於特定角色,並生成一個量身定制的有聲讀物,每個字符通過Coqui TTS具有獨特的聲音。這不僅提供了沉浸式的有聲讀物體驗,而且還以獨特的聲音為每個角色帶來了生活,從而使聆聽體驗更具吸引力。
所有COQUI TTS型號 - (Tacotron,Tacotron2,Glow-TTS,Speedy Speech,Align-TTS,FastPitch,FastSpeech2,sc-Glowtts,sc-glowtts,CapiciTron,cativerfron,溢出,神經HMM hmm tts,tts,tts,distly tts tts,distly tts,vits,vits,yⓧtts,ⓧtts,ⓧtts,ⓧ

(以及單個MP4 Chatper文件的文件夾,並帶有電子書圖像,如果您願意的話)
高質量XTTS V2演示
高質量的烏龜演示
超級快速的音頻巴拉肯舞演示
**通過微調模型超級高質量測試**
您可以免費使用大約6分鐘以上的音頻來微調自己的XTTS型號https://colab.research.google.com/drive/1gii4_x724m8q2w-zz-jxo7cwtv7rfah-
編輯:That Colab不再起作用:使用提供修復程序的我的版本:https://colab.research.google.com/drive/1SQQQQQQQQZUPO2PDJGGGKRBM60SU6SBFYO3SU?usp = sharing sharing
直接在Google Colab上探索並運行無頭voxnovel項目的交互式版本!開始這裡。


如果BookNLP錯誤地分配了引號,則此GUI用於手動校正演講者作業。它讀取包含書籍提取的報價和揚聲器信息的book.csv文件,並允許您在傳遞到下一個TTS步驟之前,根據需要進行視覺檢查和修改揚聲器分配。


直接在Google Colab上探索並運行無頭voxnovel項目的交互式版本!開始這裡。
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:headless_m1_v2
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest_headless
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run --gpus all -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest_headless
請按照以下步驟使用PowerShell在Windows系統上設置Voxnovel項目:
導航到您的用戶配置文件目錄:
cd $ env: USERPROFILE克隆GitHub的Voxnovel存儲庫:
git clone https: // github.com / DrewThomasson / VoxNovel.git要在CPU上的Docker容器中運行Voxnovel應用程序:
docker run - v " ${ env: USERPROFILE} /VoxNovel/:/VoxNovel/ " - it athomasson2 / voxnovel:latest_headless如果您有NVIDIA GPU並想加速處理,請使用以下命令:
docker run -- gpus all - v " ${ env: USERPROFILE} /VoxNovel/:/VoxNovel/ " - it athomasson2 / voxnovel:latest_headlessgit clone https://github.com/DrewThomasson/VoxNovel.gitsudo docker run --gpus all -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix -v /dev/snd:/dev/snd --device /dev/snd -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest本指南提供了有關如何使用Xquartz在MacOS上使用圖形用戶界面運行Docker容器的說明,用於X11轉發和音量安裝。
XQuartz > Preferences 。Security選項卡中,啟用允許網絡客戶端的連接。打開終端並運行以下命令,以允許從本地計算機到Xquartz的連接:
xhost + $(ifconfig en0 | grep inet | awk '$1=="inet" {print $2}')
運行以下命令以啟動Docker容器。此命令配置GUI以在主機上顯示並安裝必要的目錄:
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
docker run -e DISPLAY=$(ifconfig en0 | grep inet | awk '$1=="inet" {print $2}'):0
-v /tmp/.X11-unix:/tmp/.X11-unix
-v "/Users/$(whoami)/VoxNovel:/VoxNovel"
athomasson2/voxnovel:latest
/Users/$(whoami)/VoxNovel 。如果不是,請根據需要在Docker命令中調整音量安裝路徑。安裝VCXSRV:
choco install vcxsrv安裝VCXSRV後,它通常會自動啟動。您可以通過在系統托盤中檢查其圖標,該圖標通常位於任務欄的時鐘附近。當您登錄系統時,它也可能會自動啟動。
為了確保其配置為允許Docker容器的連接,請按照以下步驟:
使用這些設置,VCXSRV應運行並配置為允許Docker容器的連接。現在,您可以繼續運行需要GUI支持的Docker命令。
更改為您的主目錄:
cd $HOME克隆存儲庫:
git clone https://github.com/DrewThomasson/VoxNovel.git運行Docker容器:
docker run -e DISPLAY=host.docker.internal:0 -v " /Users/ $( whoami ) /VoxNovel:/VoxNovel/ " -it athomasson2/voxnovel:latest(如果您已經安裝了Minconda,請勿使用。)
要在Ubuntu上安裝voxnovel,您可以使用以下單個命令:
yes | wget -O - https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Ubuntu-install.sh | bash- 上面的單個安裝腳本還應為應用程序創建快捷方式。
或者,您可以使用以下命令在終端中手動啟動該應用程序:
cd ~ /VoxNovel && conda activate VoxNovel && python gui_run.pysudo apt-get install calibresudo apt-get install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install bs4pip install styletts2pip install tts==0.21.3pip install booknlp==1.0.7.1pip install -r Ubuntu_requirements.txtpython -m spacy download en_core_web_sm安裝mecab(非拉丁語言TTS支持)(可選):
sudo apt-get install -y mecab libmecab-dev mecab-ipadic-utf8 (對於非拉丁語言TTS支持)(可選)
python -m unidic download
pip install mecab mecab-python3 unidicbash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Steam-Deck_VoxNovel-Install.sh )下載Intel Voxnovel安裝程序
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Intel_Mac_Install_VoxNovel.sh )完成後,您應該有一個桌面快捷方式。
要卸載,請在您的終端中運行以下命令:
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/uninstall_VoxNovel_Mac.sh )brew install calibrebrew install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install styletts2pip install tts==0.21.3pip install -r MAC-requirements.txt pip install booknlp==1.0.7.1 9。pip install spacy python -m spacy download en_core_web_sm安裝mecab(非拉丁語言TTS支持)(可選):
brew install mecab , brew install mecab-ipadic (對於非拉丁語言TTS支持)(可選)
python -m unidic download
pip install mecab mecab-python3 unidic下載Apple Silicon Voxnovel安裝程序
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Apple_silicone_VoxNovel_install.sh )完成後,您應該有一個桌面快捷方式。
要卸載,請在您的終端中運行以下命令:
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/uninstall_VoxNovel_Mac.sh )按以下順序運行:
brew install calibre (如果這不起作用,您可能還必須從其網站手動安裝它)brew install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install tensorflow-macos (也可選的pip install tensorflow-metal ,但到目前為止我還沒有獲得GPU加速pip install styletts2pip install tts==0.21.3pip install --no-dependencies booknlp==1.0.7.1pip install transformers==4.30.0pip install tensorflowpip install -r MAC-requirements.txtpip install ebooklib bs4 epub2txt pygame moviepy spacypython -m spacy download en_core_web_sm安裝mecab(非拉丁語言TTS支持)(可選):
brew install mecab , brew install mecab-ipadic (用於非拉丁語的語言TTS支持)(可選)python -m unidic downloadpip install mecab mecab-python3 unidic在您的Powershell中,粘貼:
wsl --install安裝WSL。 (如果需要在Windows上運行WSL,則係統可能會提示您在BIOS中啟用虛擬化。)
設置您的用戶名和密碼後,打開WSL並將此命令粘貼到單個命令安裝:
yes | wget -O - https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Ubuntu-install.sh | bash(如果您沒有NVIDIA圖形卡,則僅適用於NVIDA圖形卡)安裝NVIDIA CUDA工具包(NVIDIA GPU加速所需):
sudo apt install nvidia-cuda-toolkit確保您在Voxnovel Conda環境中:(如果找不到'conda:命令'ie -conda不被視為命令,然後嘗試關閉當前的powershell窗口,然後使用[wsl -d ubuntu]重新啟動WSL ENV
conda activate VoxNovel導航到Voxnovel文件夾(如果還沒有):
cd ~ && cd VoxNovel現在只運行下面顯示的兩個程序之一
python gui_run.pypython headless_voxnovel.py您可以通過在地址欄中輸入以下路徑:
\wsl.localhostUbuntuhome
輸出有聲讀物文件將位於wsl env中的VoxNoveloutput_audiobooks下
在PowerShell中運行此命令
Invoke-Expression (Invoke-WebRequest -Uri " https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Windows-install-scripts/create_desktop_shortcut.ps1 " ).Content要刪除所有內容,請在PowerShell中運行以下命令:
wsl --unregister Ubuntu這將完全刪除存儲應用程序的Ubuntu環境。 ?
如果您在WSL環境方面遇到麻煩:
列出所有WSL環境:
wsl --list --verbose刪除特定的WSL環境(例如,Ubuntu):
wsl --unregister < distro_name >重新安裝WSL:
wsl --install要啟動WSL,您可以隨時運行此程序,您可以使用Windows中的搜索欄查找和啟動“ WSL”或運行:
wsl安裝mecab(非拉丁語言TTS支持)(可選):
sudo apt-get install -y mecab libmecab-dev mecab-ipadic-utf8 (對於非拉丁語言TTS支持)(可選)
python -m unidic download
pip install mecab mecab-python3 unidicpython gui_run.pypython headless_voxnovel.py要運行系統上提供的腳本,請按照以下步驟操作:
圖書處理(僅CPU):
python 1CPU_Book_processing.py運行音頻產生(僅GPU):
1CPU_Book_processing.py完成書處理後應運行。python 2GPU_Audio_generation.py運行使用上述設置使用EPUB文件進行迷你測試後,觀察到以下性能指標:
使用位於example_working_files.zip中的迷你epub文件進行測試
| 任務 | 配置 | 時間(秒) |
|---|---|---|
| 書處理 | 僅GPU(GEFORCE GTX 980),4GB VRAM,32GB RAM,Intel I7-8700K | 2.922 |
| 音頻產生 | 僅GPU(GEFORCE GTX 980),4GB VRAM,32GB RAM,Intel I7-8700K | 128.48 |
| 書處理 | 僅CPU,32GB RAM,Intel I7-8700K | 4.964 |
| 音頻產生 | 僅CPU,32GB RAM,Intel I7-8700K | 391.4227 |
python auto_noGui_run.py
您可以在位置的Voxnovel文件夾中訪問生成的有聲讀物文件
VoxNovel/output_audiobooks
。
/final_combined_output_audio:這是所有章節音頻文件都按照num的順序放置的地方
/output_audiobooks:這是所有M4B有聲讀物文件都將存儲的地方
/working_files:在激活運行時保留程序使用的所有工作文件。
/烏龜:保存所有示例語音文件
- @Sidharthrajaram(對於他創建的Styletts2 Pip安裝,沒有他,我就無法添加Styletts2。:)(https://github.com/sidharthrajaram/styletts2)