VoxNovel
vel: 1.5
VoxNovel เป็นโปรแกรมที่เป็นนวัตกรรมที่ใช้ประโยชน์จากความสามารถของ BookNLP ในการวิเคราะห์วรรณกรรมใบเสนอราคาแอตทริบิวต์ให้กับตัวละครที่เฉพาะเจาะจงและสร้างหนังสือเสียงที่ปรับแต่งได้ซึ่งตัวละครแต่ละตัวมีเสียงที่แตกต่างผ่าน coqui tts สิ่งนี้ไม่เพียง แต่ให้ประสบการณ์ด้านเสียงที่ดื่มด่ำ แต่ยังทำให้ตัวละครแต่ละตัวมีชีวิตด้วยเสียงที่เป็นเอกลักษณ์ทำให้ประสบการณ์การฟังมีส่วนร่วมมากขึ้น
Coqui TTS ทั้งหมด-(ทาโคทรอน, ทาโคทรอน 2, เรืองแสง -tts, Speedy-speech, จัดตำแหน่ง, fastpitch, fastspeech, fastspeech2, sc-glowtts, capacitron, ล้น, neural hmm, tts, tts ที่น่ายินดี
(เช่นเดียวกับโฟลเดอร์ของไฟล์แชท MP4 แต่ละตัวที่มีภาพ ebook ที่ฝังอยู่ในนั้นหากคุณต้องการ)
การสาธิต XTTS V2 คุณภาพสูง
การสาธิตเต่าคุณภาพสูง
การสาธิต Balacoon เสียงเร็วสุด ๆ
** การทดสอบคุณภาพสูงสุด ๆ พร้อมรุ่นปรับแต่งอย่างละเอียด **
คุณสามารถปรับแต่งรุ่น XTTS ของคุณเองด้วยเสียงประมาณ 6 นาทีขึ้นไปฟรีด้วย colab นี้ https://colab.research.google.com/drive/1gii4_x724m8q2w-zz-jxo7cwtv7rfah-
แก้ไข: colab นั้นใช้งานไม่ได้อีกต่อไป: ใช้เวอร์ชันของฉันที่ให้การแก้ไข: https://colab.research.google.com/drive/1sqqqqzupo2pdjgggkrbm60su6sbfyo3su?usp=sharing
สำรวจและเรียกใช้โปรเจ็กต์ VoxNovel รุ่นอินเทอร์แอคทีฟบน Google Colab โดยตรง! เริ่มต้นที่นี่
GUI นี้มีไว้สำหรับการแก้ไขด้วยตนเองของการมอบหมายผู้พูดหากใบเสนอราคาได้รับการกำหนดอย่างไม่ถูกต้องโดย BookNLP มันอ่านไฟล์ Book.csv ที่มีหนังสือที่แยกออกมาและข้อมูลลำโพงและช่วยให้คุณตรวจสอบและแก้ไขการมอบหมายลำโพงได้ตามต้องการก่อนที่จะถูกส่งผ่านไปยังขั้นตอน TTS ถัดไป
สำรวจและเรียกใช้โปรเจ็กต์ VoxNovel รุ่นอินเทอร์แอคทีฟบน Google Colab โดยตรง! เริ่มต้นที่นี่
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:headless_m1_v2
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest_headless
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run --gpus all -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest_headless
ทำตามขั้นตอนเหล่านี้เพื่อตั้งค่าโครงการ VoxNovel บนระบบ Windows โดยใช้ PowerShell:
นำทางไปยังไดเรกทอรีโปรไฟล์ผู้ใช้ของคุณ:
cd $ env: USERPROFILEโคลนที่เก็บ voxnovel จาก GitHub:
git clone https: // github.com / DrewThomasson / VoxNovel.gitในการเรียกใช้แอปพลิเคชัน VoxNovel ในคอนเทนเนอร์ Docker บน CPU ของคุณ:
docker run - v " ${ env: USERPROFILE} /VoxNovel/:/VoxNovel/ " - it athomasson2 / voxnovel:latest_headlessหากคุณมี Nvidia GPU และต้องการเร่งการประมวลผลให้ใช้คำสั่งต่อไปนี้:
docker run -- gpus all - v " ${ env: USERPROFILE} /VoxNovel/:/VoxNovel/ " - it athomasson2 / voxnovel:latest_headlessgit clone https://github.com/DrewThomasson/VoxNovel.gitsudo docker run --gpus all -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix -v /dev/snd:/dev/snd --device /dev/snd -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latestคู่มือนี้ให้คำแนะนำเกี่ยวกับวิธีเรียกใช้คอนเทนเนอร์ Docker ด้วยส่วนต่อประสานผู้ใช้กราฟิกบน MacOS โดยใช้ Xquartz สำหรับการส่งต่อ X11 และการติดตั้งระดับเสียง
XQuartz -> PreferencesSecurity เปิดใช้ งานการเชื่อมต่อจากไคลเอนต์เครือข่ายเปิดเทอร์มินัลและเรียกใช้คำสั่งต่อไปนี้เพื่ออนุญาตการเชื่อมต่อจากเครื่องในพื้นที่ของคุณไปยัง Xquartz:
xhost + $(ifconfig en0 | grep inet | awk '$1=="inet" {print $2}')
เรียกใช้คำสั่งต่อไปนี้เพื่อเริ่มคอนเทนเนอร์ Docker ของคุณ คำสั่งนี้กำหนดค่า GUI เพื่อแสดงบนโฮสต์ของคุณและติดตั้งไดเรกทอรีที่จำเป็น:
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
docker run -e DISPLAY=$(ifconfig en0 | grep inet | awk '$1=="inet" {print $2}'):0
-v /tmp/.X11-unix:/tmp/.X11-unix
-v "/Users/$(whoami)/VoxNovel:/VoxNovel"
athomasson2/voxnovel:latest
/Users/$(whoami)/VoxNovel มีอยู่บน Mac ของคุณ ถ้าไม่สร้างมันหรือปรับเส้นทางการเมานต์ระดับเสียงในคำสั่ง Docker ตามต้องการติดตั้ง VCXSRV:
choco install vcxsrvหลังจากติดตั้ง VCXSRV มักจะเปิดตัวโดยอัตโนมัติ คุณสามารถยืนยันได้ว่ามันทำงานโดยการตรวจสอบไอคอนในถาดระบบโดยปกติจะอยู่ใกล้นาฬิกาในแถบงาน นอกจากนี้ยังอาจเริ่มต้นโดยอัตโนมัติเมื่อคุณเข้าสู่ระบบของคุณ
เพื่อให้แน่ใจว่าได้รับการกำหนดค่าเพื่ออนุญาตการเชื่อมต่อจากคอนเทนเนอร์ Docker ให้ทำตามขั้นตอนเหล่านี้:
ด้วยการตั้งค่าเหล่านี้ VCXSRV ควรเรียกใช้และกำหนดค่าเพื่ออนุญาตการเชื่อมต่อจากคอนเทนเนอร์ Docker ตอนนี้คุณสามารถดำเนินการตามคำสั่ง Docker ของคุณที่ต้องการการสนับสนุน GUI
เปลี่ยนเป็นไดเรกทอรีบ้านของคุณ:
cd $HOMEโคลนที่เก็บ:
git clone https://github.com/DrewThomasson/VoxNovel.gitเรียกใช้คอนเทนเนอร์ Docker:
docker run -e DISPLAY=host.docker.internal:0 -v " /Users/ $( whoami ) /VoxNovel:/VoxNovel/ " -it athomasson2/voxnovel:latest(อย่าใช้ถ้าคุณติดตั้ง Miniconda อยู่แล้ว)
ในการติดตั้ง voxnovel บน Ubuntu คุณสามารถใช้คำสั่งเดียวต่อไปนี้:
yes | wget -O - https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Ubuntu-install.sh | bash-สคริปต์การติดตั้งเดี่ยวด้านบนควรสร้างทางลัดสำหรับแอปพลิเคชันเช่นกัน
หรือคุณสามารถเปิดแอปพลิเคชันด้วยตนเองในเทอร์มินัลด้วยคำสั่งต่อไปนี้:
cd ~ /VoxNovel && conda activate VoxNovel && python gui_run.pysudo apt-get install calibresudo apt-get install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install bs4pip install styletts2pip install tts==0.21.3pip install booknlp==1.0.7.1pip install -r Ubuntu_requirements.txtpython -m spacy download en_core_web_smติดตั้ง mecab สำหรับ (สนับสนุนภาษาละตินที่ใช้ภาษาละติน) (ไม่บังคับ):
sudo apt-get install -y mecab libmecab-dev mecab-ipadic-utf8 (สำหรับการสนับสนุนภาษาที่ไม่ได้ใช้ภาษาละติน) (ไม่บังคับ)
python -m unidic download
pip install mecab mecab-python3 unidicbash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Steam-Deck_VoxNovel-Install.sh )ดาวน์โหลด Intel Voxnovel Installer
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Intel_Mac_Install_VoxNovel.sh )เมื่อเสร็จแล้วคุณควรมีทางลัดเดสก์ท็อปสำหรับ Voxnovel
หากต้องการถอนการติดตั้งให้เรียกใช้คำสั่งต่อไปนี้ในเทอร์มินัลของคุณ:
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/uninstall_VoxNovel_Mac.sh )brew install calibrebrew install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install styletts2pip install tts==0.21.3pip install booknlp==1.0.7.1 9. pip install -r MAC-requirements.txtpip install spacy 11. python -m spacy download en_core_web_smติดตั้ง mecab สำหรับ (สนับสนุนภาษาละตินที่ใช้ภาษาละติน) (ไม่บังคับ):
brew install mecab , brew install mecab-ipadic (สำหรับการสนับสนุนภาษาที่ไม่ได้ใช้ภาษาละติน) (ไม่บังคับ)
python -m unidic download
pip install mecab mecab-python3 unidicดาวน์โหลด Apple Silicon Voxnovel Installer
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Apple_silicone_VoxNovel_install.sh )เมื่อเสร็จแล้วคุณควรมีทางลัดเดสก์ท็อปสำหรับ Voxnovel
หากต้องการถอนการติดตั้งให้เรียกใช้คำสั่งต่อไปนี้ในเทอร์มินัลของคุณ:
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/uninstall_VoxNovel_Mac.sh )รันตามลำดับนี้:
brew install calibre (คุณอาจต้องติดตั้งด้วยตนเองจากเว็บไซต์ของพวกเขาหากไม่ได้ผล)brew install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install tensorflow-macos (ยังเป็นตัวเลือก pip install tensorflow-metal แต่จนถึงตอนนี้ฉันยังไม่ได้รับ GPU speedup เลยpip install styletts2pip install tts==0.21.3pip install --no-dependencies booknlp==1.0.7.1pip install transformers==4.30.0pip install tensorflowpip install -r MAC-requirements.txtpip install ebooklib bs4 epub2txt pygame moviepy spacypython -m spacy download en_core_web_smติดตั้ง mecab สำหรับ (สนับสนุนภาษาละตินที่ใช้ภาษาละติน) (ไม่บังคับ):
brew install mecab , brew install mecab-ipadic (สำหรับการสนับสนุนภาษาละตินที่ใช้ภาษาละติน) (ไม่บังคับ)python -m unidic downloadpip install mecab mecab-python3 unidicใน PowerShell ของคุณวาง:
wsl --installเพื่อติดตั้ง WSL (คุณอาจได้รับแจ้งจากระบบของคุณเพื่อเปิดใช้งานการจำลองเสมือนใน BIOS ของคุณหากมีอยู่เนื่องจากจำเป็นต้องใช้ WSL บน Windows)
หลังจากตั้งค่าชื่อผู้ใช้และรหัสผ่านของคุณให้เปิด WSL และวางคำสั่งนี้สำหรับการติดตั้งคำสั่งเดียว:
yes | wget -O - https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Ubuntu-install.sh | bash(เป็นทางเลือกเฉพาะสำหรับการ์ดกราฟิก NVIDA ไม่เรียกใช้คำสั่งนี้หากคุณไม่มีการ์ดกราฟิก NVIDIA) ติดตั้งชุดเครื่องมือ NVIDIA CUDA (จำเป็นสำหรับการเร่งความเร็ว NVIDIA GPU):
sudo apt install nvidia-cuda-toolkitตรวจสอบให้แน่ใจว่าคุณอยู่ในสภาพแวดล้อมของ Voxnovel Conda: (ถ้า 'conda: ไม่พบคำสั่ง' ie- conda ไม่ถูกมองว่าเป็นคำสั่งจากนั้นลองปิดหน้าต่าง PowerShell ปัจจุบันและเปิดตัว WSL Env ด้วย [WSL -D Ubuntu]
conda activate VoxNovelนำทางไปยังโฟลเดอร์ voxnovel (ถ้ายังไม่มี):
cd ~ && cd VoxNovelตอนนี้เพียงเรียกใช้หนึ่งในสองโปรแกรมที่แสดงด้านล่าง
python gui_run.pypython headless_voxnovel.pyคุณสามารถเข้าถึงไฟล์ WSL Ubuntu ของคุณโดยตรงใน Windows File Explorer โดยป้อนเส้นทางต่อไปนี้ในแถบที่อยู่:
\wsl.localhostUbuntuhome
ไฟล์หนังสือเสียงที่ส่งออกจะอยู่ภายใต้ VoxNoveloutput_audiobooks ใน WSL Env
เรียกใช้คำสั่งนี้ใน PowerShell
Invoke-Expression (Invoke-WebRequest -Uri " https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Windows-install-scripts/create_desktop_shortcut.ps1 " ).Contentหากต้องการลบทุกอย่างให้เรียกใช้คำสั่งต่อไปนี้ใน PowerShell:
wsl --unregister Ubuntuสิ่งนี้จะลบสภาพแวดล้อม Ubuntu โดยสมบูรณ์ซึ่งแอปพลิเคชันถูกเก็บไว้ -
หากคุณมีปัญหากับสภาพแวดล้อม WSL:
แสดงรายการสภาพแวดล้อม WSL ทั้งหมด:
wsl --list --verboseลบสภาพแวดล้อม WSL เฉพาะ (เช่น Ubuntu):
wsl --unregister < distro_name >ติดตั้ง WSL ใหม่:
wsl --installในการเปิดใช้งาน WSL เมื่อใดก็ตามที่คุณต้องเรียกใช้โปรแกรมนี้คุณสามารถใช้แถบค้นหาใน Windows เพื่อค้นหาและเปิดใช้งาน "WSL" หรือเรียกใช้:
wslติดตั้ง mecab สำหรับ (สนับสนุนภาษาละตินที่ใช้ภาษาละติน) (ไม่บังคับ):
sudo apt-get install -y mecab libmecab-dev mecab-ipadic-utf8 (สำหรับการสนับสนุนภาษาที่ไม่ได้ใช้ภาษาละติน) (ไม่บังคับ)
python -m unidic download
pip install mecab mecab-python3 unidicpython gui_run.pypython headless_voxnovel.pyในการเรียกใช้สคริปต์ที่ให้ไว้ในระบบของคุณให้ทำตามขั้นตอนเหล่านี้ตามลำดับ:
การประมวลผลหนังสือ (CPU เท่านั้น):
python 1CPU_Book_processing.pyการสร้างเสียง (GPU เท่านั้น):
1CPU_Book_processing.pypython 2GPU_Audio_generation.pyเมื่อเรียกใช้การทดสอบขนาดเล็กด้วยไฟล์ EPUB โดยใช้การตั้งค่าด้านบนจะสังเกตการวัดประสิทธิภาพต่อไปนี้:
การทดสอบกับไฟล์ mini epub ที่อยู่ในตัวอย่าง _working_files.zip
| งาน | การกำหนดค่า | เวลา (วินาที) |
|---|---|---|
| การประมวลผล | GPU เท่านั้น (GeForce GTX 980), 4GB VRAM, 32GB RAM, Intel i7-8700K | 2.922 |
| การสร้างเสียง | GPU เท่านั้น (GeForce GTX 980), 4GB VRAM, 32GB RAM, Intel i7-8700K | 128.48 |
| การประมวลผล | CPU เท่านั้น, 32GB RAM, Intel i7-8700K | 4.964 |
| การสร้างเสียง | CPU เท่านั้น, 32GB RAM, Intel i7-8700K | 391.4227 |
python auto_noGui_run.py
คุณสามารถเข้าถึงไฟล์หนังสือเสียงที่สร้างขึ้นของคุณในโฟลเดอร์ VoxNovel ที่ตำแหน่ง
VoxNovel/output_audiobooks
.epub, pdf, .mobi, txt, .html, .rtf, .chm, .lit, .pdb, .fb2, .Odt, .cbr, .cbz, .prc, .lrf, .pml, .snb, .cbc
/final_combined_output_audio: นี่คือที่ที่ไฟล์เสียงบททั้งหมดของคุณจะถูกวางตามลำดับของบทที่
/output_audiobooks: นี่คือที่ที่ไฟล์หนังสือเสียง M4B ทั้งหมดของคุณจะถูกเก็บไว้
/working_files: ถือไฟล์ทำงานทั้งหมดที่ใช้โดยโปรแกรมในขณะที่ทำงานอย่างรวดเร็ว
/Tortoise: ถือไฟล์เสียงตัวอย่างทั้งหมด
-@sidharthrajaram (สำหรับการติดตั้ง PIP Styletts2 ของเขาที่เขาสร้างขึ้นฉันไม่สามารถเพิ่ม Styletts2 ได้หากไม่มีเขา :)) (https://github.com/sidharthrajaram/styletts2)
