VoxNovel
vel: 1.5
Voxnovel은 BookNLP의 기능을 활용하여 문헌을 분석하고, 특정 캐릭터에 대한 인용문을 제시하며, 각 캐릭터가 Coqui TT를 통해 독특한 목소리를 가진 맞춤형 오디오 북을 생성하는 혁신적인 프로그램입니다. 이것은 몰입 형 오디오 북 경험을 제공 할뿐만 아니라 독특한 목소리로 각 캐릭터에 생명을 불어 넣어 청취 경험을 훨씬 더 매력적으로 만듭니다.
모든 coqui tts 모델-(타코트론, 타코 트론 2, 글로우 -TTS, 빠른 연사, 정렬 TT, Fastpitch, FastSpeech, FastSpeech2, SC-Glowtts, Capacitron, Overflow, Neural Hmm TTS, 유쾌한 TTS, ⓧtts, Vits,? Yourtts,? Tortoise,?
(원하는 경우 eBook 이미지가 포함 된 개별 MP4 Chatper 파일의 폴더뿐만 아니라
고품질 XTTS V2 데모
고품질 거북이 데모
매우 빠른 오디오 Balacoon 데모
** 미세 조정 모델로 슈퍼 고품질 테스트 **
약 6 분 이상의 오디오로 자신의 XTTS 모델을 미세 조정할 수 있습니다. https://colab.research.google.com/drive/1gii4_x724m8q2w-zz-jxo7cwtv7rfah-
편집 : Colab은 더 이상 작동하지 않습니다 : https://colab.research.google.com/drive/1sqqqzupo2pdjgggkrbm60su6sbfyo3su?usp=sharing
Google Colab에서 직접 헤드리스 Voxnovel 프로젝트의 대화식 버전을 탐색하고 실행하십시오! 여기서 시작하십시오.
이 GUI는 BookNLP에 의해 따옴표가 잘못 지정된 경우 스피커 할당의 수동 수정을위한 것입니다. 책이 추출 된 인용문 및 스피커 정보가 포함 된 Book.csv 파일을 읽고 다음 TTS 단계로 전달되기 전에 필요에 따라 스피커 할당을 시각적으로 검사하고 수정할 수 있습니다.
Google Colab에서 직접 헤드리스 Voxnovel 프로젝트의 대화식 버전을 탐색하고 실행하십시오! 여기서 시작하십시오.
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:headless_m1_v2
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest_headless
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
sudo docker run --gpus all -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest_headless
다음 단계에 따라 PowerShell을 사용하여 Windows 시스템에서 Voxnovel 프로젝트를 설정하십시오.
사용자 프로필 디렉토리로 이동하십시오.
cd $ env: USERPROFILEGithub에서 Voxnovel 저장소를 복제하십시오.
git clone https: // github.com / DrewThomasson / VoxNovel.gitCPU의 Docker 컨테이너에서 Voxnovel 응용 프로그램을 실행하려면 :
docker run - v " ${ env: USERPROFILE} /VoxNovel/:/VoxNovel/ " - it athomasson2 / voxnovel:latest_headlessNVIDIA GPU가 있고 처리를 가속화하려면 다음 명령을 사용하십시오.
docker run -- gpus all - v " ${ env: USERPROFILE} /VoxNovel/:/VoxNovel/ " - it athomasson2 / voxnovel:latest_headlessgit clone https://github.com/DrewThomasson/VoxNovel.gitsudo docker run --gpus all -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix -v /dev/snd:/dev/snd --device /dev/snd -v "$HOME/VoxNovel:/VoxNovel/" -it athomasson2/voxnovel:latest이 안내서는 x11 전달 및 볼륨 장착 용 Xquartz를 사용하여 MacOS에서 그래픽 사용자 인터페이스를 사용하여 Docker 컨테이너를 실행하는 방법에 대한 지침을 제공합니다.
XQuartz > Preferences 로 이동하십시오.Security 탭에서 네트워크 클라이언트에서 연결할 수 있습니다.터미널을 열고 다음 명령을 실행하여 로컬 컴퓨터에서 Xquartz로 연결할 수 있습니다.
xhost + $(ifconfig en0 | grep inet | awk '$1=="inet" {print $2}')
Docker 컨테이너를 시작하려면 다음 명령을 실행하십시오. 이 명령은 GUI가 호스트에 표시되도록 구성하고 필요한 디렉토리를 마운트합니다.
cd ~
git clone https://github.com/DrewThomasson/VoxNovel.git
docker run -e DISPLAY=$(ifconfig en0 | grep inet | awk '$1=="inet" {print $2}'):0
-v /tmp/.X11-unix:/tmp/.X11-unix
-v "/Users/$(whoami)/VoxNovel:/VoxNovel"
athomasson2/voxnovel:latest
/Users/$(whoami)/VoxNovel 존재하는지 확인하십시오. 그렇지 않은 경우 필요에 따라 Docker 명령에서 볼륨 마운트 경로를 작성하거나 조정하십시오.vcxsrv 설치 :
choco install vcxsrvVCXSRV를 설치 한 후 일반적으로 자동으로 시작됩니다. 일반적으로 작업 표시 줄의 시계 근처에 위치한 시스템 트레이에서 아이콘을 확인하여 실행 중인지 확인할 수 있습니다. 시스템에 로그인하면 자동으로 시작될 수 있습니다.
Docker 컨테이너의 연결을 허용하도록 구성되도록 다음 단계를 따르십시오.
이러한 설정을 사용하면 Docker 컨테이너의 연결을 허용하도록 VCXSRV를 실행하고 구성해야합니다. 이제 GUI 지원이 필요한 Docker 명령을 실행할 수 있습니다.
홈 디렉토리로 변경 :
cd $HOME저장소 복제 :
git clone https://github.com/DrewThomasson/VoxNovel.gitDocker 컨테이너를 실행하십시오.
docker run -e DISPLAY=host.docker.internal:0 -v " /Users/ $( whoami ) /VoxNovel:/VoxNovel/ " -it athomasson2/voxnovel:latest(미니콘다가 이미 설치되어있는 경우 사용하지 마십시오.)
Ubuntu에 Voxnovel을 설치하려면 다음 단일 명령을 사용할 수 있습니다.
yes | wget -O - https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Ubuntu-install.sh | bash-위의 단일 설치 스크립트는 응용 프로그램의 바로 가기도 생성해야합니다.
또는 다음 명령으로 터미널에서 응용 프로그램을 수동으로 시작할 수 있습니다.
cd ~ /VoxNovel && conda activate VoxNovel && python gui_run.pysudo apt-get install calibresudo apt-get install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install bs4pip install styletts2pip install tts==0.21.3pip install booknlp==1.0.7.1pip install -r Ubuntu_requirements.txtpython -m spacy download en_core_web_sm(라틴어 기반 언어 TTS 지원) (선택 사항)에 대한 Mecab을 설치하십시오.
sudo apt-get install -y mecab libmecab-dev mecab-ipadic-utf8 (비 라틴 기반 언어 TTS 지원) (선택 사항)
python -m unidic download
pip install mecab mecab-python3 unidicbash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Steam-Deck_VoxNovel-Install.sh )Intel Voxnovel Installer를 다운로드하십시오
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Intel_Mac_Install_VoxNovel.sh )완료되면 Voxnovel을위한 데스크탑 단축키가 있어야합니다.
제거하려면 터미널에서 다음 명령을 실행하십시오.
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/uninstall_VoxNovel_Mac.sh )brew install calibrebrew install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install styletts2pip install tts==0.21.3pip install booknlp==1.0.7.1 9. pip install -r MAC-requirements.txtpip install spacy 11. python -m spacy download en_core_web_sm(라틴어 기반 언어 TTS 지원) (선택 사항)에 대한 Mecab을 설치하십시오.
brew install mecab , brew install mecab-ipadic (비 라틴 기반 언어 TTS 지원) (선택 사항)
python -m unidic download
pip install mecab mecab-python3 unidicApple Silicon Voxnovel 설치 프로그램을 다운로드하십시오
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Apple_silicone_VoxNovel_install.sh )완료되면 Voxnovel을위한 데스크탑 단축키가 있어야합니다.
제거하려면 터미널에서 다음 명령을 실행하십시오.
bash <( curl -s https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/uninstall_VoxNovel_Mac.sh )이 순서로 실행하십시오.
brew install calibre (작동하지 않으면 사이트에서 수동으로 설치해야 할 수도 있습니다).brew install ffmpegconda create --name VoxNovel python=3.10conda activate VoxNovelgit clone https://github.com/DrewThomasson/VoxNovel.gitcd VoxNovelpip install tensorflow-macos (또한 옵션 pip install tensorflow-metal 지금까지는 아직 GPU 속도를 얻지 못했습니다.pip install styletts2pip install tts==0.21.3pip install --no-dependencies booknlp==1.0.7.1pip install transformers==4.30.0pip install tensorflowpip install -r MAC-requirements.txtpip install ebooklib bs4 epub2txt pygame moviepy spacypython -m spacy download en_core_web_sm(라틴어 기반 언어 TTS 지원) (선택 사항)에 대한 Mecab을 설치하십시오.
brew install mecab , brew install mecab-ipadic (비 라틴어 기반 언어 TTS 지원) (선택 사항)python -m unidic downloadpip install mecab mecab-python3 unidicPowerShell에서 붙여 넣기 :
wsl --installWSL을 설치하려면. (Windows에서 WSL을 실행해야하기 때문에 사용 가능한 경우 BIOS에서 가상화를 가능하게하는 시스템에 의해 프롬프트 될 수 있습니다.)
사용자 이름과 비밀번호를 설정 한 후 WSL을 열고 단일 명령 설치 에이 명령을 붙여 넣습니다.
yes | wget -O - https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Ubuntu-install.sh | bash(NVIDA 그래픽 카드에 대해서만 선택 사항 NVIDIA 그래픽 카드가없는 경우이 명령을 실행하지 않습니다) NVIDIA CUDA TOOLKIT 설치 (NVIDIA GPU 가속도에 필수) :
sudo apt install nvidia-cuda-toolkitVoxnovel Conda 환경에 있는지 확인하십시오.
conda activate VoxNovelVoxnovel 폴더로 이동하십시오 (아직없는 경우) :
cd ~ && cd VoxNovel이제 아래에 표시된 두 프로그램 중 하나를 실행하십시오.
python gui_run.pypython headless_voxnovel.py주소 표시 줄에 다음 경로를 입력하여 Windows 파일 탐색기에서 WSL Ubuntu 파일에 직접 액세스 할 수 있습니다.
\wsl.localhostUbuntuhome
출력 오디오 북 파일은 WSL ENV의 VoxNoveloutput_audiobooks 아래에 있습니다.
PowerShell 에서이 명령을 실행하십시오
Invoke-Expression (Invoke-WebRequest -Uri " https://raw.githubusercontent.com/DrewThomasson/VoxNovel/main/shell_install_scripts/Windows-install-scripts/create_desktop_shortcut.ps1 " ).Content모든 것을 제거하려면 PowerShell에서 다음 명령을 실행하십시오.
wsl --unregister Ubuntu이것은 응용 프로그램이 저장된 우분투 환경을 완전히 제거합니다. ?
WSL 환경에 문제가있는 경우 :
모든 WSL 환경을 나열하십시오.
wsl --list --verbose특정 WSL 환경 제거 (예 : Ubuntu) :
wsl --unregister < distro_name >WSL을 다시 설치 :
wsl --install이 프로그램을 실행해야 할 때 언제든지 WSL을 시작하려면 Windows의 검색 창을 사용하여 "WSL"을 찾고 실행할 수 있습니다.
wsl(라틴어 기반 언어 TTS 지원) (선택 사항)에 대한 Mecab을 설치하십시오.
sudo apt-get install -y mecab libmecab-dev mecab-ipadic-utf8 (비 라틴 기반 언어 TTS 지원) (선택 사항)
python -m unidic download
pip install mecab mecab-python3 unidicpython gui_run.pypython headless_voxnovel.py시스템에서 제공된 스크립트를 실행하려면 다음 단계를 수행하십시오.
책 처리 (CPU 만 해당) :
python 1CPU_Book_processing.py 로 실행하십시오오디오 생성 (GPU 만 해당) :
1CPU_Book_processing.py 로 책 처리를 완료 한 후에 실행해야합니다.python 2GPU_Audio_generation.py 로 실행하십시오위의 설정을 사용하여 EPUB 파일로 미니 테스트를 실행하면 다음 성능 메트릭이 관찰되었습니다.
example_working_files.zip에있는 미니 epub 파일로 완료 된 테스트
| 일 | 구성 | 시간 (초) |
|---|---|---|
| 책 처리 | GPU 만 (Geforce GTX 980), 4GB VRAM, 32GB RAM, Intel i7-8700K | 2.922 |
| 오디오 생성 | GPU 만 (Geforce GTX 980), 4GB VRAM, 32GB RAM, Intel i7-8700K | 128.48 |
| 책 처리 | CPU 전용, 32GB RAM, Intel i7-8700K | 4.964 |
| 오디오 생성 | CPU 전용, 32GB RAM, Intel i7-8700K | 391.4227 |
python auto_noGui_run.py
위치의 Voxnovel 폴더에서 생성 된 오디오 북 파일에 액세스 할 수 있습니다.
VoxNovel/output_audiobooks
.epub, .pdf, .mobi, .txt, .html, .rtf, .chm, .lit, .pdb, .fb2, .odt, .cbr, .cbz, .prc, .lrf, .pml, .snb, .cbc, .rb 및 .tcr,.
/final_combined_output_audio : 이것은 모든 장 오디오 파일을 장의 순서대로 제출하는 곳입니다.
/output_audiobooks : 모든 M4B AudioBook 파일이 저장되는 곳입니다.
/working_files : 활성으로 실행 중에 프로그램에서 사용하는 모든 작업 파일을 보유합니다.
/거북이 : 모든 샘플 음성 파일을 보유합니다
-@sidharthrajaram (그의 Styletts2 Pip 설치를 위해 그가 만든 Styletts2를 추가 할 수 없었습니다. :)) (https://github.com/sidharthrajaram/styletts2)
