VitsServer
v
⚡ Ein Vits ONNX -Server für schnelle Inferenz, Unterstützung von Streaming und zusätzliche Inferenzeinstellungen, um die Einstellungen für die Modellpräferenz zu aktivieren und die Leistung zu optimieren.
Wir bieten außergewöhnliche Anrufsysteme an.
client = VITS ( "http://127.0.0.1:9557" )
res = client . generate_voice ( model_id = "model_01" , text = "你好，世界！" , speaker_id = 0 , audio_type = "wav" ,
length_scale = 1.0 , noise_scale = 0.5 , noise_scale_w = 0.5 , auto_parse = True )
with open ( "output.wav" , "wb" ) as f :
for chunk in res . iter_content ( chunk_size = 1024 ):
if chunk :
f . write ( chunk ) Wir empfehlen, eine virtuelle Umgebung zu nutzen, um die Laufzeitumgebung zu isolieren. Da die Abhängigkeiten dieses Projekts möglicherweise Ihre Abhängigkeitsbibliothek stören können, empfehlen wir pipenv das Abhängigkeitspaket zu verwalten.
Die Konfiguration ist in .env , einschließlich der folgenden Felder:
VITS_SERVER_HOST = 0.0.0.0
VITS_SERVER_PORT = 9557
VITS_SERVER_RELOAD = false
# VITS_SERVER_WORKERS=1
# VITS_SERVER_INIT_CONFIG="https://....json"
# VITS_SERVER_INIT_MODEL="https://.....pth or onnx"oder Sie können den folgenden Befehl verwenden, um die Umgebungsvariable festzulegen:
export VITS_SERVER_HOST= " 0.0.0.0 "
export VITS_SERVER_PORT= " 9557 "
export VITS_SERVER_RELOAD= " false "
export VITS_DISABLE_GPU= " false "
VITS_SERVER_RELOAD bedeutet automatisch neu start Server, wenn die Datei geändert wird.
apt-get update &&
apt-get install -y build-essential libsndfile1 vim gcc g++ cmake
apt install python3-pip
pip3 install pipenv
pipenv install # Create and install dependency packages
pipenv shell # Activate the virtual environment
python3 main.py # Run
# then ctrl+c exit apt install npm
npm install pm2 -g
pm2 start pm2.json
# then the server will run in the background
Und wir haben ein Ein-Klick-Skript, um pipenv und npm zu installieren:
curl -LO https://raw.githubusercontent.com/LlmKira/VitsServer/main/deploy_script.sh && chmod +x deploy_script.sh && ./deploy_script.sh
Wir haben docker pull sudoskys/vits-server:main to Docker Hub.
Sie können auch aus Dockerfile bauen.
docker build -t < image-name > . Wo <image-name> ist der Name, den Sie dem Bild geben möchten. Verwenden Sie dann den folgenden Befehl, um den Container zu starten:
docker run -d -p 9557:9557 -v < local-path > /vits_model:/app/model < image-name > wobei <local-path> der lokale Ordnerpfad ist, den Sie dem Verzeichnis /App /Modell im Container zuordnen möchten.
Platzieren Sie im model das model.pth / model.onnx und das entsprechende model.json -Dateien. Wenn es .pth ist, wird es automatisch in .onnx konvertiert!
Sie können .env verwenden, um VITS_SERVER_INIT_CONFIG und VITS_SERVER_INIT_MODEL festzulegen, um Modelldateien herunterzuladen.
VITS_SERVER_INIT_CONFIG = " https://....json "
VITS_SERVER_INIT_MODEL = " https://.....pth?trace=233 or onnx?trace=233 " model :
.
├── 1000_epochs.json
├── 1000_epochs.onnx
├── 1000_epochs.pth
├── 233_epochs.json
├── 233_epochs.onnx
└── 233_epochs.pth
Model ID ist 1000_epochs und 233_epochs .
Wenn Sie Modelldateien in den model einfügen, sollten Sie den Server neu starten.
Sie können zusätzliche Felder in die Modellkonfiguration hinzufügen, um Informationen wie den Modellnamen zu erhalten, der der Modell -ID über die API entspricht.
{
//...
"info" : {
"name" : "coco" ,
"description" : "a vits model" ,
"author" : "someone" ,
"cover" : "https://xxx.com/xxx.jpg" ,
"email" : "[email protected]"
} ,
"infer" : {
"noise_scale" : 0.667 ,
"length_scale" : 1.0 ,
"noise_scale_w" : 0.8
}
//....
} infer sind die Standard -Inferenzeinstellungen für das Modell.
info sind die Modellinformationen.
Sie können auf {your_base_url}/model/list?show_speaker=True&show_ms_config=True um detaillierte Informationen zu Modellrollen und -konfigurationen zu erhalten.
Wir möchten die Beiträge der folgenden Projekte in der Entwicklung dieses Projekts anerkennen:
