nonebot plugin fishspeech tts
v2024.12.09-07.43.52
Llamada basada en nobot2 al Audio de pescado en línea o el complemento tts de la generación de texto de la expresión de texto de la voz de pescado fuera de línea
Chino simplificado | Inglés
¡Solo se puede usar un material de voz de 5 segundos para clonar perfectamente el sonido original! Simplemente prepare la voz del personaje que desea clonar y etiquetar su nombre de archivo de voz (ver más abajo) para generar rápidamente la voz.
O use la API oficial en línea -> Audio de pescado para disfrutar de la generación de voz rápida en la nube.
Precaución
Este complemento es solo para fines de aprendizaje e investigación , y los usuarios deben asumir el riesgo de usar el complemento bajo su propio riesgo. El autor no es responsable de ninguna pérdida o problema causado por el uso del complemento. Utilice el complemento razonablemente y cumpla con las leyes y regulaciones relevantes. Al usar este complemento, ha leído y acepta cumplir con el descargo de responsabilidad anterior . Si no está de acuerdo o no cumple con la declaración anterior, no use este complemento.
Instalación pipx
pipx install nonebot-plugin-fishspeech-tts -U[! Nota] Agregue este complemento en pyproject.toml de nobot
Instalación de nb-cli
nb plugin install nonebot-plugin-fishspeech-tts -U Instalación git clone (no recomendado)
cmd git clone https://github.com/Cvandia/nonebot-plugin-fishspeech-ttsnonebot-plugin-fishspeech-tts en la ventana Ejecutado a src/plugins en el directorio raíz del bot (u otro nombre xxx/plugins al crear el bot)Descarga del sitio de espejo recomendado
Fuente de Tsinghua https://pypi.tuna.tsinghua.edu.cn/simple
Fuente de Alibaba https://mirrors.aliyun.com/pypi/simple/
Agregue la siguiente configuración en .env
| Configuración básica | tipo | Requerido | valor predeterminado | ilustrar |
|---|---|---|---|---|
| tts_is_online | bool | Sí | Verdadero | Si usar la API de la nube |
| tts_chunk_length | literal | No | "normal" | La longitud del fragmento de audio es normal cuando se solicita, opcional: corto, normal, largo |
| TTS_MAX_NEW_TOKENS | intencionalmente | No | 800 | Longitud máxima de audio, el valor predeterminado es 800, la configuración en 0 es ilimitada |
| tts_audio_path | stri | No | "./data/reference audio" | Ruta del material de voz, predeterminado es "./data/reference audio" |
| tts_prefix | stri | No | Ninguno | Activar prefijo, predeterminado a ninguno |
Nota: El formato del nombre del archivo del audio de referencia es: [Nombre de rol] La etiqueta de texto correspondiente al audio. [Nombre de sufijo de audio]
Haga clic aquí para seleccionar para descargar la referencia de referencia recomendada reference_audio.zip , descompresión y colocar el audio en data/参考音频en el directorio de archivos BOT.
! ¡Apoya diferentes voces del mismo personaje!
Para obtener detalles sobre el soporte de sufijo de audio, consulte AUDIO_FILE_SUFFIX en files.py
Si desea utilizar la API oficial, configure el elemento de configuración tts_is_online en True y configure lo siguiente
| Elementos de configuración | tipo | Requerido | valor predeterminado | ilustrar |
|---|---|---|---|---|
| en línea_api_url | stri | No | "https://api.fish-audio.cn" | La dirección API oficial del sitio web se puede seleccionar entre https://api.fish.audio (amurallado) o valor predeterminado |
| en línea_autorización | stri | Sí | "xxxxx" | Clave de autenticación de API oficial, consulte el enlace para más detalles |
| en línea_model_first | bool | No | Verdadero | Si desea llamar al modelo oficial, personalice el tono de caracteres a través de su propio audio de referencia, establezca esto en False . Por supuesto, si no prepara audio de referencia, también llamará al tono ya disponible en el sitio web oficial. Para más detalles, consulte el enlace |
| en línea_api_proxy | stri | No | Ninguno | Dirección proxy, como: http://127.0.0.1:7890 |
Si desea utilizar la API de su propia u otro proyecto de voz de pescado, establezca el elemento de configuración tts_is_online en Fasle y configure lo siguiente
| Elementos de configuración | tipo | Requerido | valor predeterminado | ilustrar |
|---|---|---|---|---|
| Offline_api_url Offline_api_url | stri | Sí | "http://127.0.0.1:8080" | Su dirección de la API fish-speech |
Nota
Tenga en cuenta su COMMAND_START y los elementos de configuración anteriores.
| instrucción | necesidad@ | alcance | ilustrar | Permisos |
|---|---|---|---|---|
| xxx dice xxxx | Según la configuración | todo | Generación de voz TTS | todo |
| Lista de voz | Sí | todo | Obtenga una lista de todos los roles | todo |
| Equilibrio de voz | Sí | todo | Consulta API Balance | todo |
Antes de usar
Preparar fish-speech
release del repositorio de fish-speech ( Source code (zip) ) al localfish-speechinstall_env.bat para instalar el entorno virtual y las dependencias requeridasstart.bat por primera vezAPI_FLAGS.txt y comience de nuevoIniciar servicio API
API_FLAGS.txt para ser aproximadamente el siguiente contenido, es decir, cancelar # frente a api # --infer
--api
--listen 0.0.0.0:8080 #监听接口
... Parámetros adicionales que se pueden agregar en API_FLAGS.txt
--complie -> si se debe iniciar el modelo compilado (generación más rápida de TTS, pero un inicio más lento)--workers 数字> Iniciar multi-coroutines数字(asegúrese de configurarlo, porque el predeterminado es fácil de bloquear)--device cpu -> Use CPU para generar TTS (si usa GPU, ignore)--half -> Use la mitad de precisión para generar TTS--max-text-length > Ingrese la longitud máxima del texto
