text generator.io

Text-Generator.io

El generador de texto es un sistema para;

• Equilibrar múltiples modelos en el disco, RAM y GPU
• Sirviendo las API de IA a través del intercambio en redes de IA.
• Uso de enriquecimiento de datos (OCR, rastreo, análisis de imágenes para facilitar la ingeniería de la ingeniería)
• Generando discurso y texto.
• Comprender el texto y el discurso (discurso al texto con susurro).

El generador de texto se puede utilizar a través de API o auto alojado.

El generador de texto equilibra varios modelos 7B para generar texto.

El generador de texto también enriquece los enlaces web con resúmenes de texto.

Si un aviso contiene enlaces a imágenes, se convierten en texto utilizando subtítulos y si es necesario.

¡Por favor, apoyemos!

Puede apoyarnos comprando tokens NetW, que serán una moneda compatible dentro de la aplicación.

También consulte Aiart-Generator.art y netwrck.com

Muy pronto:

• Agregue soporte para otros modelos y modalidades como la difusión estable (realizada en https://github.com/netwrck/stable-diffusion-server)
• Entrena un clasificador para detectar primero qué modelo es mejor usar para una pieza de texto determinada.
• Agregue soporte/pases a otros modelos como ChatGPT y Palm.

API

El generador de texto es compatible con API con OpenAI (pero no con la API de ChatGPT todavía)

También hay más control de la generación de texto a través de la API de Generador de texto, esto incluye;

• Parada temprana basada en la probabilidad (rápida autocompletar las siguientes partes probables del texto)
• max_sentences (generar solo un número establecido de oraciones como máximo)

El generador de texto también tiene rutas para el habla a la generación de texto y del habla.

Ver https://text-generator.io/docs

Clon

 cd
mkdir code
cd code
git clone 20-questions

Configuración de desarrollo local

Env Vars:

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

Configuración de la máquina sin Docker

requisitos de instalación

sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils

pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

El uso de CUDA es importante para acelerar la inferencia.

python -m nltk.downloader punkt

Configure algunas variables de entorno en este archivo (las falsas están bien para el desarrollo local)

mv sellerinfo_faked.py sellerinfo.py

Modelos

Descargue modelos de Huggingface.

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

Los modelos de generador de texto aún no son de código abierto.

Por favor, admitirnos para obtener los modelos

Descargue modelos y colóquelos en la carpeta de modelos.

Debe haber tres modelos colocados:

Modelos/TG Un modelo general accesible con modelo = modelos multilingües/TGZ Un modelo de instrucciones accesible con modelo = modelos de instrucciones/TGC Un modelo de chat accesible con modelo = chat

Model = Best está configurado para descubrir qué modelo usar en función de la solicitud que se obtiene en función de la perplejidad de cada modelo.

Esto necesita ajuste para la desviación AVG y ETS de la perplejidad, ya que cada modelo tiene ideas diferentes sobre cuán confidencial es. Los modelos sobre -selección tienen más confianza en que todo el texto está en el conjunto de datos (tienden a generar texto textualmente desde el conjunto de datos).

Se puede señalar que los modelos utilizan variables de entorno, por ejemplo, utilizando modelos de Hugginface en su lugar para probar

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

Otros modelos

El modelo de incrustación es un modelo más pequeño.

 cd models
git clone https://huggingface.co/distilbert-base-uncased

Los modelos Whisper y STT se cargarán a pedido y se colocarán en el caché Huggingface.

Correr

Ejecute la ui

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

Alternativamente:

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

Docker Run local

Edificio Docker

El generador de texto se puede ejecutar localmente sin Docker.

instalar nvidia-docker2

sudo apt-get install nvidia-docker2

El generador de texto está construido con buildx

DOCKER_BUILDKIT=1 docker buildx build . -t questions

sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

Aplicación de motor Ejecución del servidor

El frontend API Playground está disponible en https://text-generator.io y está escrito para Google App Engine.

Ejecutar localmente:

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

Servidor de inferencia Ejecutar

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

El servidor de inferencia no ejecuta Docker con el servidor web

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

Luego vaya a Localhost: 9080/documentos para usar la API

Ejecutar solo el servidor de audio

Solo el discurso de susurro a la parte del texto. Esto no es necesario ya que el servidor de inferencia equilibra automáticamente estas solicitudes

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1 

Pruebas

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

Estibador

Descargar servidor auto alojado

Descarga de imágenes directas de Docker

Docker Container .Har Descargar

Script de descarga de contenedores

 curl https://static.text-generator.io/static/resources/download_container.sh | bash

Después de descargar el contenedor con cualquier método, continúe con las instrucciones de Self Host disponible para Kubernetes, Docker

Implementación de Kubernetes

Ver https://text-generator.io/self-hosting

Asegúrese de que el Docker probado sea local/construido uno

Puede configurar Kubernetes localmente con el tipo si hace el desarrollo local de Kubernetes.

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

Docker de depuración

Ejecute un caparazón en el contenedor Docker

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ; 

nuevos modelos

Clon de Huggingface

 cd models
git clone https://huggingface.co/distilbert-base-uncased

mantenimiento

Ejecute un bot de discordia

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

compilar dependencias

Use UV PIP para compilar las dependencias

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt

uv pip sync questions/inference_server/model-requirements.txt

¡Recuerda estirar!

Estire su cuerpo cada 30 minutos con el comando decir ...

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '