text generator.io

Text-generator.io

O gerador de texto é um sistema para;

• Equilibrando vários modelos no disco, RAM e GPU
• Servindo APIs de IA por troca em redes de IA.
• Usando o enriquecimento de dados (OCR, rastreamento, análise de imagem para facilitar a engenharia imediata)
• Gerando fala e texto.
• Entendendo o texto e a fala (fala para texto com sussurro).

O gerador de texto pode ser usado via API ou auto -hospedado.

O gerador de texto equilibra vários modelos 7b para gerar texto.

O gerador de texto também enriquece links da Web com resumos de texto.

Se um prompt contiver links para imagens, ele será convertido em texto usando a legenda e, se necessário, OCR.

Por favor, nos apoie!

Você pode nos apoiar comprando tokens de rede que serão uma moeda suportada no aplicativo.

Também checkout aiart-generator.art e netwrck.com

Em breve:

• Adicione suporte a outros modelos e modalidades, como difusão estável (feita em https://github.com/netwrck/stable-diffusion-sever)
• Treine um classificador para detectar primeiro qual modelo é melhor usar para uma determinada peça de texto.
• Adicione suporte/repasse a outros modelos como ChatGPT e Palm.

API

O gerador de texto é compatível com a API com o OpenAI (mas ainda não a API do ChatGPT)

Também há mais controle da geração de texto através da API geradora de texto, isso inclui;

• Parada antecipada com base na probabilidade (FAST AUTOCELETE As próximas partes prováveis do texto)
• max_sentences (gerar apenas um número definido de frases no máximo)

O gerador de texto também possui rotas para a fala para o texto e a geração de fala.

Consulte https://text-generator.io/docs

Clone

 cd
mkdir code
cd code
git clone 20-questions

Configuração do desenvolvedor local

Env vars:

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

configuração da máquina sem docker

Instale requisitos

sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils

pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

Usar Cuda é importante para acelerar a inferência.

python -m nltk.downloader punkt

Configure algumas variáveis de ambiente neste arquivo (as falsas são boas para o Dev Local)

mv sellerinfo_faked.py sellerinfo.py

Modelos

Download modelos do huggingface.

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

Os modelos geradores de texto ainda não estão de código aberto.

Apoie -nos para obter os modelos

Faça o download dos modelos e coloque -os na pasta Modelos.

Deve haver três modelos colocados:

modelos/tg um modelo geral acessível com modelo = modelos multilíngues/tgz Um modelo de instrução acessível com modelo = modelos de instrução/tgc um modelo de bate -papo acessível com modelo = bate -papo

Model = Best está configurado para descobrir qual modelo usar com base no prompt que está sendo pontuado com base na perplexidade de cada modelo.

Isso precisa ajustar o desvio AVG e DST da perplexidade, pois cada modelo tem idéias diferentes sobre o quão confiante é. Os modelos com excesso de treinamento estão mais confiantes sobre todo o texto estar no conjunto de dados (tendem a gerar texto literalmente no conjunto de dados).

Os modelos podem ser apontados para usar variáveis de ambiente, por exemplo, usando modelos do Hugginface para testar

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

Outros modelos

O modelo de incorporação é um modelo menor.

 cd models
git clone https://huggingface.co/distilbert-base-uncased

Os modelos Whisper e STT serão carregados sob demanda e colocados no cache Huggingface.

Correr

Execute a interface do usuário

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

Alternativamente:

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

Docker local

Docker Building

O gerador de texto pode ser executado localmente sem o Docker.

Instale o NVIDIA-DOCKER2

sudo apt-get install nvidia-docker2

O gerador de texto é construído com BuildX

DOCKER_BUILDKIT=1 docker buildx build . -t questions

sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

App Engine Server Run

O playground da API front-end está disponível em https://text-generator.io e escrito para o Google App Engine.

Executar localmente:

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

O servidor de inferência é executado

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

Inference Server não execute o Docker com servidor web

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

Em seguida, vá para localhost: 9080/docs para usar a API

Execute apenas o servidor de áudio

Apenas o discurso do sussurro para o texto parte. Isso não é necessário, pois o servidor de inferência equilibra automaticamente essas solicitações

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1 

Teste

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

Docker

Baixe o servidor auto -hospedado

Download de imagem direta do docker

Docker contêiner. Download

Script de download de contêineres

 curl https://static.text-generator.io/static/resources/download_container.sh | bash

Depois de baixar o contêiner com qualquer um dos métodos, prossiga para seguir as instruções de auto -host disponível para Kubernetes, Docker

Implantação de Kubernetes

Veja https://text-generator.io/self-hosting

Verifique se o docker testado localmente/construiu um

Você pode configurar o Kubernetes localmente com a gentileza se estiver fazendo o desenvolvimento local do Kubernetes.

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

Debugando Docker

Execute uma concha no contêiner do Docker

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ; 

Novos modelos

clone de huggingface

 cd models
git clone https://huggingface.co/distilbert-base-uncased

manutenção

Execute um Bot Discord

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

compilar dependências

Use UV PIP para compilar as dependências

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt

uv pip sync questions/inference_server/model-requirements.txt

Lembre -se de esticar!

Estique seu corpo a cada 30 minutos com o comando Say ...

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '