text generator.io

Text-Generator.io

Textgenerator ist ein System für;

• Ausgleich mehrerer Modelle auf der Festplatte, RAM und GPU ausbalancieren
• AI -APIs durch Austausch in KI -Netzwerken.
• Verwenden der Datenanreicherung (OCR, Krabbeln, Bildanalyse, um die schnelle Engineering zu vereinfachen).
• Sprache und Text erzeugen.
• Text und Sprache verstehen (Sprache zum Text mit Flüstern).

Textgenerator kann über API oder selbsthostet verwendet werden.

Textgenerator balanciert mehrere 7B -Modelle, um Text zu generieren.

Textgenerator bereichert auch Weblinks mit Textzusammenfassungen.

Wenn eine Eingabeaufforderung Links zu Bildern enthält, werden sie unter Verwendung von Bildunterschriften und gegebenenfalls OCR in Text konvertiert.

Bitte unterstützen Sie uns!

Sie können uns unterstützen, indem Sie NetW -Token kaufen, die eine unterstützte Währung innerhalb der App sein.

Auch Checkout aiart-generator.art und netwrck.com

Bald kommen:

• Fügen Sie Unterstützung für andere Modelle und Modalitäten wie eine stabile Diffusion hinzu (erledigt unter https://github.com/netwrck/stable-diffusion-server)
• Trainieren Sie einen Klassifikator, um zuerst zu erkennen, welches Modell für ein bestimmtes Textstück am besten verwendet werden kann.
• Fügen Sie anderen Modellen wie ChatGPT und Palm Support/Durchgangs -Throughs hinzu.

API

Textgenerator ist API -kompatibel mit OpenAI (aber noch nicht der Chatgpt -API)

Es gibt auch eine stärkere Kontrolle über die Textgenerierung über die Text-Generator-API, darunter;

• Frühes Stoppen basierend auf der Wahrscheinlichkeit (schnelle automatische Vervollständigung Die nächsten wahrscheinlichen Textteile)
• max_sences (generieren Sie höchstens eine festgelegte Anzahl von Sätzen)

Textgenerator hat auch Routen für die Sprache zu Text und Sprachgenerierung.

Siehe https://text-generator.io/docs

Klon

 cd
mkdir code
cd code
git clone 20-questions

Lokales Entwickler -Setup

Env Vars:

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

Maschinenaufbau ohne Docker

Anforderungen installieren

sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils

pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

Die Verwendung von CUDA ist wichtig, um die Schlussfolgerung zu beschleunigen.

python -m nltk.downloader punkt

Richten Sie einige Umgebungsvariablen in dieser Datei ein (gefälschte sind in Ordnung für lokale Entwickler)

mv sellerinfo_faked.py sellerinfo.py

Modelle

Laden Sie Modelle von Suggingface herunter.

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

Textgeneratormodelle sind noch nicht Open Source.

Bitte unterstützen Sie uns, um die Modelle zu erhalten

Laden Sie Modelle herunter und platzieren Sie sie im Modelsordner.

Es sollten drei Modelle platziert sein:

Modelle/TG Ein allgemeines Modell, das mit Modell = mehrsprachige Modelle/TGZ ein Anweisungsmodell zugänglich ist, das mit Modell = Models anweisen/TGC Ein Chat -Modell mit Modell = CHAT zugänglich ist

Modell = Best ist konfiguriert, um herauszufinden, welches Modell auf der Grundlage der Eingabeaufforderung basierend auf Verwirrung jedes Modells verwendet werden soll.

Dies muss für die AVG- und STD -Abweichung der Verwirrung abgestimmt werden, da jedes Modell unterschiedliche Vorstellungen darüber hat, wie vertraulich es ist. Übertriebene Modelle sind sicherer, dass der gesamte Text im Datensatz befindet (in der Regel Textverbatim aus dem Datensatz).

Modelle können auf die Verwendung von Umgebungsvariablen hingewiesen werden, z. B. Modelle von Hugginface stattdessen zum Testen

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

Andere Modelle

Das Einbettungsmodell ist ein kleineres Modell.

 cd models
git clone https://huggingface.co/distilbert-base-uncased

Whisper- und STT -Modelle werden auf Bedarf geladen und in den Harmgingface -Cache gelegt.

Laufen

Führen Sie die Benutzeroberfläche aus

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

Alternativ:

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

Lokale Docker -Lauf

Docker -Gebäude

Textgenerator kann lokal ohne Docker ausgeführt werden.

Installieren Sie Nvidia-Docker2

sudo apt-get install nvidia-docker2

Textgenerator ist mit Buildx erstellt

DOCKER_BUILDKIT=1 docker buildx build . -t questions

sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

App Engine Server Auslauf

Der Frontend-API-Spielplatz ist unter https://text-generator.io verfügbar und für die Google App Engine geschrieben.

Vor Ort laufen:

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

Inferenzserver

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

Inference Server Führen Sie keinen Docker mit Webserver aus

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

Gehen Sie dann zu Localhost: 9080/Docs, um die API zu verwenden

Führen Sie nur Audioserver aus

Nur die Flüsterrede zum Textteil. Dies ist nicht erforderlich, da der Inferenzserver diese Anforderungen automatisch ausgleichen

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1 

Testen

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

Docker

Download Self Hosted Server

Direkter Docker -Bild -Download

Docker Container .Tar Download

Container -Download -Skript

 curl https://static.text-generator.io/static/resources/download_container.sh | bash

Nachdem Sie den Container mit einer beiden Methode heruntergeladen haben, befolgen Sie die für Kubernetes verfügbaren Self -Host -Anweisungen, Docker

Kubernetes -Bereitstellung

Siehe https://text-generator.io/self-hosting

Stellen Sie sicher, dass der getestete Docker lokal/gebaut hat

Sie können Kubernetes lokal mit Art einrichten, wenn Sie die lokale Kubernetes -Entwicklung durchführen.

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

Debugging Docker

Führen Sie eine Shell im Docker -Container aus

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ; 

Neue Modelle

Klon aus dem Umarmungen

 cd models
git clone https://huggingface.co/distilbert-base-uncased

Wartung

Führen Sie einen Discord Bot durch

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

Abhängigkeiten kompilieren

Verwenden Sie UV PIP, um die Abhängigkeiten zu kompilieren

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt

uv pip sync questions/inference_server/model-requirements.txt

Denken Sie daran zu dehnen!

Strecken Sie Ihren Körper alle 30 Minuten mit dem Say -Befehl ...

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '