text generator.io

Text-Generator.io

Текстовый генератор - это система;

• Балансировать несколько моделей на диске, оперативной памяти и графическом процессоре
• Обслуживание API -интерфейсов AIS через обмен в сетях ИИ.
• Использование обогащения данных (OCR, ползание, анализ изображений, чтобы упростить инженерию)
• Генерируя речь и текст.
• Понимание текста и речи (речь к тексту с шепотом).

Текстовый генератор можно использовать с помощью API или самостоятельного размещения.

Генератор текста уравновешивает несколько моделей 7b для генерации текста.

Текстовый генератор также обогащает веб -ссылки с резюме текста.

Если подсказка содержит ссылки на изображения, они преобразуются в текст с использованием подписания и при необходимости OCR.

Пожалуйста, поддержите нас!

Вы можете поддержать нас, купив токены NetW, которые будут поддерживаемой валютой в приложении.

Также проверка Aiart-Generator.art и Netwrck.com

Вскоре:

• Добавьте поддержку для других моделей и методов, таких как стабильная диффузия (сделано в https://github.com/netwrck/stable-diffusion-server)
• Тренируйте классификатор, чтобы сначала определить, какая модель лучше всего использовать для данного куска текста.
• Добавьте поддержку/проходы в другие модели, такие как CHATGPT и PALM.

API

Текстовый генератор совместим с OpenAI (но еще не API CHATGPT)

Также есть больше управления генерацией текста через API текста-генератора, это включает в себя;

• Ранняя остановка на основе вероятности (быстрое автозаполнение следующих вероятных частей текста)
• max_sentences (генерируйте только заданное количество предложений)

Текстовый генератор также имеет маршруты для речи к текстовым и речевым поколению.

Смотрите https://text-generator.io/docs

Клон

 cd
mkdir code
cd code
git clone 20-questions

Локальная настройка разработки

Env vars:

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

Настройка машины без докера

установить требования

sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils

pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

Использование CUDA важно для ускорения вывода.

python -m nltk.downloader punkt

Установите некоторые переменные среды в этом файле (поддельные для Local Dev в порядке)

mv sellerinfo_faked.py sellerinfo.py

Модели

Скачать модели с Huggingface.

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

Модели текстовых генераторов еще не открыты.

Пожалуйста, поддержите нас, чтобы получить модели

Загрузите модели и поместите их в папку моделей.

должно быть три модели:

Модели/TG Общая модель, доступная с моделью = многоязычные модели/TGZ.

Model = Best настроен, чтобы выяснить, какую модель использовать на основе оценки подсказки на основе недоумения каждой модели.

Это требует настройки для AVG и STD отклонения недоумения, так как у каждой модели есть разные представления о том, насколько это конфиденто. Спроектированные модели более уверены в том, что весь текст находится в наборе данных (имеет тенденцию генерировать текстовый дослов из набора данных).

Модели могут быть указаны на использование переменных среды, например, с использованием моделей от Hugginface вместо этого для тестирования

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

Другие модели

Модель встраивания - меньшая модель.

 cd models
git clone https://huggingface.co/distilbert-base-uncased

Модели Whisper и STT будут загружены по требованию и помещены в кеш HuggingFace.

Бегать

запустить пользовательский интерфейс

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

В качестве альтернативы:

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

местный Docker Run

Docker Building

Текстовый генератор может работать локально без докера.

Установите nvidia-docker2

sudo apt-get install nvidia-docker2

Текстовый генератор построен с BuildX

DOCKER_BUILDKIT=1 docker buildx build . -t questions

sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

Запуск сервера двигателя приложений

Frontend API Playground доступна по адресу https://text-generator.io и написана для Google App Engine.

Бежать на местном уровне:

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

Сервер с выводом запуска

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

Сервер вывода запустить без Docker с веб -сервером

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

Затем перейдите в Localhost: 9080/DOCS, чтобы использовать API

Запустите только аудио -сервер

Просто шепота речи к текстовой части. Это не требуется, так как сервер вывода автоматически уравновешивает эти запросы

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1 

Тестирование

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

Докер

Скачать самостоятельный сервер

Скачать прямое изображение Docker

Docker Container .tar скачать

Скачать контейнер

 curl https://static.text-generator.io/static/resources/download_container.sh | bash

После загрузки контейнера с любым методом, приступите к следовать инструкциям по самостоятельному ходу, доступным для Kubernetes, Docker

Развертывание Kubernetes

См

Обеспечить протестированный Docker локально/построенный один

Вы можете настроить Kubernetes на местном уровне, если вы делаете локальные разработки Kubernetes.

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

Отладка Docker

Запустите оболочку в контейнере Docker

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ; 

Новые модели

Клон от Huggingface

 cd models
git clone https://huggingface.co/distilbert-base-uncased

мнение

запустить бот.

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

Скомпилируйте зависимости

Используйте UV PIP для компиляции зависимостей

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt

uv pip sync questions/inference_server/model-requirements.txt

Не забудьте растягиваться!

Растягивайте свое тело каждые 30 минут с помощью команды SAIT ...

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '