text generator.io

text-generator.io

文本生成器是一个系统；

• 在磁盘，RAM和GPU上平衡多个型号
• 通过交换AI网络服务AI API。
• 使用数据丰富（OCR，爬行，图像分析，使及时的工程更容易）
• 产生语音和文字。
• 了解文本和语音（用耳语对文字的语音）。

可以通过API或自托管使用文本生成器。

文本生成器平衡了多个7B模型以生成文本。

文本生成器还用文本摘要丰富了Web链接。

如果提示包含指向图像的链接，则使用字幕和必要的OCR将其转换为文本。

请支持我们！

您可以通过购买将是应用程序中支持的货币来支持我们。

还要结帐aiart-generator.art和netwrck.com

即将推出：

• 添加对其他模型和模态的支持，例如稳定扩散（在https://github.com/netwrck/stable-diffusion-server中完成）
• 训练分类器首先检测哪种模型最适合给定文本。
• 将支持/传递添加到其他型号，例如Chatgpt和Palm。

API

文本生成器与OpenAI兼容API（但尚未Chatgpt API）

通过文本生成API，还可以控制文本生成，其中包括：

• 根据概率提早停止（快速自动完成文本的下一个可能部分）
• max_sentences（最多只能生成一定数量的句子）

文本生成器还具有语音路线，可以进行文本和语音生成。

请参阅https://text-generator.io/docs

克隆

 cd
mkdir code
cd code
git clone 20-questions

本地开发设置

env vars：

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

没有Docker的机器设置

安装要求

sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils

pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

使用CUDA对于加快推断很重要。

python -m nltk.downloader punkt

在此文件中设置了一些环境变量（假货是可以的，对于本地开发是可以的）

mv sellerinfo_faked.py sellerinfo.py

型号

从HuggingFace下载型号。

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

文本生成器模型尚未开源。

请支持我们获取模型

下载型号并将它们放入模型文件夹中。

应该放置三个型号：

模型/TG可访问的通用模型=多语言模型/TGZ A指示模型可访问模型=指示模型/TGC A CHAT模型可访问Model = CHAT

模型=最佳的配置是根据每个模型的困惑，根据提示得分来确定要使用的模型。

这需要调整困惑性的AVG和STD偏差，因为每个模型都对它的自信有不同的想法。过度训练的模型对数据集中的所有文本更有信心（倾向于从数据集中生成文本）。

模型可以指向使用环境变量，例如，使用HugginFace中的模型代替进行测试

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

其他型号

嵌入模型是一个较小的模型。

 cd models
git clone https://huggingface.co/distilbert-base-uncased

耳语和STT型号将按需加载并放置在拥抱面缓存中。

跑步

运行UI

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

或者：

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

当地的Docker Run

Docker大楼

文本生成器可以在没有Docker的情况下在本地运行。

安装nvidia-docker2

sudo apt-get install nvidia-docker2

文本生成器是用buildx构建的

DOCKER_BUILDKIT=1 docker buildx build . -t questions

sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

App Engine服务器运行

前端API游乐场可从https://text-generator.io获得，并为Google App Engine编写。

在本地运行：

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

推理服务器运行

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

推理服务器不使用Web服务器运行Docker

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

然后转到Localhost：9080/Docs使用API

仅运行音频服务器

只是对文字部分的耳语演讲。这不是必需的，因为推理服务器会自动平衡这些请求

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1 

测试

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

Docker

下载自托管服务器

直接Docker图像下载

Docker容器.tar下载

容器下载脚本

 curl https://static.text-generator.io/static/resources/download_container.sh | bash

使用这两种方法下载容器后，继续遵循可用于Kubernetes的自我主机说明，Docker

Kubernetes部署

请参阅https://text-generator.io/self-hosting

确保在本地测试的Docker/建造一个

如果进行本地的Kubernetes开发，您可以在本地设置Kubernetes。

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

调试Docker

在Docker容器中运行外壳

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ; 

新型号

克隆来自拥抱面

 cd models
git clone https://huggingface.co/distilbert-base-uncased

维护

运行DISCORD机器人

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

编译依赖项

使用UV PIP来编译依赖关系

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt

uv pip sync questions/inference_server/model-requirements.txt

记住要伸展！

用Say命令每30分钟伸展每30分钟...

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '