text generator.io

text-generator.io

文本生成器是一個系統；

• 在磁盤，RAM和GPU上平衡多個型號
• 通過交換AI網絡服務AI API。
• 使用數據豐富（OCR，爬行，圖像分析，使及時的工程更容易）
• 產生語音和文字。
• 了解文本和語音（用耳語對文字的語音）。

可以通過API或自託管使用文本生成器。

文本生成器平衡了多個7B模型以生成文本。

文本生成器還用文本摘要豐富了Web鏈接。

如果提示包含指向圖像的鏈接，則使用字幕和必要的OCR將其轉換為文本。

請支持我們！

您可以通過購買將是應用程序中支持的貨幣來支持我們。

還要結帳aiart-generator.art和netwrck.com

即將推出：

• 添加對其他模型和模態的支持，例如穩定擴散（在https://github.com/netwrck/stable-diffusion-server中完成）
• 訓練分類器首先檢測哪種模型最適合給定文本。
• 將支持/傳遞添加到其他型號，例如Chatgpt和Palm。

API

文本生成器與OpenAI兼容API（但尚未Chatgpt API）

通過文本生成API，還可以控製文本生成，其中包括：

• 根據概率提早停止（快速自動完成文本的下一個可能部分）
• max_sentences（最多只能生成一定數量的句子）

文本生成器還具有語音路線，可以進行文本和語音生成。

請參閱https://text-generator.io/docs

複製

 cd
mkdir code
cd code
git clone 20-questions

本地開發設置

env vars：

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

沒有Docker的機器設置

安裝要求

sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils

pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

使用CUDA對於加快推斷很重要。

python -m nltk.downloader punkt

在此文件中設置了一些環境變量（假貨是可以的，對於本地開發是可以的）

mv sellerinfo_faked.py sellerinfo.py

型號

從HuggingFace下載型號。

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

文本生成器模型尚未開源。

請支持我們獲取模型

下載型號並將它們放入模型文件夾中。

應該放置三個型號：

模型/TG可訪問的通用模型=多語言模型/TGZ A指示模型可訪問模型=指示模型/TGC A CHAT模型可訪問Model = CHAT

模型=最佳的配置是根據每個模型的困惑，根據提示得分來確定要使用的模型。

這需要調整困惑性的AVG和STD偏差，因為每個模型都對它的自信有不同的想法。過度訓練的模型對數據集中的所有文本更有信心（傾向於從數據集中生成文本）。

模型可以指向使用環境變量，例如，使用HugginFace中的模型代替進行測試

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

其他型號

嵌入模型是一個較小的模型。

 cd models
git clone https://huggingface.co/distilbert-base-uncased

耳語和STT型號將按需加載並放置在擁抱面緩存中。

跑步

運行UI

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

或者：

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

當地的Docker Run

Docker大樓

文本生成器可以在沒有Docker的情況下在本地運行。

安裝nvidia-docker2

sudo apt-get install nvidia-docker2

文本生成器是用buildx構建的

DOCKER_BUILDKIT=1 docker buildx build . -t questions

sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

App Engine服務器運行

前端API遊樂場可從https://text-generator.io獲得，並為Google App Engine編寫。

在本地運行：

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

推理服務器運行

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

推理服務器不使用Web服務器運行Docker

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

然後轉到Localhost：9080/Docs使用API

僅運行音頻服務器

只是對文字部分的耳語演講。這不是必需的，因為推理服務器會自動平衡這些請求

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1 

測試

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

Docker

下載自託管服務器

直接Docker圖像下載

Docker容器.tar下載

容器下載腳本

 curl https://static.text-generator.io/static/resources/download_container.sh | bash

使用這兩種方法下載容器後，繼續遵循可用於Kubernetes的自我主機說明，Docker

Kubernetes部署

請參閱https://text-generator.io/self-hosting

確保在本地測試的Docker/建造一個

如果進行本地的Kubernetes開發，您可以在本地設置Kubernetes。

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

調試Docker

在Docker容器中運行外殼

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ; 

新型號

克隆來自擁抱面

 cd models
git clone https://huggingface.co/distilbert-base-uncased

維護

運行DISCORD機器人

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

編譯依賴項

使用UV PIP來編譯依賴關係

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt

uv pip sync questions/inference_server/model-requirements.txt

記住要伸展！

用Say命令每30分鐘伸展每30分鐘...

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '