text generator.io

text-generator.io

テキストジェネレーターはシステムです。

• ディスク、RAM、GPU上の複数のモデルのバランス
• AIネットワークをスワッピングしてAI APIを提供します。
• データ濃縮（OCR、クロール、画像分析のために迅速なエンジニアリングを容易にする）の使用）
• スピーチとテキストを生成します。
• テキストとスピーチを理解する（ささやきのテキストへのスピーチ）。

テキストジェネレーターは、APIまたはセルフホストを介して使用できます。

テキストジェネレーターは複数の7Bモデルのバランスを取り、テキストを生成します。

テキストジェネレーターは、テキストの要約でWebリンクを濃縮します。

プロンプトに画像へのリンクが含まれている場合、キャプションを使用してテキストに変換され、必要に応じてOCRがあります。

サポートしてください！

アプリ内でサポートされている通貨となるNetwトークンを購入することで、私たちをサポートできます。

また、aiart-generator.artおよびnetwrck.comをチェックアウトします

近日公開：

• 安定した拡散などの他のモデルやモダリティのサポートを追加します（https://github.com/netwrck/stable-diffusion-serverで行われます）
• 分類器をトレーニングして、特定のテキストに使用するのに最適なモデルを最初に検出します。
• ChatGptやPalmなどの他のモデルにサポート/パススルーを追加します。

API

テキストジェネレーターはOpenaiとAPI互換性があります（ただし、ChatGPT APIではありません）

また、テキストジェネレーターAPIを介してテキスト生成のより多くの制御があります。これには次のものが含まれます。

• 確率に基づいて早期に停止する（高速オートコンプリート次のテキストの可能性のある部分が
• max_sentences（せいぜいセット数の文のみを生成します）

テキストジェネレーターには、テキストや音声生成への音声もあります。

https://text-generator.io/docsを参照してください

クローン

 cd
mkdir code
cd code
git clone 20-questions

ローカル開発のセットアップ

Env vars：

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

Dockerなしのマシンのセットアップ

要件をインストールします

sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils

pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

CUDAを使用することは、推論を高速化するために重要です。

python -m nltk.downloader punkt

このファイルにいくつかの環境変数をセットアップします（偽のものはローカル開発では問題ありません）

mv sellerinfo_faked.py sellerinfo.py

モデル

Huggingfaceからモデルをダウンロードします。

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

テキストジェネレーターモデルはまだオープンソースではありません。

モデルを取得するために私たちをサポートしてください

モデルをダウンロードして、モデルフォルダーに配置します。

3つのモデルを配置する必要があります。

モデル/TGモデルでアクセス可能な一般的なモデル=多言語モデル/TGZモデルでアクセス可能な指示モデル=指示モデル/TGCモデル=チャットでアクセス可能なチャットモデル

Model = Bestは、各モデルの困惑に基づいてスコアリングされるプロンプトに基づいて使用するモデルを把握するように構成されています。

これには、各モデルには自信があるかについて異なるアイデアがあるため、AVGおよびSTD偏差の調整が必要です。訓練されたモデルは、すべてのテキストがデータセットにあることについてより自信を持っています（データセットからテキストの逐語を生成する傾向があります）。

モデルは、環境変数を使用することを指摘できます。たとえば、テストのために代わりにHugginfaceのモデルを使用する

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

他のモデル

埋め込みモデルは小さなモデルです。

 cd models
git clone https://huggingface.co/distilbert-base-uncased

WhisperモデルとSTTモデルはオンデマンドでロードされ、ハギングフェイスキャッシュに配置されます。

走る

UIを実行します

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

または、

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

ローカルドッカーラン

Docker Building

テキストジェネレーターは、Dockerなしでローカルに実行できます。

nvidia-docker2をインストールします

sudo apt-get install nvidia-docker2

テキストジェネレーターはBuildXで構築されています

DOCKER_BUILDKIT=1 docker buildx build . -t questions

sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

アプリエンジンサーバーの実行

FrontEnd APIプレイグラウンドは、https://text-generator.ioで入手でき、Google App Engine向けに書かれています。

ローカルで実行：

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

推論サーバーの実行

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

Inference Server Webサーバーを使用してDockerを実行しません

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

次に、APIを使用するためにLocalHost：9080/docsに移動します

オーディオサーバーのみを実行します

ささやきのスピーチだけでテキスト部分。推論サーバーはこれらの要求を自動的にバランスさせるため、これは必要ありません

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1 

テスト

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

Docker

セルフホストサーバーをダウンロードします

直接Docker画像のダウンロード

Dockerコンテナ.tarダウンロード

コンテナダウンロードスクリプト

 curl https://static.text-generator.io/static/resources/download_container.sh | bash

いずれかの方法でコンテナをダウンロードした後、Kubernetesで利用可能なセルフホストの指示に従って、Docker

Kubernetesの展開

https://text-generator.io/ self-hostingを参照してください

テスト済みのDockerがローカル/構築されたものを確認してください

地元のKubernetes開発を行う場合、Kubernetesを地元で地元でセットアップできます。

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

Dockerのデバッグ

Dockerコンテナでシェルを実行します

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ; 

新しいモデル

Huggingfaceからのクローン

 cd models
git clone https://huggingface.co/distilbert-base-uncased

維持

不一致のボットを実行します

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

依存関係をコンパイルします

UV PIPを使用して、依存関係をコンパイルします

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt

uv pip sync questions/inference_server/model-requirements.txt

ストレッチすることを忘れないでください！

Say Commandで30分ごとに体を伸ばしてください...

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '