text generator.io

Text-generator.io

Generator teks adalah sistem untuk;

• Menyeimbangkan beberapa model pada disk, RAM dan GPU
• Melayani AI API melalui bertukar di jaringan AI.
• Menggunakan pengayaan data (OCR, merangkak, analisis gambar untuk membuat rekayasa cepat lebih mudah)
• Menghasilkan pidato dan teks.
• Memahami teks dan ucapan (ucapan untuk teks dengan Whisper).

Generator teks dapat digunakan melalui API atau self -hosted.

Teks Generator Menyeimbangkan beberapa model 7b untuk menghasilkan teks.

Generator teks juga memperkaya tautan web dengan ringkasan teks.

Jika prompt berisi tautan ke gambar, mereka dikonversi ke teks menggunakan teks dan jika perlu OCR.

Tolong dukung kami!

Anda dapat mendukung kami dengan membeli token netw yang akan menjadi mata uang yang didukung dalam aplikasi.

Lihat juga aiart-generator.art dan netwrck.com

Segera hadir:

• Tambahkan dukungan untuk model dan modalitas lain seperti difusi stabil (dilakukan dalam https://github.com/netwrck/stable-diffusion-server)
• Latih classifier untuk mendeteksi model mana yang terbaik untuk digunakan untuk sepotong teks yang diberikan.
• Tambahkan dukungan/passthrough ke model lain seperti ChatGpt dan Palm.

API

Generator teks kompatibel dengan openai (tapi belum chatgpt API)

Ada juga lebih banyak kontrol pembuatan teks melalui API Text-Generator, ini termasuk;

• Berhenti awal berdasarkan probabilitas (fast autocomplete bagian teks berikutnya yang mungkin)
• Max_sentences (hanya menghasilkan sejumlah kalimat yang paling banyak) paling banyak)

Generator teks juga memiliki rute untuk berbicara ke teks dan pembuatan pidato.

Lihat https://text-generator.io/docs

Klon

 cd
mkdir code
cd code
git clone 20-questions

Pengaturan dev lokal

Env Vars:

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

Pengaturan Mesin Tanpa Docker

pasang persyaratan

sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils

pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

Menggunakan CUDA penting untuk mempercepat inferensi.

python -m nltk.downloader punkt

Siapkan beberapa variabel lingkungan dalam file ini (yang palsu baik -baik saja untuk dev lokal)

mv sellerinfo_faked.py sellerinfo.py

Model

Unduh model dari Huggingface.

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

Model generator teks belum open source.

Harap dukung kami untuk mendapatkan model

Unduh model dan letakkan di folder model.

Seharusnya ada tiga model yang ditempatkan:

Model/TG Model umum dapat diakses dengan model = model multibahasa/tgz model instruksi yang dapat diakses dengan model = model instruktur/tgc model obrolan dapat diakses dengan model = chat

Model = Best dikonfigurasi untuk mengetahui model mana yang akan digunakan berdasarkan prompt yang dinilai berdasarkan kebingungan masing -masing model.

Ini membutuhkan penyetelan untuk deviasi AVG dan STD dari kebingungan karena masing -masing model memiliki ide yang berbeda tentang seberapa rahasia itu. Model overtrained lebih percaya diri tentang semua teks yang ada dalam dataset (cenderung menghasilkan teks kata demi kata dari dataset).

Model dapat diarahkan untuk menggunakan variabel lingkungan, misalnya menggunakan model dari hugginface sebagai gantinya untuk pengujian

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

Model lain

Model embedding adalah model yang lebih kecil.

 cd models
git clone https://huggingface.co/distilbert-base-uncased

Model Whisper dan STT akan dimuat sesuai permintaan dan ditempatkan di cache permukaan pelukan.

Berlari

Jalankan UI

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

Atau:

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

Docker Local Run

Bangunan Docker

Generator teks dapat dijalankan secara lokal tanpa Docker.

Instal nvidia-docker2

sudo apt-get install nvidia-docker2

Generator teks dibangun dengan buildx

DOCKER_BUILDKIT=1 docker buildx build . -t questions

sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

Lari Server Mesin Aplikasi

Playground API Frontend tersedia di https://text-generator.io dan ditulis untuk mesin aplikasi Google.

Jalankan secara lokal:

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

Lari server inferensi

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

server inferensi menjalankan tidak ada buruh pelabuhan dengan server web

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

Kemudian Pergi ke Localhost: 9080/Dokumen untuk menggunakan API

Jalankan Server Audio Hanya

Hanya pidato bisikan untuk bagian teks. Ini tidak diperlukan karena server inferensi secara otomatis menyeimbangkan permintaan ini

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1 

Pengujian

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

Buruh pelabuhan

Unduh Self Hosted Server

Unduh gambar Direct Docker

Container docker. Unduh

Script Unduh Container

 curl https://static.text-generator.io/static/resources/download_container.sh | bash

Setelah mengunduh wadah dengan salah satu metode, lanjutkan untuk mengikuti instruksi host mandiri yang tersedia untuk Kubernetes, Docker

Penempatan Kubernetes

Lihat https://text-generator.io/self-hosting

Pastikan Docker yang diuji secara lokal/dibangun

Anda dapat mengatur Kubernetes secara lokal dengan jenis jika melakukan pengembangan Kubernetes lokal.

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

Debugging Docker

Jalankan cangkang di wadah Docker

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ; 

model baru

Klon dari Huggingface

 cd models
git clone https://huggingface.co/distilbert-base-uncased

pemeliharaan

Jalankan Bot Perselisihan

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

Kompilasi dependensi

Gunakan UV Pip untuk mengkompilasi dependensi

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt

uv pip sync questions/inference_server/model-requirements.txt

Ingatlah untuk meregangkan!

Regangkan tubuh Anda setiap 30 menit dengan perintah katakan ...

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '