text generator.io

text-generator.io

ตัวสร้างข้อความเป็นระบบสำหรับ;

• ปรับสมดุลหลายรุ่นบนดิสก์ RAM และ GPU
• ให้บริการ AI APIs ผ่านการแลกเปลี่ยนในเครือข่าย AI
• การใช้การเพิ่มประสิทธิภาพข้อมูล (OCR, การรวบรวมข้อมูล, การวิเคราะห์ภาพเพื่อให้วิศวกรรมที่รวดเร็วง่ายขึ้น)
• สร้างคำพูดและข้อความ
• ทำความเข้าใจกับข้อความและคำพูด (พูดกับข้อความด้วยเสียงกระซิบ)

ตัวสร้างข้อความสามารถใช้งานผ่าน API หรือโฮสต์ด้วยตนเอง

ตัวสร้างข้อความสร้างสมดุลระหว่างรุ่น 7B หลายรุ่นเพื่อสร้างข้อความ

ตัวสร้างข้อความยังเพิ่มประสิทธิภาพการเชื่อมโยงเว็บด้วยบทสรุปข้อความ

หากพรอมต์มีลิงก์ไปยังรูปภาพพวกเขาจะถูกแปลงเป็นข้อความโดยใช้คำบรรยายภาพและหากจำเป็น OCR

โปรดสนับสนุนเรา!

คุณสามารถสนับสนุนเราได้โดยการซื้อโทเค็น NetW ซึ่งจะเป็นสกุลเงินที่รองรับภายในแอพ

เช็คเอาท์ aiard-generator.art และ netwrck.com

เร็วๆ นี้:

• เพิ่มการสนับสนุนสำหรับรุ่นอื่น ๆ และรังสีเช่นการแพร่กระจายที่เสถียร (ทำใน https://github.com/netwrck/stable-diffusion-server)
• ฝึกอบรมตัวจําแนกเพื่อตรวจพบรุ่นใดที่ดีที่สุดที่จะใช้สำหรับชิ้นส่วนของข้อความที่กำหนด
• เพิ่มการสนับสนุน/passthroughs ในรุ่นอื่น ๆ เช่น CHATGPT และ PALM

API

ตัวสร้างข้อความนั้นเข้ากันได้กับ API กับ OpenAI (แต่ยังไม่ได้เป็น API CHATGPT)

นอกจากนี้ยังมีการควบคุมการสร้างข้อความผ่าน API ตัวสร้างข้อความซึ่งรวมถึง;

• การหยุดเร็วขึ้นอยู่กับความน่าจะเป็น (การเติมข้อความอัตโนมัติอย่างรวดเร็วส่วนที่เป็นไปได้ต่อไปของข้อความ)
• max_sentences (สร้างเพียงจำนวนประโยคที่กำหนดไว้เท่านั้น)

ตัวสร้างข้อความยังมีเส้นทางสำหรับการพูดไปยังการสร้างข้อความและการพูด

ดู https://text-generator.io/docs

โคลน

 cd
mkdir code
cd code
git clone 20-questions

การตั้งค่า dev ท้องถิ่น

env vars:

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

การตั้งค่าเครื่องโดยไม่มีนักเทียบท่า

ติดตั้งข้อกำหนด

sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils

pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

การใช้ CUDA เป็นสิ่งสำคัญในการเพิ่มความเร็วในการอนุมาน

python -m nltk.downloader punkt

ตั้งค่าตัวแปรสภาพแวดล้อมบางอย่างในไฟล์นี้ (ของปลอมไม่เป็นไรสำหรับ dev local)

mv sellerinfo_faked.py sellerinfo.py

แบบจำลอง

ดาวน์โหลดรุ่นจาก HuggingFace

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

รุ่นตัวสร้างข้อความยังไม่โอเพ่นซอร์ส

โปรดสนับสนุนเราเพื่อรับแบบจำลอง

ดาวน์โหลดรุ่นและวางไว้ในโฟลเดอร์โมเดล

ควรมีสามรุ่นที่วางไว้:

Models/TG โมเดลทั่วไปที่สามารถเข้าถึงได้ด้วย model = multilingual models/tgz แบบจำลองที่สามารถเข้าถึงได้ด้วย model = cruster models/tgc A โมเดลแชทที่สามารถเข้าถึงได้ด้วย model = chat

Model = Best ได้รับการกำหนดค่าให้คิดว่ารุ่นใดที่จะใช้ตามพรอมต์ที่ได้รับคะแนนตามความงุนงงของแต่ละรุ่น

สิ่งนี้ต้องการการปรับแต่งสำหรับการเบี่ยงเบน AVG และ STD ของความงุนงงเนื่องจากแต่ละรุ่นมีแนวคิดที่แตกต่างกันเกี่ยวกับความมั่นใจว่าเป็นอย่างไร โมเดลที่ได้รับการฝึกฝนนั้นมีความมั่นใจมากขึ้นเกี่ยวกับข้อความทั้งหมดที่อยู่ในชุดข้อมูล (มีแนวโน้มที่จะสร้างข้อความคำต่อคำจากชุดข้อมูล)

แบบจำลองสามารถชี้ไปที่การใช้ตัวแปรสภาพแวดล้อมเช่นการใช้แบบจำลองจาก Hugginface แทนการทดสอบ

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

รุ่นอื่น ๆ

โมเดลการฝังเป็นรุ่นที่เล็กกว่า

 cd models
git clone https://huggingface.co/distilbert-base-uncased

รุ่น Whisper และ STT จะถูกโหลดตามความต้องการและวางไว้ในแคช HuggingFace

วิ่ง

เรียกใช้ UI

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

หรือ

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

Run Local Docker Run

อาคารนักเทียบท่า

เครื่องกำเนิดข้อความสามารถวิ่งได้ในพื้นที่โดยไม่ต้องเทียบท่า

ติดตั้ง nvidia-docker2

sudo apt-get install nvidia-docker2

ตัวสร้างข้อความถูกสร้างขึ้นด้วย buildx

DOCKER_BUILDKIT=1 docker buildx build . -t questions

sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

เซิร์ฟเวอร์แอพเอ็นจิ้นรัน

สนามเด็กเล่น Frontend API มีให้บริการที่ https://text-generator.io และเขียนขึ้นสำหรับ Google App Engine

เรียกใช้ในพื้นที่:

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

เซิร์ฟเวอร์การอนุมานการเรียกใช้

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

เซิร์ฟเวอร์อนุมานเรียกใช้ไม่มีนักเทียบท่ากับเว็บเซิร์ฟเวอร์

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

จากนั้นไปที่ LocalHost: 9080/เอกสารเพื่อใช้ API

เรียกใช้เซิร์ฟเวอร์เสียงเท่านั้น

เพียงแค่คำพูดกระซิบไปยังส่วนข้อความ สิ่งนี้ไม่จำเป็นเนื่องจากเซิร์ฟเวอร์การอนุมานจะทำให้คำขอเหล่านี้สมดุลโดยอัตโนมัติ

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1 

การทดสอบ

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

นักเทียบท่า

ดาวน์โหลดเซิร์ฟเวอร์โฮสต์ด้วยตนเอง

ดาวน์โหลดภาพ DOCKER DOACKER

Docker Container .tar ดาวน์โหลด

สคริปต์ดาวน์โหลดคอนเทนเนอร์

 curl https://static.text-generator.io/static/resources/download_container.sh | bash

หลังจากดาวน์โหลดคอนเทนเนอร์ด้วยวิธีใดวิธีหนึ่งให้ทำตามคำแนะนำโฮสต์ด้วยตนเองที่มีให้สำหรับ Kubernetes, Docker

การปรับใช้ Kubernetes

ดู https://text-generator.io/self-hosting

ตรวจสอบให้แน่ใจว่านักเทียบท่าที่ผ่านการทดสอบในพื้นที่/สร้าง

คุณสามารถตั้งค่า Kubernetes ในพื้นที่ด้วยชนิดหากทำการพัฒนา Kubernetes ในท้องถิ่น

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

การดีบักนักเทียบท่า

เรียกใช้เชลล์ในคอนเทนเนอร์ Docker

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ; 

รุ่นใหม่

โคลนจาก HuggingFace

 cd models
git clone https://huggingface.co/distilbert-base-uncased

การบำรุงรักษา

เรียกใช้บอท Discord

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

รวบรวมการพึ่งพา

ใช้ UV PIP เพื่อรวบรวมการพึ่งพา

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt

uv pip sync questions/inference_server/model-requirements.txt

อย่าลืมยืด!

ยืดร่างกายของคุณทุก ๆ 30 นาทีด้วยคำสั่งพูด ...

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '