text generator.io

Text-Generator.io

텍스트 생성기는;

• 디스크, RAM 및 GPU의 여러 모델 균형
• AI 네트워크에서 스왑을 통해 AI API를 제공합니다.
• 데이터 강화 (OCR, 크롤링, 이미지 분석을 사용하여 신속한 엔지니어링을보다 쉽게 만들 수 있음)
• 연설과 텍스트 생성.
• 텍스트와 연설 이해 (속삭임으로 텍스트로 연설).

텍스트 생성기는 API 또는 자체 호스팅을 통해 사용할 수 있습니다.

텍스트 생성기는 여러 7b 모델을 균형을 잡아 텍스트를 생성합니다.

텍스트 생성기는 또한 텍스트 요약으로 웹 링크를 풍부하게합니다.

프롬프트에 이미지에 대한 링크가 포함 된 경우 캡션과 필요한 경우 OCR을 사용하여 텍스트로 변환됩니다.

우리를 지원 해주세요!

앱 내에서 지원되는 통화가 될 Netw 토큰을 구매하여 우리를 지원할 수 있습니다.

또한 Aiart-Generator.art 및 netwrck.com을 확인하십시오

곧 출시 :

• 안정적인 확산과 같은 다른 모델 및 양식에 대한 지원 (https://github.com/netwrck/stable-diffusion-server에서 수행)
• 주어진 텍스트에 사용하기에 가장 적합한 모델을 먼저 감지하도록 분류기를 교육하십시오.
• Chatgpt 및 Palm과 같은 다른 모델에 지원/통과를 추가하십시오.

API

텍스트 생성기는 API가 OpenAI와 호환됩니다 (아직 chatgpt API는 아님)

텍스트 제너레이터 API를 통한 텍스트 생성에 대한 더 많은 제어가 있습니다. 여기에는 포함됩니다.

• 확률을 기준으로 조기 정지 (빠른 자동 완성 텍스트 부분)
• max_sentences (최대 세트 수의 문장 만 생성)

텍스트 생성기에는 또한 텍스트 및 음성 생성에 대한 음성 경로가 있습니다.

https://text-generator.io/docs를 참조하십시오

클론

 cd
mkdir code
cd code
git clone 20-questions

로컬 데브 설정

Env vars :

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

Docker가없는 기계 설정

요구 사항을 설치하십시오

sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils

pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

CUDA를 사용하는 것은 추론 속도를 높이려면 중요합니다.

python -m nltk.downloader punkt

이 파일에서 일부 환경 변수를 설정합니다 (가짜는 로컬 개발에 대해서는 가짜 변수)

mv sellerinfo_faked.py sellerinfo.py

모델

Huggingface에서 모델을 다운로드하십시오.

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

텍스트 생성기 모델은 아직 오픈 소스가 아닙니다.

모델을 얻기 위해 우리를 지원하십시오

모델을 다운로드하고 모델 폴더에 배치하십시오.

세 가지 모델이 있어야합니다.

모델/tg 모델 = 다국어 모델/tgz로 액세스 할 수있는 일반 모델 = Model = Instruct Models/TGC로 액세스 할 수있는 지시자 모델 = Model = Chat에서 액세스 할 수있는 채팅 모델

Model = BEST는 각 모델의 당혹감을 기반으로 마찰을받는 프롬프트를 기반으로 사용할 모델을 파악하도록 구성됩니다.

이는 각 모델마다 자신감에 대한 다른 아이디어를 가지고 있기 때문에 당황의 AVG 및 STD 편차에 대한 튜닝이 필요합니다. 과도한 모델은 데이터 세트에있는 모든 텍스트에 대해 더 자신감이 있습니다 (데이터 세트에서 텍스트 구두를 생성하는 경향이 있음).

모델은 환경 변수를 사용하는 것을 가리킬 수 있습니다. 예를 들어 테스트를 위해 Hugginf

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

다른 모델

임베딩 모델은 더 작은 모델입니다.

 cd models
git clone https://huggingface.co/distilbert-base-uncased

Whisper 및 STT 모델은 주문형으로로드되어 Huggingface 캐시에 배치됩니다.

달리다

UI를 실행하십시오

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

대안으로 :

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

로컬 도커 런

도커 빌딩

텍스트 생성기는 Docker없이 로컬로 실행할 수 있습니다.

nvidia-docker2를 설치하십시오

sudo apt-get install nvidia-docker2

텍스트 생성기는 buildx로 제작되었습니다

DOCKER_BUILDKIT=1 docker buildx build . -t questions

sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

앱 엔진 서버 실행

Frontend API Playground는 https://text-generator.io에서 구입할 수 있으며 Google App Engine 용으로 작성됩니다.

현지에서 실행 :

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

추론 서버 실행

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

추론 서버는 웹 서버에서 docker를 실행하지 않습니다

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

그런 다음 LocalHost : 9080/Docs로 이동하여 API를 사용하십시오

오디오 서버 만 실행하십시오

텍스트 부분에 대한 속삭임 연설. 추론 서버가 이러한 요청의 균형을 자동으로 균형을 잡기 때문에 필요하지 않습니다.

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1 

테스트

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

도커

자체 호스팅 서버를 다운로드하십시오

직접 도커 이미지 다운로드

도커 컨테이너 .TAR 다운로드

컨테이너 다운로드 스크립트

 curl https://static.text-generator.io/static/resources/download_container.sh | bash

두 방법으로 컨테이너를 다운로드 한 후 Kubernetes, Docker에서 사용할 수있는 셀프 호스트 지침을 진행하십시오.

Kubernetes 배포

https://text-generator.io/self-hosting을 참조하십시오

로컬로/빌드 된 Docker를 테스트 한 Docker를 확인하십시오

로컬 Kubernetes 개발을 수행하는 경우 Kubernetes를 로컬로 설정할 수 있습니다.

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

디버깅 도커

Docker 컨테이너에서 쉘을 실행하십시오

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ; 

새로운 모델

포옹 페이스에서 클론

 cd models
git clone https://huggingface.co/distilbert-base-uncased

메인

불화 봇을 실행하십시오

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

의존성을 컴파일하십시오

UV PIP를 사용하여 종속성을 컴파일하십시오

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt

uv pip sync questions/inference_server/model-requirements.txt

스트레칭을 기억하십시오!

사령부와 함께 30 분마다 몸을 스트레칭 ...

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '