الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

المولد النصوص

دماغ مولد النص

مولد النص هو نظام ل ؛

  • تحقيق التوازن بين عدة نماذج على القرص والذاكرة وذاكرة GPU
  • خدمة واجهات برمجة التطبيقات AI عبر التبادل في شبكات الذكاء الاصطناعي.
  • باستخدام إثراء البيانات (OCR ، الزحف ، تحليل الصور لتسهيل هندسة المطالبة)
  • توليد الكلام والنص.
  • فهم النص والكلام (الكلام إلى النص مع الهمس).

يمكن استخدام مولد النص عبر API أو استضافته ذاتيًا.

توازن مولد النص النماذج 7B لإنشاء النص.

يثري مولد النص أيضًا روابط الويب مع ملخصات نصية.

إذا كانت هناك مطالبة تحتوي على روابط للصور ، فسيتم تحويلها إلى نص باستخدام التسمية التوضيحية وإذا لزم الأمر OCR.

الرجاء دعمنا!

يمكنك دعمنا من خلال شراء الرموز المميزة لـ NetW والتي ستكون عملة مدعومة داخل التطبيق.

أيضا الخروج aiart-generator.art و netwrck.com

قريباً:

  • أضف دعمًا لنماذج وطرائق أخرى مثل الانتشار المستقر (يتم في https://github.com/netwrck/stable-diffusion-server)
  • قم بتدريب المصنف لاكتشاف النموذج أولاً هو الأفضل لاستخدامه في نص معين.
  • أضف الدعم/النجاح إلى طرز أخرى مثل ChatGpt و Palm.

API

مولد النص متوافق مع API مع Openai (ولكن ليس API ChatGPT حتى الآن)

هناك أيضًا المزيد من التحكم في توليد النص عبر واجهة برمجة تطبيقات المولد النصية ، ويشمل ذلك ؛

  • التوقف المبكر استنادًا إلى الاحتمال (الإكمال التلقائي السريع في الأجزاء المحتملة التالية من النص)
  • max_sentences (قم بإنشاء عدد محدد فقط من الجمل على الأكثر)

يحتوي مولد النص أيضًا على طرق لتوليد الكلام وتوليد الكلام.

انظر https://text-generator.io/docs

استنساخ 

 cd
mkdir code
cd code
git clone 20-questions

إعداد DEV المحلي

env vars: 

GOOGLE_APPLICATION_CREDENTIALS= $HOME /code/20-questions/secrets/google-credentials.json ;
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA

إعداد الماكينة بدون Docker

تثبيت المتطلبات 
sudo apt install -y ffmpeg
sudo apt install -y tesseract-ocr
sudo apt install -y python3.9-distutils
pip install -r requirements.txt
pip install -r questions/inference_server/model-requirements.txt
pip install -r dev-requirements.txt

من المهم استخدام CUDA تسريع الاستدلال. 

python -m nltk.downloader punkt

قم بإعداد بعض متغيرات البيئة في هذا الملف (مواعيد مزيفة على ما يرام لـ Dev المحلي) 

mv sellerinfo_faked.py sellerinfo.py

النماذج

تنزيل النماذج من Huggingface. 

huggingface-cli download HuggingFaceTB/SmolLM-1.7B --local-dir models/SmolLM-1.7B

نماذج مولد النص ليست مفتوحة المصدر بعد.

الرجاء دعمنا للحصول على النماذج

قم بتنزيل النماذج ووضعها في مجلد النماذج.

يجب أن يكون هناك ثلاثة نماذج:

النماذج/TG نموذج عام يمكن الوصول إليه باستخدام Model = Multilingual Models/TGZ ، وهو نموذج تعليمات يمكن الوصول إليه باستخدام Model = Enstruct Models/TGC نموذج دردشة يمكن الوصول إليه باستخدام الطراز = الدردشة

تم تكوين النموذج = الأفضل لمعرفة النموذج الذي يجب استخدامه استنادًا إلى المطالبة التي يتم تسجيلها على أساس الحيرة لكل نموذج.

هذا يحتاج إلى ضبط لانحراف AVG و STD للحيرة لأن كل نموذج لديه أفكار مختلفة حول مدى ثقةها. تكون النماذج المفرطة ثقة في جميع النصوص الموجودة في مجموعة البيانات (تميل إلى إنشاء نص حرفي من مجموعة البيانات).

يمكن توجيه النماذج إلى استخدام متغيرات البيئة ، على سبيل المثال ، استخدام النماذج من Hugginface بدلاً من ذلك للاختبار 

 WEIGHTS_PATH_TGZ=bigscience/bloomz
WEIGHTS_PATH_TGC=decapoda-research/llama-7b-hf
WEIGHTS_PATH=bigscience/bloom

نماذج أخرى

نموذج التضمين هو نموذج أصغر. 

 cd models
git clone https://huggingface.co/distilbert-base-uncased

سيتم تحميل نماذج Whisper و STT عند الطلب ووضعها في ذاكرة التخزين المؤقت Luggingface.

يجري

قم بتشغيل واجهة المستخدم 

uvicorn main:app --reload --workers=1
# or
uvicorn  -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

بدلاً عن ذلك: 

SERVER_SOFTWARE=Development/dev gunicorn -k uvicorn.workers.UvicornWorker -b :3004 main:app --timeout 60000 -w 1

تشغيل Docker المحلي

مبنى Docker

يمكن تشغيل مولد النص محليًا بدون Docker.

تثبيت nvidia-docker2 

sudo apt-get install nvidia-docker2

تم تصميم مولد النص باستخدام BuildX 

DOCKER_BUILDKIT=1 docker buildx build . -t questions
sudo docker run -v $( pwd ) /models:/models -p 9000:8080 questions

تشغيل خادم محرك التطبيق

يتوفر ملعب API Frontend على https://text-generator.io وكتاب لمحرك تطبيق Google.

تشغيل محليًا: 

 gunicorn -k uvicorn.workers.UvicornWorker -b :3030 main:app

تشغيل خادم الاستدلال 

 PYTHONPATH=$(pwd):$PYTHONPATH:$(pwd)/OFA gunicorn -k uvicorn.workers.UvicornWorker -b :3030 questions.inference_server.inference_server:app

خادم الاستدلال تشغيل لا عامل ميناء مع خادم الويب 

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1
PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA: $HOME /code/20-questions/OFA/fairseq GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 questions.inference_server.inference_server:app --timeout 180000 --workers 1

ثم انتقل إلى LocalHost: 9080/docs لاستخدام واجهة برمجة التطبيقات

قم بتشغيل خادم الصوت فقط

مجرد خطاب الهمس لنص على جزء. هذا غير مطلوب لأن خادم الاستدلال يوازن تلقائيًا هذه الطلبات 

PYTHONPATH= $( pwd ) : $( pwd ) /OFA GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json gunicorn -k uvicorn.workers.UvicornWorker -b :9080 audio_server.audio_server:app --timeout 180000 --workers 1

الاختبار 

GOOGLE_APPLICATION_CREDENTIALS=secrets/google-credentials.json ; PYTHONPATH= $HOME /code/20-questions: $HOME /code/20-questions/OFA pytest

عامل ميناء

قم بتنزيل الخادم المستضاف الذاتي

تنزيل صورة Docker المباشر

حاوية Docker. تنزيل

حاوية تنزيل البرنامج النصي 
 curl https://static.text-generator.io/static/resources/download_container.sh | bash

بعد تنزيل الحاوية مع أي من الطريقة ، تابع اتباع تعليمات المضيف الذاتي المتاحة لـ Kubernetes ، Docker

Kubernetes النشر

انظر https://text-generator.io/self-hosting

تأكد من اختبار Docker محليًا/مصمم

يمكنك إعداد kubernetes محليًا مع النوع إذا قامت بتطوير Kubernetes المحلي. 

k delete -f kuber/prod/deployment-gpu.yaml
k apply -f kuber/prod/deployment-gpu.yaml
k get pods

تصحيح Docker

قم بتشغيل قذيفة في حاوية Docker 

docker run -i -t -u root -v $( pwd ) /models:/models --entrypoint=/bin/bash questions -c /bin/bash ;

نماذج جديدة

استنساخ من Huggingface 

 cd models
git clone https://huggingface.co/distilbert-base-uncased

الصيانة

قم بتشغيل روبوت الخلاف 

PYTHONPATH= $( pwd ) : $( pwd ) /OFA python questions/disbot/disbot.py

تجميع التبعيات

استخدم UV PIP لتجميع التبعيات 

uv pip compile questions/inference_server/model-requirements.in    --universal -o questions/inference_server/model-requirements.txt
uv pip sync questions/inference_server/model-requirements.txt

تذكر أن تمتد!

تمد جسمك كل 30 دقيقة مع أمر سيف ... 

watch -n 1800 ' echo "stretch your body" | espeak -s 120 '
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل