الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

تطبيقات LLM

دليل شامل لبناء تطبيقات LLM المستندة إلى RAT للإنتاج.

  • منشور المدونة : https://www.anyscale.com/blog/a-cemprehment-guide-for-building-rag-rag-llm-applications-bart-1
  • مستودع github : https://github.com/ray-project/llm-applications
  • دفتر ملاحظات تفاعلي : https://github.com/ray-project/llm-applications/blob/main/notebooks/rag.ipynb
  • anyscale endpoints : https://endpoints.anyscale.com/
  • وثائق الشعاع : https://docs.ray.io/

في هذا الدليل ، سوف نتعلم كيفية:

  • قم بتطوير تطبيق LLM المعزز للاسترجاع (RAG) من نقطة الصفر.
  • قم بتوسيع نطاق المكونات الرئيسية (الحمل ، القطع ، التضمين ، الفهرس ، الخدمة ، إلخ) في تطبيقنا.
  • ✅ تقييم التكوينات المختلفة لتطبيقنا لتحسين كل من المكونات (على سبيل المثال. استرجاع_سور) والأداء الكلي (Quality_Score).
  • ؟ قم بتنفيذ نهج التوجيه الهجين LLM لسد الفجوة B/W OSS و LLMs مغلقة.
  • ؟ خدمة التطبيق بطريقة قابلة للتطوير للغاية ومتاحة.
  • ؟ شارك الطلب الأول وتأثيرات الطلب الثاني على تطبيقات LLM على منتجاتنا.

يثبت

مفاتيح API

سنستخدم Openai للوصول إلى نماذج ChatGPT مثل gpt-3.5-turbo و gpt-4 ، وما إلى ذلك ، ونقاط النهاية التي يمكن الوصول إليها للوصول إلى OSS LLMS مثل Llama-2-70b . تأكد من إنشاء حساباتك لكليهما وجعل بيانات الاعتماد الخاصة بك جاهزة.

حساب

محلي يمكنك تشغيل هذا على الكمبيوتر المحمول المحلي ولكن نوصي بشدة باستخدام إعداد مع إمكانية الوصول إلى وحدات معالجة الرسومات. يمكنك إعداد هذا بمفردك أو على [anyscale] (http://anyscale.com/).
anyscale
  • ابدأ مساحة عملًا جديدة على أي مكان على التدريج باستخدام عقدة رأس g3.8xlarge ، والتي تحتوي على وحدات معالجة الرسومات 2 و 32 وحدات المعالجة المركزية. يمكننا أيضًا إضافة عقد عامل GPU لتشغيل أعباء العمل بشكل أسرع. إذا لم تكن على أي حال ، فيمكنك تكوين مثيل مماثل على السحابة الخاصة بك.
  • استخدم default_cluster_env_2.6.2_py39 بيئة الكتلة.
  • استخدم us-west-2 إذا كنت ترغب في استخدام القطع الأثرية في التخزين المشترك لدينا (مستندات المصدر ، مقالب DB Vector ، إلخ).

مستودع 

git clone https://github.com/ray-project/llm-applications.git .
git config --global user.name < GITHUB-USERNAME >
git config --global user.email < EMAIL-ADDRESS >

بيانات

بياناتنا جاهزة بالفعل على /efs/shared_storage/goku/docs.ray.io/en/master/ (عند التدريج ، us-east-1 ) ولكن إذا كنت تريد تحميلها بنفسك ، قم بتشغيل أمر bash هذا (التغيير /desired/output/directory ، ولكن تأكد من أنه في التخزين المشترك ، بحيث يمكن الوصول إليه للعاملين) 

git clone https://github.com/ray-project/llm-applications.git .

بيئة

ثم قم بإعداد البيئة بشكل صحيح عن طريق تحديد القيم في ملف .env الخاص بك ، وتثبيت التبعيات: 

pip install --user -r requirements.txt
export PYTHONPATH= $PYTHONPATH : $PWD
pre-commit install
pre-commit autoupdate

أوراق اعتماد 

touch .env
# Add environment variables to .env
OPENAI_API_BASE= " https://api.openai.com/v1 "
OPENAI_API_KEY= " "  # https://platform.openai.com/account/api-keys
ANYSCALE_API_BASE= " https://api.endpoints.anyscale.com/v1 "
ANYSCALE_API_KEY= " "  # https://app.endpoints.anyscale.com/credentials
DB_CONNECTION_STRING= " dbname=postgres user=postgres host=localhost password=postgres "
source .env

نحن الآن على استعداد للذهاب إلى RAG.Ipynb Interactive Book لتطوير وخدمة تطبيق LLM الخاص بنا!

يتعلم أكثر

  • إذا كان فريقك يستثمر بكثافة في تطوير تطبيقات LLM ، فتواصل معنا لمعرفة المزيد حول كيفية مساعدتك Ray and Anyscale في توسيع نطاق كل شيء.
  • ابدأ في تقديم (+صفق دقيق) OSS LLMS مع نقاط نهاية أي شيء (رموز 1 دولار/م لـ Llama-3-70b ) ونقاط النهاية الخاصة المتاحة عند الطلب (1M Trokens Trial).
  • تعرف على المزيد حول كيفية قيام شركات مثل Openai و Netflix و Pinterest و Verizon و Instacart وآخرون بالاستفادة من Ray و Anyscale لأعباء عملهم في قمة Ray 2024 في 18-20 سبتمبر في سان فرانسيسكو.
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل