الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

بوابة LLM

؟ ما هذا؟

llm-gateway هي بوابة لمقدمي خدمات LLM من طرف ثالث مثل Openai ، Cohere ، وما إلى ذلك ، فهي تتعقب البيانات المرسلة واستلامها من هؤلاء مقدمي الخدمات في قاعدة بيانات Postgres وتشغيل استدلال تنظيف PII قبل إرسالها.

Per Per Openai's Non API Consumer Products Usage Policy ، "يجوز لهم" استخدام محتوى مثل المطالبات والاستجابات والصور التي تم تحميلها والصور التي تم إنشاؤها لتحسين خدماتنا "لتحسين منتجات مثل ChatGPT و Dall-E.

استخدم llm-gateway للتفاعل مع Openai بطريقة آمنة. تقوم البوابة أيضًا بإعادة إنشاء الواجهة الأمامية ChatGpt باستخدام نقطة نهاية Openai /ChatCompletion للحفاظ على جميع الاتصالات داخل واجهة برمجة التطبيقات.

؟ النماذج المدعومة

مزود نموذج
Openai GPT 3.5 Turbo
Openai GPT 3.5 Turbo 16k
Openai GPT 4
مختبرات AI21 Jurassic-2 Ultra
مختبرات AI21 Jurassic-2 منتصف
أمازون Titan Text Lite
أمازون Titan Text Express
أمازون تيتان نص التضمينات
الإنسان كلود 2.1
الإنسان كلود 2.0
الإنسان كلود 1.3
الإنسان كلود لحظة
التحم يأمر
التحم قيادة الضوء
التحم تضمين - اللغة الإنجليزية
التحم تضمين - متعدد اللغات
ميتا Llama-2-13b-Chat
ميتا Llama-2-70b-Chat

⚒ الاستخدام

يجب حفظ مفتاح API الخاص بالمزود كمتغير للبيئة (انظر الإعداد إلى أسفل). إذا كنت تتواصل مع Openai ، فقم بتعيين OPENAI_API_KEY .

للحصول على تعليمات الإعداد خطوة بخطوة مع Cohere و Openai و AWS Bedrock ، انقر هنا.

استخدام API

[Openai] مثال على نقطة النهاية إلى /completion : 

 curl -X 'POST' 
  'http://<host>/api/openai/completion' 
  -H 'accept: application/json' 
  -H 'Content-Type: application/json' 
  -d '{
  "temperature": 0,
  "prompt": "Tell me what is the meaning of life",
  "max_tokens": 50,
  "model": "text-davinci-003"
}'

[Openai] عند استخدام نقطة النهاية /chat_completion ، قم بصياغة محادثة بين المستخدم والمساعد. 

 curl -X 'POST' 
  'http://<host>/api/openai/chat_completion' 
  -H 'accept: application/json' 
  -H 'Content-Type: application/json' 
  -d '{
  "messages": [
    {"role": "assistant", "content": "You are an intelligent assistant."},
    {"role": "user", "content": "create a healthy recipe"}
  ],
  "model": "gpt-3.5-turbo",
  "temperature": 0
}'

استخدام بيثون 

 from llm_gateway . providers . openai import OpenAIWrapper

wrapper = OpenAIWrapper ()
wrapper . send_openai_request (
    "Completion" ,
    "create" ,
    max_tokens = 100 ,
    prompt = "What is the meaning of life?" ,
    temperature = 0 ,
    model = "text-davinci-003" ,
)

بداية سريعة للمطورين

يستخدم هذا المشروع الشعر ، pyenv للاعتماد وإدارة البيئة. تحقق من وثائق التثبيت الرسمية للشعر و Pyenv للبدء. بالنسبة للجزء الأمامي ، يستخدم هذا المشروع NPM والغزل لإدارة التبعية. يتم الإعلان عن أحدث إصدار من العقدة المطلوبة لهذا المشروع في .node-version.

التبعيات الخلفية

إذا كنت تستخدم Docker ، فإن الخطوات 1-3 اختيارية. نوصي بتثبيت السنانير قبل الالتزام لتسريع دورة التطوير.

  1. تثبيت الشعر و pyenv
  2. تثبيت pyenv install 3.11.3
  3. تثبيت متطلبات المشروع 
 brew install gitleaks
poetry install
poetry run pre-commit install
  1. قم بتشغيل cp .envrc.example .envrc

؟ حلقة Docker Development (الواجهة الخلفية والواجهة)

للركض في Docker: 

 # spin up docker-compose
make up

# open frontend in browser
make browse

# open FastAPI Swagger API
make browse-api

# delete docker-compose setup
make down
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل