الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

Openai Parallel Reques Handler

يبسط هذا المشروع تقديم طلبات متوازية إلى Openai أو Azure API لاستكمال الدردشة في السيناريوهات حيث يحتاج المرء إلى زيادة معالجة عدد كبير من المطالبات المعدة في وقت واحد .

يدير هذا المشروع بكفاءة حدود الأسعار (يطلب RPM و Tokens TRM) ويتضمن معالجة أخطاء قوية لتبسيط معالجة مدخلات متعددة في وقت واحد. على عكس تطبيق Openai الموازي الرسمي ، والذي يمكن أن يكون معقدًا ومتعلمًا للمبتدئين ، يقدم هذا المشروع نهجًا مبسطًا وسهل الفهم ، باستخدام مكتبات مثل المثابرة والخيط.

أمثلة دفتر

  1. تحليل المشاعر (1000 طلب في أقل من دقيقتين)

يقوم دفتر الملاحظات بتحليل المعنويات على جمل تقرير المدقق المالي باستخدام نموذج GPT-3.5 Turbo من خدمة Openai في Azure. الهدف هو تصنيف مشاعر كل جملة على أنها إيجابية أو محايدة أو سلبية. يتم استخدام مجموعة فرعية من 1000 عينة من مجموعة بيانات "Auditor_Sentiment" ، المتوفرة على Hugging's Face's Cets Hub ، لهذا التحليل. تأكد من ضبط معلمات API في ملف التكوين المقابل

متطلبات

  • مفتاح API من Openai أو Azure
  • قم بتخزين مفتاح API في ملف يسمى .env OPENAI_API_KEY= <your_token> أو AZURE_OPENAI_API_KEY = <your_token>

تثبيت

قم بإعداد بيئة افتراضية (MACOS) باعتبارها kernel في دفتر Jupyter من خلال تثبيت الحزم المطلوبة للبدء في هذا المشروع: 

python -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

python -m ipykernel install --user --name=myenv --display-name= " Python 3.11 (myenv) "

الميزات الرئيسية

  • ThreadPoolexecutor: يدير طلبات متعددة بالتوازي ، وتحسين وقت الاستجابة.
  • Semaphore: يتحكم في معدل مكالمات API للامتثال لحدود المعدل.
  • آلية إعادة المحاولة: تتعامل مع الأخطاء المتقطعة بشكل فعال من خلال إعادة إعادة تلقائي الطلبات الفاشلة.
  • معالجة الأخطاء المخصصة: توفر آلية احتياطية تؤدي إلى فشل جميع محاولات إعادة المحاولة ، مما يسمح للعملية بالمتابعة بسلاسة على الرغم من الأخطاء.

المشاريع ذات الصلة

بينما توفر المشاريع الأخرى آليات للتفاعل مع API Openai ، يستخدم هذا المشروع مكتبات مثل المثابرة والخيوط ، مع التركيز على البساطة وسهولة الاستخدام ، وخاصة للمستخدمين الجدد في الحوسبة الموازية.

هذا البرنامج النصي Openai-Cookbook/أمثلة/api_request_paralled_processor.py مناسب تمامًا لتقديم طلبات متوازية إلى API Openai. ومع ذلك ، يمكن أن يكون معقدًا ومرهقًا للسيناريوهات حيث يريد المرء فقط إرسال الكثير من المطالبات التي تم إعدادها بالفعل في وقت واحد. يهدف هذا المشروع إلى تبسيط هذه العملية وتبسيطها.

الاعتمادات

شكر خاص لمعهد ماكس بلانك للتنمية البشرية ، مركز البشر والآلات لتوفير نقطة نهاية API Openai و Azure التي سهلت تطوير هذا المشروع.

لمزيد من المعلومات حول عملهم ومزيد من الأبحاث ، يرجى زيارة موقع GitHub وموقع الويب الرسمي.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل