horace

هوراس: خادم LLM chatbot مع مكونات chatgpt

هام: الحرب في أوكرانيا لا تزال مستمرة. كل يوم ، اغتصاب الجنود الروس والقتل والتعذيب وترحيل المدنيين الأوكرانيين. تفضل بزيارة هذه الصفحة لترى كيف يمكنك دعم أوكرانيا اليوم.

يتيح لك Horace تطبيق chatbot مخصصة مع اختيارك لـ LLM ومجموعة من الإضافات chatgpt. يتم تشغيله كخادم WebSocket ، مما يتيح لك إضافة chatbot التي تعمل بالطاقة LLM بسهولة إلى تطبيق الويب الخاص بك أو تطبيق الهاتف المحمول.

سمات:

• WebSocket chatbot Server
• الصديق للالتفاف
• عينة من عملاء الويب و CLI
• LLM Backends (حاليًا Openai API مع ChatGPT أو GPT-4)
• دعم خارج الصندوق لمكونات ChatGpt
• أساليب مصادقة chatgpt المكانية المدعومة: none ، user_http ، service_http
• طلب التحقق من صحة الإضافات وفقًا لمواصفات OpenAPI الخاصة بهم
• تخصيص فوري للتعليمات الدقيقة.

يبني هوراس ويمتد غريس ، chatbot الأصلي الذي يعمل به LLM. فيما يلي Horace يعمل في وضع التصحيح مع المكون الإضافي Klarna ChatGpt ، الذي يتم الوصول إليه عبر عميل ويب:

demo_b7g7ztbb.mp4

بداية سريعة

1. تثبيت Python 3.10 ، إن لم يكن مثبتًا بالفعل.
2. استنساخ هذا المستودع.
3. انتقل إلى دليل المستودع المستنسخ: cd horace
4. إنشاء بيئة افتراضية جديدة: python3 -m venv ./venv
5. تنشيط البيئة الافتراضية: source ./venv/bin/activate
6. تثبيت متطلبات المشروع: pip3 install -r requirements.txt
7. انتقل إلى دليل app : cd app
8. ابدأ الخادم: OPENAI_API_KEY=openai-api-key python3 main.py (استبدل openai-api-key بمفتاح API الخاص بك-احصل عليه هنا)
9. إطلاق عميل:

• لعميل CLI ، قم بتشغيل هذا في نافذة طرفية أخرى:

 cd horace
source ./venv/bin/activate
python3 app/horace-cli.py

• بالنسبة إلى عميل الويب ، انقر نقرًا مزدوجًا فوق client-demo/index.html في Explorer/Finder وما إلى ذلك لفتحه في متصفحك.

تشغيل عبر Docker

1. استنساخ هذا المستودع.
2. انتقل إلى دليل المستودع المستنسخ: cd horace
3. بناء صورة Docker: docker build -t horace:latest .
4. بدء الخادم:

 docker run --rm 
  -e OPENAI_API_KEY=openai-api-key 
  -p 8001:8001 
  --name horace 
  horace:latest

5. إطلاق عميل:

• لعميل CLI ، قم بتشغيل هذا في نافذة طرفية أخرى: docker exec -it horace python3 /app/horace-cli.py
• بالنسبة إلى عميل الويب ، انقر نقرًا مزدوجًا فوق client-demo/index.html في Explorer/Finder وما إلى ذلك لفتحه في متصفحك.

وسيطات سطر الأوامر

يدعم main.py و horace-cli.py بعض وسيطات سطر الأوامر:

 python3 main.py --help
usage: main.py [-h] [--host HOST] [--port PORT] [--debug]

optional arguments:
  -h, --help   show this help message and exit
  --host HOST  bind host name
  --port PORT  bind port number
  --debug      enable debug mode

 python3 app/horace-cli.py --help
usage: horace-cli.py [-h] [--host HOST] [--port PORT]

optional arguments:
  -h, --help   show this help message and exit
  --host HOST  server host name
  --port PORT  server port number

العمل مع الخلفية LLM

في الوقت الحالي ، يتم دعم الواجهة الخلفية API Openai فقط. (أنا لست على دراية بـ غير Openai LLMs مع مستوى من تتبع التعليمات كافية لاستدعاء البرنامج المساعد في الوقت الحالي.) ومع ذلك ، فإن إضافة خلفية LLM مخصصة مع Horace أمر واضح تمامًا:

1. يرث فئة خلفية جديدة من قاعدة Backend الموجودة في backends/backend.py complete()
2. ضع وحدة الفئة الجديدة في دليل backends
3. أضف استيراد الوحدة النمطية الجديدة إلى main.py
4. اضبط التعيين BACKENDS في main.py لتشمل الاسم المستعار الجديد للواجهة الخلفية واسم الفصل الدراسي
5. التبديل إلى الواجهة الخلفية الجديدة في config.yaml :

 backend:
  name: my_llm_backend

ارجع إلى الواجهة الخلفية لـ Openai API ( backends/openai_backend.py ) كمثال.

تبديل النموذج مع خلفية API Openai

يتيح لك الواجهة الخلفية Openai API التبديل بين النماذج التالية:

• chatgpt (افتراضي): نموذج رخيص الوصول الذي يعمل بشكل جيد بشكل معقول.
• GPT-4: أغلى بكثير من Chatgpt ولكن يجب أن يكون أكثر مقاومة للرصاص.

انظر config.yaml للتبديل بين نماذج Openai API.

باستخدام ملحقات chatgpt

يعمل Horace مع Plugins chatgpt خارج الصندوق. لتمكين مكون إضافي ، أضف اسم المضيف الخاص به برقم منفذ اختياري إلى قسم plugins في config.yaml :

 router:
  plugins:
    # For https://github.com/artmatsak/chatgpt-todo-plugin/
    # - localhost:5002
    - www.klarna.com

عند البدء ، يطلب الخادم http://[hostname]/.well-known/ai-plugin.json

يدعم Horace حاليًا أساليب none user_http و server_http لإضافات chatgpt. إذا كان هناك حاجة إلى رمز مصادق للمكون الإضافي ، فإن Horace يسألك عن واحد أثناء بدء تشغيل الخادم. في الوقت الحالي ، يتم حفظ الرموز المميزة لـ Auth دون تشفير في .plugin_auth.json .

توفير تعليمات سريعة

تم تصميم موجه LLM الافتراضي لـ Horace لجعل Bot Neutral. لا يقتصر الروبوت على طلبات المستخدم التي تم تسليحها بالمكونات الإضافية (مثل روبوت حجز المطاعم ، على سبيل المثال) ، كما أنها لا تدفع بشكل استباقي إلى الوظيفة التي تدعم المكون الإضافي إلى المستخدم. بمعنى آخر ، يمكنك الدردشة مع الروبوت كما لو كنت عادة مع chatgpt ؛ إذا شعرت الروبوت بأن هناك حاجة إلى استدعاء طريقة البرنامج المساعد ، فسوف يفعل ذلك.

في سيناريوهات العالم الحقيقي ، قد ترغب في قصر الروبوت على نطاق معين مثل حجز طاولة (انظر موجه Grace للإلهام) ، أو ربما تزودها بصوت/شخصية فريدة من نوعها. للقيام بذلك ، يمكنك إضافة إرشادات إلى موجه LLM باستخدام خاصية extra_instructions في config.yaml :

 horace:
  # Any extra instructions to prepend the prompt with
  extra_instructions: >-
    You are a helpful and polite AI assistant.
  # extra_instructions: >-
  #   In your speech, you impersonate Jedi Master Yoda and crack jokes in response
  #   to mentions of other Star Wars characters.

جرب إزالة كتلة يودا أعلاه لترى كيف يتغير صوت chatbot وفقًا لذلك. (لا تنس إعادة تشغيل الخادم بعد إجراء أي تغييرات على التكوين.)

إجراء اختبارات

لم يتم تحديث الاختبارات بعد منذ زحف من النعمة. ليكون ثابتا.