الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

ninjasearch withhumangpt؟

(هذا POC) وكيل مع الإنسان في الحلقة يمكنه البحث في الويب للحصول على معلومات مع تجاوز اكتشاف الروبوت للمواقع الخاصة.

ابدء

للبدء في الريبو ، ستحتاج إلى إعداد متغيرات البيئة اللازمة. على وجه الخصوص ، ستحتاج إلى إنشاء وضبط متغيرات البيئة التالية:

  • Openai_api_key: مفتاح API Openai الخاص بك
  • zenrows_api_proxy: وكيل لتجاوز اكتشاف الروبوت على مواقع الويب الخاصة*

يتم استخدام GPT-3.5 من Openai بشكل افتراضي ، ولكن يمكنك استخدام نماذج أخرى لدعم Langchain.

* Zenrows: https://zenrows.com

بالإضافة إلى ذلك ، ستحتاج إلى التأكد من تثبيت التبعيات:

python3 -m pip install requirements.txt

الاستخدام

بمجرد إعداد متغيرات البيئة اللازمة وتثبيت حزمة Langchain ، يمكنك البدء في استخدام chatbot. ما عليك سوى تشغيل ملف main.py:

python3 main.py

سيطالبك Chatbot باتباع بعض المتطلبات لتحقيق هدفك. إذا كان الهدف غير واضح أو لم يتم توفيره ، فسيطلب منك Chatbot أن تسأل "إنسان" (أنت) باستخدام الأداة "البشرية" ، والتي يتم تضمينها افتراضيًا. إذا كان الهدف لا يزال غير واضح أو غير مفصل بما فيه الكفاية ، فإن chatbot سوف يطالبك أن تطلب من "الإنسان" تقديم مزيد من المعلومات.

يتضمن chatbot أيضًا أداة مخصصة تسمى Ninjasearch والتي تم تصميمها لتجاوز اكتشاف الروبوت للمواقع الخاصة. ستقوم الأداة بتركيب عنوان URL المحدد وإرجاع ملخص لمحتويات الصفحة.

تلخص الأداة الاستجابة من عنوان URL في الخطوات التالية:

  1. تقسيم HTML إلى أجزاء باستخدام RecursiveCharacterTextSplitter
  2. قم بإنشاء تمثيل متجه للقطع وحفظه في DB (استخدمنا Faiss في هذا المثال)
  3. قم بإنشاء مسترد ( RetrievalQA ) من LLM و DB حتى نتمكن من طرح أسئلة من محتوى الصفحة.

ملحوظة

  • لقد اختبرت بنجاح مع LinkedIn urls (على سبيل المثال ، https://www.linkedin.com/in/hirokihori) ، ولكن بعد بضع محاولات ، بدأت في رفض. لا يزال لا يعمل في وقت كتابة هذا (4/15/2023). لقد قمت بتدوير الوكيل الخاص بي ، لكنه لا يزال يمنعني ، لذا بدأ LinkedIn تلقائيًا حظر الطلبات من خلال Zenrows (؟) غير متأكد حقًا.
  • أحب حقيقة أن LLM يسألني عما إذا كانوا غير متأكدين من الإجابة. العوامل المستقلة مع الإنسان في الحلقة قوية جدا وأعتقد أن هذا هو الطريق للذهاب.

المساهمة

إذا كنت ترغب في المساهمة في هذا المشروع ، فيرجى إرسال طلب سحب على Github.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل