LLMWebCrawler

زاحف الويب المستند إلى LLM

زاحف ويب قابل للتطوير ، هنا قائمة بميزة هذا الزاحف:

• يمكن لهذه الخدمة أن تزحف بشكل متكرر روابط تخزين الويب الخاصة به والتحديد النص المقابل.
• نستخدم نموذج لغة كبير (مثل BERT) للحصول على تضمينات النص ، أي تمثيل متجه للنص الموجود في كل ويب.
• الخدمة قابلة للتطوير ، نستخدم Ray للانتشار عبر العديد من العمال.
• يتم تخزين الإدخالات في قاعدة بيانات المتجهات. تعد قواعد بيانات المتجهات مثالية لحفظ واسترداد العينات وفقًا لتمثيل المتجه.

من خلال حفظ التمثيل في قاعدة بيانات المتجهات ، يمكنك استرداد صفحات مماثلة وفقًا لمدى قرب المتجهات. هذا أمر بالغ الأهمية بالنسبة للمتصفح لاسترداد النتائج الأكثر صلة.

CLI

قم بتشغيل الزاحف مع المحطة:

$ python cli_crawl.py --help

options:
  -h, --help            show this help message and exit
  -u INITIAL_URLS [INITIAL_URLS ...], --initial-urls INITIAL_URLS [INITIAL_URLS ...]
  -lm LANGUAGE_MODEL, --language-model LANGUAGE_MODEL
  -m MAX_DEPTH, --max-depth MAX_DEPTH

API

استضافة API مع uvicorn و FastAPI .

uvicorn api_app:app --host 0.0.0.0 --port 80

ألقِ نظرة على المثال في start_api_and_head_node.sh . لاحظ أنه يجب تهيئة عقد رأس الشعاع أولاً.

نموذج لغة كبير

لحالة الاستخدام لدينا ، نستخدم ببساطة نموذج BERT الذي تم تنفيذه بواسطة Huggingface لاستخراج التضمين من نص الويب. بتعبير أدق ، نستخدم Bert-Base-uncs. لاحظ أن الرمز لاأدري ، ويمكن تسجيل نماذج جديدة وإضافتها مع أسطر قليلة من التعليمات البرمجية ، وإلقاء نظرة على llm/best.py .

حفظ البيانات الزحف

نستخدم Milvus كبرنامج مسؤول قاعدة البيانات الرئيسي لدينا. نستخدم قاعدة بيانات على غرار المتجه بسبب قدرتها الموروثة على البحث وحفظ الإدخالات بناءً على تمثيلات المتجهات (التضمين).

ميلفوس لايت

ابدأ خادم Milvus المستقل الخاص بك على النحو التالي ، أقترح استخدام برنامج متعدد الإرسال مثل tmux :

tmux new -s milvus
milvus-server

ألقِ نظرة تحت scripts/ لرؤية بعض الطلبات الأساسية إلى Milvus.

Docker Compose

يمكنك أيضًا استخدام قالب docker compose الرسمي:

docker compose --file milvus-docker-compose.yml up -d

حساب مواز

نحن نستخدم Ray ، هو إطار Python الرائع لتشغيل المعالجة الموزعة والموازاة. يتبع راي نموذج العامل الرئيسي ، حيث ستطلب عقدة head مهام تنفيذها للعمال المتصلين.

ابدأ الرأس وعقد العمال في راي

عقدة الرأس

1. قم بإعداد عقدة الرأس

ray start --head

2. قم بتوصيل برنامجك بعقدة الرأس

 import ray

# Connect to the head
ray . init ( "auto" )

في حال كنت ترغب في إيقاف Ray Node:

ray stop

أو التحقق من الحالة:

ray status

عقدة العمال

1. تهيئة عقدة العامل

ray start

لا تحتاج عقدة العامل إلى تطبيق الكود حيث أن عقدة الرأس ستقوم بتسلسل الحجج والتنفيذ للعمال.

الميزات المستقبلية

التنفيذ الحالي هو POC. يمكن إجراء العديد من التحسينات:

• [مهم] نقطة إدخال جديدة في API للبحث عن عنوان URL مماثل المعطى.
• تحسين البحث و API.
• إضافة نماذج LLMS جديدة واستراتيجيات جديدة للتشكيل مع المكتبات الشهيرة ، على سبيل المثال langchain.
• تخزين المزيد من الميزات في المتجه DB ، ربما ، توليد ملخصات.

المساهمة

جميع القضايا و PRS موضع ترحيب؟.

مرجع

• وثائق الشعاع
• ميلفوس
• fastapi
• luggingface