DiscovAI crawl

Discovai Crawl API؟ ️؟

API واحد لكشط كل ما تحتاجه من عناوين URL لأداة AI وقاعدة بيانات المتجه.

؟ العمل قيد التقدم ؟

؟ سمات

يوفر واجهة برمجة التطبيقات الخاصة بنا مجموعة شاملة من إمكانيات استخراج البيانات ومعالجتها:

• ؟ نظف HTML (تمت إزالة JavaScript و CSS)
• التحويل الصديق LLM
• خالية من الإعلانات وخالية من البسكويت ، ومحتوى خالي من الحوار
• ؟ لقطات شاشة موقع الويب (معزمة تلقائية إلى AWS S3 أو CloudFlare R2)
• ؟ المحتوى الصديق لكبار المسئولين الاقتصاديين الذي تم إنشاؤه بواسطة LLM
• ؟ معلومات مفتاح LLM-exrensed (ملخص ، ميزات ، الأسئلة الشائعة ، إلخ)
• ؟ التضمينات الجاهزة للاستخدام لتكامل قاعدة بيانات المتجهات (التقوية التلقائية إلى DB)

؟ تثبيت

pnpm i
cd apps/api && pnpm exec playwright install

الاستخدام

pnpm dev
open http://localhost:3000

؟ بنية استجابة API

{
  "clean_html" : " ... " ,
  "LLM_friendly_markdown" : " ... " ,
  "clean_text" : " ... " ,
  "screenshot_url" : " ... " ,
  "llm_extracts_key_info" : {
    "what" : " ... " ,
    "summary" : " ... " ,
    "features" : [ " ... " , " ... " ],
    "faqs" : [{ "q" : " ... " , "a" : " ... " }]
  },
  "llm_summarized_detail" : " ... " ,
  "embeddings" : [ ... ]
}

الوثائق

تودو

؟ المساهمة

تودو