DiscovAI crawl

Discovai รวบรวมข้อมูล API? ️?

API หนึ่งรายการเพื่อขูดทุกสิ่งที่คุณต้องการจาก URL สำหรับเครื่องมือ AI และฐานข้อมูลเวกเตอร์ของคุณ

- ทำงานระหว่างดำเนินการ ?

- คุณสมบัติ

API ของเรามีชุดการแยกข้อมูลและความสามารถในการประมวลผลที่ครอบคลุม:

• - ทำความสะอาด HTML (ลบ JavaScript และ CSS)
• การแปลง Markdown ที่เป็นมิตรกับ LLM
• ฟรีโฆษณาแบนเนอร์คุกกี้และเนื้อหาฟรีบทสนทนา
• - ภาพหน้าจอเว็บไซต์ (ประหยัดอัตโนมัติไปยัง AWS S3 หรือ CloudFlare R2)
• - เนื้อหาที่เป็นมิตรกับ SEO ที่สร้างขึ้นด้วย LLM
• - ข้อมูลคีย์ที่สกัดด้วย LLM (สรุปคุณสมบัติคำถามที่พบบ่อย ฯลฯ )
• - Embeddings พร้อมใช้งานสำหรับการรวมฐานข้อมูลเวกเตอร์ (ประหยัดอัตโนมัติถึง DB)

- การติดตั้ง

pnpm i
cd apps/api && pnpm exec playwright install

การใช้งาน

pnpm dev
open http://localhost:3000

- โครงสร้างการตอบสนอง API

{
  "clean_html" : " ... " ,
  "LLM_friendly_markdown" : " ... " ,
  "clean_text" : " ... " ,
  "screenshot_url" : " ... " ,
  "llm_extracts_key_info" : {
    "what" : " ... " ,
    "summary" : " ... " ,
    "features" : [ " ... " , " ... " ],
    "faqs" : [{ "q" : " ... " , "a" : " ... " }]
  },
  "llm_summarized_detail" : " ... " ,
  "embeddings" : [ ... ]
}

เอกสาร

สิ่งที่ต้องทำ

- การบริจาค

สิ่งที่ต้องทำ