DiscovAI crawl

Discovai Crawl API? ️?

Satu API untuk mengikis semua yang Anda butuhkan dari URL untuk alat AI dan database vektor Anda.

? Bekerja sedang berlangsung ?

? Fitur

API kami menyediakan rangkaian ekstraksi data dan kemampuan pemrosesan yang komprehensif:

• ? Bersihkan HTML (JavaScript dan CSS dihapus)
• Konversi Markdown Ramah LLM
• Konten bebas iklan, spanduk cookie, dan bebas dialog
• ? Tangkapan layar situs web (Auto-Saved ke AWS S3 atau Cloudflare R2)
• ? Konten ramah SEO yang dihasilkan LLM
• ? Informasi kunci yang diekstraksi LLM (ringkasan, fitur, FAQ, dll.)
• ? Embeddings Ready-To-Nough for Vector Database Integration (Auto-Daved to DB)

? Instalasi

pnpm i
cd apps/api && pnpm exec playwright install

Penggunaan

pnpm dev
open http://localhost:3000

? Struktur respons API

{
  "clean_html" : " ... " ,
  "LLM_friendly_markdown" : " ... " ,
  "clean_text" : " ... " ,
  "screenshot_url" : " ... " ,
  "llm_extracts_key_info" : {
    "what" : " ... " ,
    "summary" : " ... " ,
    "features" : [ " ... " , " ... " ],
    "faqs" : [{ "q" : " ... " , "a" : " ... " }]
  },
  "llm_summarized_detail" : " ... " ,
  "embeddings" : [ ... ]
}

Dokumentasi

Todo

? Berkontribusi

Todo