DiscovAI crawl

discovai爬網API？ ️？

一個API可以刮擦您所需的所有內容，從AI工具和矢量數據庫中的URL。

？正在進行中？

？特徵

我們的API提供了一套全面的數據提取和處理功能：

• ？清潔HTML（刪除JavaScript和CSS）
• llm友好的降價轉換
• 無廣告，無曲目橫幅和無話框內容
• ？網站屏幕截圖（自動保存到AWS S3或CloudFlare R2）
• ？ LLM生成的SEO友好型內容
• ？ LLM提取的關鍵信息（摘要，功能，常見問題等）
• ？矢量數據庫集成的現成嵌入（自動保存到DB）

？安裝

pnpm i
cd apps/api && pnpm exec playwright install

用法

pnpm dev
open http://localhost:3000

？ API響應結構

{
  "clean_html" : " ... " ,
  "LLM_friendly_markdown" : " ... " ,
  "clean_text" : " ... " ,
  "screenshot_url" : " ... " ,
  "llm_extracts_key_info" : {
    "what" : " ... " ,
    "summary" : " ... " ,
    "features" : [ " ... " , " ... " ],
    "faqs" : [{ "q" : " ... " , "a" : " ... " }]
  },
  "llm_summarized_detail" : " ... " ,
  "embeddings" : [ ... ]
}

文件

托多

？貢獻

托多