DiscovAI crawl

discovai爬网API？️？

一个API可以刮擦您所需的所有内容，从AI工具和矢量数据库中的URL。

？正在进行中？

？特征

我们的API提供了一套全面的数据提取和处理功能：

• ？清洁HTML（删除JavaScript和CSS）
• llm友好的降价转换
• 无广告，无曲目横幅和无话框内容
• ？网站屏幕截图（自动保存到AWS S3或CloudFlare R2）
• ？ LLM生成的SEO友好型内容
• ？ LLM提取的关键信息（摘要，功能，常见问题等）
• ？矢量数据库集成的现成嵌入（自动保存到DB）

？安装

pnpm i
cd apps/api && pnpm exec playwright install

用法

pnpm dev
open http://localhost:3000

？ API响应结构

{
  "clean_html" : " ... " ,
  "LLM_friendly_markdown" : " ... " ,
  "clean_text" : " ... " ,
  "screenshot_url" : " ... " ,
  "llm_extracts_key_info" : {
    "what" : " ... " ,
    "summary" : " ... " ,
    "features" : [ " ... " , " ... " ],
    "faqs" : [{ "q" : " ... " , "a" : " ... " }]
  },
  "llm_summarized_detail" : " ... " ,
  "embeddings" : [ ... ]
}

文档

托多

？贡献

托多