Download DiscovAI crawl - DiscovAI crawl download do código -fonte

DiscovAI crawl

Outro código-fonte

1.0.0

Baixar

Discovai Crawl API? ️?

Uma API para raspar tudo o que você precisa nos URLs para sua ferramenta de IA e banco de dados vetorial.

? Trabalhar em andamento ?

? Características

Nossa API fornece um conjunto abrangente de extração de dados e recursos de processamento:

? HTML limpo (JavaScript e CSS removidos)
Conversão de Marydown amigável ao LLM
Conteúdo livre de anúncios, sem banner e sem diálogo
? Capturas de tela do site (salvo automático para AWS S3 ou CloudFlare R2)
? Conteúdo de SEO gerado por LLM
? Informações-chave extraídas por LLM (resumo, recursos, perguntas frequentes, etc.)
? Integração pronta para uso para integração de banco de dados vetorial (economizada automaticamente para dB)

? Instalação

pnpm i
cd apps/api && pnpm exec playwright install

Uso

pnpm dev
open http://localhost:3000

? Estrutura de resposta da API

{
  "clean_html" : " ... " ,
  "LLM_friendly_markdown" : " ... " ,
  "clean_text" : " ... " ,
  "screenshot_url" : " ... " ,
  "llm_extracts_key_info" : {
    "what" : " ... " ,
    "summary" : " ... " ,
    "features" : [ " ... " , " ... " ],
    "faqs" : [{ "q" : " ... " , "a" : " ... " }]
  },
  "llm_summarized_detail" : " ... " ,
  "embeddings" : [ ... ]
}