DiscovAI crawl

API Discovai Crawl? ️?

Une API pour gratter tout ce dont vous avez besoin des URL pour votre base de données d'outil AI et de vecteur.

? Travail en cours ?

? Caractéristiques

Notre API fournit une suite complète de capacités d'extraction et de traitement des données:

• ? Clean HTML (JavaScript et CSS supprimé)
• Conversion Markdown conviviale LLM
• Contenu sans publicité, sans bannière et sans dialogue
• ? Captures d'écran du site Web (Auto-Saved to AWS S3 ou CloudFlare R2)
• ? Contenu SEO généré par LLM
• ? Informations sur les clés extraites de LLM (résumé, fonctionnalités, FAQ, etc.)
• ? Incorporation prête à l'emploi pour l'intégration de la base de données vectorielle (Auto-Saved to DB)

? Installation

pnpm i
cd apps/api && pnpm exec playwright install

Usage

pnpm dev
open http://localhost:3000

? Structure de réponse à l'API

{
  "clean_html" : " ... " ,
  "LLM_friendly_markdown" : " ... " ,
  "clean_text" : " ... " ,
  "screenshot_url" : " ... " ,
  "llm_extracts_key_info" : {
    "what" : " ... " ,
    "summary" : " ... " ,
    "features" : [ " ... " , " ... " ],
    "faqs" : [{ "q" : " ... " , "a" : " ... " }]
  },
  "llm_summarized_detail" : " ... " ,
  "embeddings" : [ ... ]
}

Documentation

FAIRE

? Contributif

FAIRE