Скачать DiscovAI crawl - DiscovAI crawl Source Code скачать

DiscovAI crawl

Другой исходный код

1.0.0

Скачать

Discovai Crawl API? ️?

Один API, чтобы соскрести все, что вам нужно, от URL -адресов для вашего инструмента ИИ и векторной базы данных.

? Работа в процессе ?

? Функции

Наш API предоставляет комплексный набор возможностей извлечения и обработки данных:

? Чистый HTML (JavaScript и CSS удален)
LLM-дружелюбный преобразование маркировки
Без рекламы, без баннеров печенья и без диалога контент
? Скриншоты веб-сайта (автоматическое обоснование AWS S3 или Cloudflare R2)
? Погенерированный LLM SEO-дружелюбный контент
? Информация о ключе с эксплуатацией LLM (резюме, функции, часто задаваемые вопросы и т. Д.)
? Готовые к использованию встраивания для интеграции базы данных векторной базы (автоматическое обоснование DB)

? Установка

pnpm i
cd apps/api && pnpm exec playwright install

Использование

pnpm dev
open http://localhost:3000

? Структура ответа API

{
  "clean_html" : " ... " ,
  "LLM_friendly_markdown" : " ... " ,
  "clean_text" : " ... " ,
  "screenshot_url" : " ... " ,
  "llm_extracts_key_info" : {
    "what" : " ... " ,
    "summary" : " ... " ,
    "features" : [ " ... " , " ... " ],
    "faqs" : [{ "q" : " ... " , "a" : " ... " }]
  },
  "llm_summarized_detail" : " ... " ,
  "embeddings" : [ ... ]
}