DiscovAI crawl

Discovai 크롤링 API? ️?

AI 도구 및 벡터 데이터베이스의 URL에서 필요한 모든 것을 긁어 내기 위해 하나의 API.

? 진행중인 작업 ?

? 특징

우리의 API는 포괄적 인 데이터 추출 및 처리 기능을 제공합니다.

• ? Clean HTML (JavaScript 및 CSS 제거)
• LLM 친화적 인 마크 다운 변환
• 광고 무료, 쿠키 배너 프리 및 대화식 콘텐츠
• ? 웹 사이트 스크린 샷 (AWS S3 또는 CloudFlare R2에 자동으로 제공
• ? LLM 생성 SEO 친화적 인 콘텐츠
• ? LLM 추출 된 주요 정보 (요약, 기능, FAQ 등)
• ? 벡터 데이터베이스 통합을위한 즉시 사용 가능한 임베딩 (DB로 자동 구원)

? 설치

pnpm i
cd apps/api && pnpm exec playwright install

용법

pnpm dev
open http://localhost:3000

? API 응답 구조

{
  "clean_html" : " ... " ,
  "LLM_friendly_markdown" : " ... " ,
  "clean_text" : " ... " ,
  "screenshot_url" : " ... " ,
  "llm_extracts_key_info" : {
    "what" : " ... " ,
    "summary" : " ... " ,
    "features" : [ " ... " , " ... " ],
    "faqs" : [{ "q" : " ... " , "a" : " ... " }]
  },
  "llm_summarized_detail" : " ... " ,
  "embeddings" : [ ... ]
}

선적 서류 비치

TODO

? 기여

TODO