DiscovAI crawlダウンロード - DiscovAI crawlソースコードのダウンロード

DiscovAI crawl

その他のソースコード

1.0.0

ダウンロード

DiscovaiクロールAPI？€？

AIツールとベクトルデータベースに必要なすべてをスクレイするための1つのAPI。

？進行中の作業？

？特徴

当社のAPIは、データの抽出および処理機能の包括的なスイートを提供します。

？クリーンHTML（JavaScriptとCSS削除）
LLMに優しいマークダウン変換
広告なし、クッキーバナーフリー、およびダイアログフリーのコンテンツ
？ウェブサイトのスクリーンショット（AWS S3またはCloudFlare R2に自動）
？ LLM生成されたSEOフレンドリーコンテンツ
？ LLMが抽出したキー情報（要約、機能、FAQなど）
？ベクトルデータベース統合用のすぐに使用できる埋め込み（DBに自動化された）

？インストール

pnpm i
cd apps/api && pnpm exec playwright install

使用法

pnpm dev
open http://localhost:3000

？ API応答構造

{
  "clean_html" : " ... " ,
  "LLM_friendly_markdown" : " ... " ,
  "clean_text" : " ... " ,
  "screenshot_url" : " ... " ,
  "llm_extracts_key_info" : {
    "what" : " ... " ,
    "summary" : " ... " ,
    "features" : [ " ... " , " ... " ],
    "faqs" : [{ "q" : " ... " , "a" : " ... " }]
  },
  "llm_summarized_detail" : " ... " ,
  "embeddings" : [ ... ]
}