JsonGenius

Jsongenius

Jsongenius是一種自託管的刮擦API，它提取JSON模式描述的結構化數據。提供任何URL和所需的JSON模式，Jsongenius將從網站返回結構化數據。

演示

先決條件

• Docker組成
• OPEN_AI_KEY OpenAI的API鍵。您可以在這裡免費獲得一個。應該將其設置為環境變量。

用法

Docker組成（推薦）

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
docker compose up

API將在http：// localhost：3001上提供。您可以通過編輯docker-compose.yml文件來更改端口。

從源編譯

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
go build .
./jsongenius

API

帖子 /查找

該端點接受一個帶有以下字段的JSON機構：

• url ：網站刮擦的URL
• schema ：用於從網站提取數據的JSON模式。模式必須是有效的JSON模式對象。在此處閱讀有關JSON模式的更多信息。

例子

curl -X POST -H " Content-Type: application/json " -d ' {
  "url": "https://www.amazon.com/s?k=gaming+headsets",
  "schema": {
    "type": "object",
    "properties": {
      "products": {
        "type": "array",
        "items": {
          "type": "object",
          "properties": {
            "name": {
              "type": "string",
              "description": "The product name"
            },
            "price": {
              "type": "number",
              "description": "The price of the product in USD"
            }
          }
        }
      }
    }
  }
} ' http://localhost:3001/lookup

常問問題

• 它可以與JS重型網站一起使用嗎？是的！ Jsongenius使用Chromium渲染該頁面，因此它可以處理普通瀏覽器可以的任何網站。
• 我可以帶上自己的鉻實例嗎？是的！您可以設置指向Chrome DevTools協議端點的WS_URL環境變量。 Jsongenius將使用它，而不是旋轉自己的鉻實例。