JsonGenius

Jsongenius

Jsongenius是一种自托管的刮擦API，它提取JSON模式描述的结构化数据。提供任何URL和所需的JSON模式，Jsongenius将从网站返回结构化数据。

演示

先决条件

• Docker组成
• OPEN_AI_KEY OpenAI的API键。您可以在这里免费获得一个。应该将其设置为环境变量。

用法

Docker组成（推荐）

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
docker compose up

API将在http：// localhost：3001上提供。您可以通过编辑docker-compose.yml文件来更改端口。

从源编译

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
go build .
./jsongenius

API

帖子 /查找

该端点接受一个带有以下字段的JSON机构：

• url ：网站刮擦的URL
• schema ：用于从网站提取数据的JSON模式。模式必须是有效的JSON模式对象。在此处阅读有关JSON模式的更多信息。

例子

curl -X POST -H " Content-Type: application/json " -d ' {
  "url": "https://www.amazon.com/s?k=gaming+headsets",
  "schema": {
    "type": "object",
    "properties": {
      "products": {
        "type": "array",
        "items": {
          "type": "object",
          "properties": {
            "name": {
              "type": "string",
              "description": "The product name"
            },
            "price": {
              "type": "number",
              "description": "The price of the product in USD"
            }
          }
        }
      }
    }
  }
} ' http://localhost:3001/lookup

常问问题

• 它可以与JS重型网站一起使用吗？是的！ Jsongenius使用Chromium呈现页面，因此它可以处理普通浏览器可以的任何网站。
• 我可以带上自己的铬实例吗？是的！您可以设置指向Chrome DevTools协议端点的WS_URL环境变量。 Jsongenius将使用它，而不是旋转自己的铬实例。