JsonGenius

Jsongenius

Jsongenius-это самостоятельный API, который извлекает структурированные данные, описанные схемой JSON. Предоставьте любой URL и желаемую схему JSON, и Jsongenius вернет структурированные данные с веб -сайта.

Демо

Предварительные условия

• Docker Compose
• OPEN_AI_KEY - ключ API для Openai. Вы можете получить его бесплатно здесь. Это должно быть установлено как переменная среды.

Использование

Docker Compose (рекомендуется)

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
docker compose up

API будет доступен по адресу http: // localhost: 3001. Вы можете изменить порт, редактируя файл docker-compose.yml .

Скомпилируйте из источника

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
go build .
./jsongenius

API

Post /lookup

Эта конечная точка принимает тело JSON со следующими полями:

• url : URL -адрес сайта
• schema : схема JSON для извлечения данных с веб -сайта. Схема должна быть действительным объектом схемы JSON. Узнайте больше о схеме JSON здесь.

Пример

curl -X POST -H " Content-Type: application/json " -d ' {
  "url": "https://www.amazon.com/s?k=gaming+headsets",
  "schema": {
    "type": "object",
    "properties": {
      "products": {
        "type": "array",
        "items": {
          "type": "object",
          "properties": {
            "name": {
              "type": "string",
              "description": "The product name"
            },
            "price": {
              "type": "number",
              "description": "The price of the product in USD"
            }
          }
        }
      }
    }
  }
} ' http://localhost:3001/lookup

Часто задаваемые вопросы

• Это работает с JS Heavy сайтами? Да! Jsongenius использует хром для визуализации страницы, поэтому он может обрабатывать любой веб -сайт, который может обычный браузер.
• Могу ли я принести свой собственный экземпляр хрома? Да! Вы можете установить переменную среды WS_URL , которая указывает на конечную точку протокола Chrome Devtools. Jsongenius будет использовать это вместо того, чтобы раскручивать свой собственный экземпляр хрома.