JsonGenius

Jsongenius

Jsongenius es una API de raspado autohospedada que extrae datos estructurados descritos por un esquema JSON. Proporcione cualquier URL y un esquema JSON deseado, y Jsonganius devolverá los datos estructurados del sitio web.

Manifestación

Requisitos previos

• Docker componer
• OPEN_AI_KEY : una tecla API para OpenAI. Puedes obtener uno gratis aquí. Esto debe establecerse como una variable de entorno.

Uso

Docker Compose (recomendado)

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
docker compose up

La API estará disponible en http: // localhost: 3001. Puede cambiar el puerto editando el archivo docker-compose.yml .

Compilar desde la fuente

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
go build .
./jsongenius

API

Post /búsqueda

Este punto final acepta un cuerpo JSON con los siguientes campos:

• url : la URL del sitio web para raspar
• schema : el esquema JSON para usar para extraer datos del sitio web. El esquema debe ser un objeto de esquema JSON válido. Lea más sobre el esquema JSON aquí.

Ejemplo

curl -X POST -H " Content-Type: application/json " -d ' {
  "url": "https://www.amazon.com/s?k=gaming+headsets",
  "schema": {
    "type": "object",
    "properties": {
      "products": {
        "type": "array",
        "items": {
          "type": "object",
          "properties": {
            "name": {
              "type": "string",
              "description": "The product name"
            },
            "price": {
              "type": "number",
              "description": "The price of the product in USD"
            }
          }
        }
      }
    }
  }
} ' http://localhost:3001/lookup

Preguntas frecuentes

• ¿Funciona con sitios web JS Heavy? ¡Sí! Jsongenius usa Chromium para representar la página, para que pueda manejar cualquier sitio web que pueda un navegador normal.
• ¿Puedo traer mi propia instancia de cromo? ¡Sí! Puede establecer la variable de entorno WS_URL que apunta a un punto final del protocolo Chrome DevTools. Jsongenius usará eso en lugar de girar su propia instancia de cromo.