JsonGenius

Jsongenius

Jsongenius é uma API de raspagem auto-hospedada que extrai dados estruturados descritos por um esquema JSON. Forneça qualquer URL e um esquema JSON desejado, e Jsongenius retornará os dados estruturados do site.

Demonstração

Pré -requisitos

• Docker compor
• OPEN_AI_KEY - uma chave da API para o OpenAI. Você pode obter um de graça aqui. Isso deve ser definido como uma variável de ambiente.

Uso

Docker Compose (recomendado)

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
docker compose up

A API estará disponível em http: // localhost: 3001. Você pode alterar a porta editando o arquivo docker-compose.yml .

Compilar da fonte

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
go build .
./jsongenius

API

Postagem /pesquisa

Este terminal aceita um corpo JSON com os seguintes campos:

• url : o URL do site para raspar
• schema : o esquema JSON a ser usado para extrair dados do site. O esquema deve ser um objeto de esquema JSON válido. Leia mais sobre o JSON Schema aqui.

Exemplo

curl -X POST -H " Content-Type: application/json " -d ' {
  "url": "https://www.amazon.com/s?k=gaming+headsets",
  "schema": {
    "type": "object",
    "properties": {
      "products": {
        "type": "array",
        "items": {
          "type": "object",
          "properties": {
            "name": {
              "type": "string",
              "description": "The product name"
            },
            "price": {
              "type": "number",
              "description": "The price of the product in USD"
            }
          }
        }
      }
    }
  }
} ' http://localhost:3001/lookup

Perguntas frequentes

• Funciona com sites pesados ​​da JS? Sim! Jsongenius usa o Chromium para renderizar a página, para que possa lidar com qualquer site que um navegador normal possa.
• Posso trazer minha própria instância de cromo? Sim! Você pode definir a variável de ambiente WS_URL que aponta para um terminal de protocolo Chrome Devtools. Jsongenius usará isso em vez de aumentar sua própria instância de cromo.