JsonGenius

JSONGENIUS

Jsongenius est une API de grattage auto-hébergée qui extrait des données structurées décrites par un schéma JSON. Fournissez n'importe quelle URL et un schéma JSON souhaité, et Jsongenius renverra les données structurées du site Web.

Démo

Condition préalable

• Docker
• OPEN_AI_KEY - Une touche API pour OpenAI. Vous pouvez en obtenir un gratuitement ici. Cela devrait être défini comme une variable d'environnement.

Usage

Docker Compose (recommandé)

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
docker compose up

L'API sera disponible sur http: // localhost: 3001. Vous pouvez modifier le port en modifiant le fichier docker-compose.yml .

Compiler à partir de la source

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
go build .
./jsongenius

API

Post / recherche

Ce point final accepte un corps JSON avec les champs suivants:

• url : L'URL du site Web à gratter
• schema : le schéma JSON à utiliser pour extraire les données du site Web. Le schéma doit être un objet de schéma JSON valide. En savoir plus sur JSON Schema ici.

Exemple

curl -X POST -H " Content-Type: application/json " -d ' {
  "url": "https://www.amazon.com/s?k=gaming+headsets",
  "schema": {
    "type": "object",
    "properties": {
      "products": {
        "type": "array",
        "items": {
          "type": "object",
          "properties": {
            "name": {
              "type": "string",
              "description": "The product name"
            },
            "price": {
              "type": "number",
              "description": "The price of the product in USD"
            }
          }
        }
      }
    }
  }
} ' http://localhost:3001/lookup

FAQ

• Cela fonctionne-t-il avec JS Heavy Sites Web? Oui! Jsongenius utilise Chromium pour rendre la page, afin qu'il puisse gérer n'importe quel site Web qu'un navigateur normal peut.
• Puis-je apporter ma propre instance de chrome? Oui! Vous pouvez définir la variable d'environnement WS_URL qui pointe vers un point de terminaison du protocole Chrome Devtools. Jsongenius l'utilisera au lieu de faire tourner sa propre instance de chrome.