JsonGenius

Jsongenius

Jsongenius ist eine selbst gehostete API, die strukturierte Daten extrahiert, die von einem JSON-Schema beschrieben werden. Geben Sie jede URL und ein gewünschtes JSON -Schema an, und Jsongenius gibt die strukturierten Daten von der Website zurück.

Demo

Voraussetzungen

• Docker komponieren
• OPEN_AI_KEY - Ein API -Schlüssel für OpenAI. Hier können Sie eine kostenlos bekommen. Dies sollte als Umgebungsvariable festgelegt werden.

Verwendung

Docker Compose (empfohlen)

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
docker compose up

Die API wird unter http: // localhost: 3001 erhältlich sein. Sie können den Port ändern, indem Sie die Datei docker-compose.yml bearbeiten.

Aus der Quelle kompilieren

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
go build .
./jsongenius

API

Post /Suche

Dieser Endpunkt akzeptiert einen JSON -Körper mit den folgenden Feldern:

• url : Die URL der Website zum Kratzen
• schema : Das JSON -Schema zum Extrahieren von Daten von der Website. Das Schema muss ein gültiges JSON -Schema -Objekt sein. Lesen Sie hier mehr über JSON Schema.

Beispiel

curl -X POST -H " Content-Type: application/json " -d ' {
  "url": "https://www.amazon.com/s?k=gaming+headsets",
  "schema": {
    "type": "object",
    "properties": {
      "products": {
        "type": "array",
        "items": {
          "type": "object",
          "properties": {
            "name": {
              "type": "string",
              "description": "The product name"
            },
            "price": {
              "type": "number",
              "description": "The price of the product in USD"
            }
          }
        }
      }
    }
  }
} ' http://localhost:3001/lookup

FAQ

• Funktioniert es mit JS Heavy -Websites? Ja! Jsongenius verwendet Chromium, um die Seite zu rendern, sodass sie jede Website verarbeiten kann, die ein normaler Browser kann.
• Kann ich meine eigene Chrominstanz mitbringen? Ja! Sie können die WS_URL -Umgebungsvariable festlegen, die auf einen Chrom -Devtools -Protokollendpunkt hinweist. Jsongenius wird das verwenden, anstatt eine eigene Chrominstanz zu erstellen.