JsonGenius

Jsongenius

Jsongenius adalah API yang diselenggarakan sendiri yang di-hosting yang mengekstrak data terstruktur yang dijelaskan oleh skema JSON. Berikan URL dan skema JSON yang diinginkan, dan Jsongenius akan mengembalikan data terstruktur dari situs web.

Demo

Prasyarat

• Docker menyusun
• OPEN_AI_KEY - Kunci API untuk OpenAI. Anda bisa mendapatkannya secara gratis di sini. Ini harus ditetapkan sebagai variabel lingkungan.

Penggunaan

Docker Compose (disarankan)

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
docker compose up

API akan tersedia di http: // localhost: 3001. Anda dapat mengubah port dengan mengedit file docker-compose.yml .

Mengkompilasi dari sumber

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
go build .
./jsongenius

API

Posting /Pencarian

Titik akhir ini menerima tubuh JSON dengan bidang -bidang berikut:

• url : URL situs web untuk mengikis
• schema : Skema JSON yang akan digunakan untuk mengekstrak data dari situs web. Skema harus menjadi objek skema JSON yang valid. Baca lebih lanjut tentang skema JSON di sini.

Contoh

curl -X POST -H " Content-Type: application/json " -d ' {
  "url": "https://www.amazon.com/s?k=gaming+headsets",
  "schema": {
    "type": "object",
    "properties": {
      "products": {
        "type": "array",
        "items": {
          "type": "object",
          "properties": {
            "name": {
              "type": "string",
              "description": "The product name"
            },
            "price": {
              "type": "number",
              "description": "The price of the product in USD"
            }
          }
        }
      }
    }
  }
} ' http://localhost:3001/lookup

FAQ

• Apakah ini berfungsi dengan situs web JS yang berat? Ya! Jsongenius menggunakan Chromium untuk membuat halaman, sehingga dapat menangani situs web apa pun yang dapat dilakukan oleh browser normal.
• Bisakah saya membawa contoh kromium saya sendiri? Ya! Anda dapat mengatur variabel lingkungan WS_URL yang menunjuk ke titik akhir protokol DevTools Chrome. Jsongenius akan menggunakannya alih -alih memutar instance kromiumnya sendiri.