JsonGenius

jsongenius

Jsongenius เป็น API การขูดที่โฮสต์ตัวเองซึ่งแยกข้อมูลที่มีโครงสร้างที่อธิบายโดยสคีมา JSON ให้ URL และสคีมา JSON ที่ต้องการและ JSongenius จะส่งคืนข้อมูลที่มีโครงสร้างจากเว็บไซต์

การสาธิต

ข้อกำหนดเบื้องต้น

• นักเทียบท่า
• OPEN_AI_KEY - คีย์ API สำหรับ openai คุณสามารถรับฟรีได้ที่นี่ ควรตั้งค่าเป็นตัวแปรสภาพแวดล้อม

การใช้งาน

Docker Compose (แนะนำ)

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
docker compose up

API จะมีให้ที่ http: // localhost: 3001 คุณสามารถเปลี่ยนพอร์ตได้โดยแก้ไขไฟล์ docker-compose.yml

รวบรวมจากแหล่งที่มา

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
go build .
./jsongenius

API

โพสต์ /การค้นหา

จุดปลายนี้รับร่าง JSON ที่มีฟิลด์ต่อไปนี้:

• url : URL ของเว็บไซต์เพื่อขูด
• schema : JSON Schema ที่จะใช้เพื่อแยกข้อมูลจากเว็บไซต์ สคีมาจะต้องเป็นวัตถุสคีมา JSON ที่ถูกต้อง อ่านเพิ่มเติมเกี่ยวกับ JSON Schema ที่นี่

ตัวอย่าง

curl -X POST -H " Content-Type: application/json " -d ' {
  "url": "https://www.amazon.com/s?k=gaming+headsets",
  "schema": {
    "type": "object",
    "properties": {
      "products": {
        "type": "array",
        "items": {
          "type": "object",
          "properties": {
            "name": {
              "type": "string",
              "description": "The product name"
            },
            "price": {
              "type": "number",
              "description": "The price of the product in USD"
            }
          }
        }
      }
    }
  }
} ' http://localhost:3001/lookup

คำถามที่พบบ่อย

• มันใช้งานได้กับเว็บไซต์ JS Heavy หรือไม่? ใช่! Jsongenius ใช้โครเมียมเพื่อแสดงหน้าหน้าดังนั้นจึงสามารถจัดการเว็บไซต์ใด ๆ ที่เบราว์เซอร์ปกติสามารถทำได้
• ฉันสามารถนำอินสแตนซ์โครเมียมของฉันเองได้หรือไม่? ใช่! คุณสามารถตั้งค่าตัวแปรสภาพแวดล้อม WS_URL ที่ชี้ไปที่จุดสิ้นสุดของโปรโตคอล Chrome Devtools Jsongenius จะใช้สิ่งนั้นแทนที่จะหมุนอินสแตนซ์โครเมียมของตัวเอง