JsonGenius

Jsongenius

Jsongenius는 JSON 스키마에 의해 기술 된 구조화 된 데이터를 추출하는 자체 주최 스크래핑 API입니다. URL 및 원하는 JSON 스키마를 제공하면 JSONGENIUS는 웹 사이트에서 구조화 된 데이터를 반환합니다.

데모

전제 조건

• Docker Compose
• OPEN_AI_KEY OpenAI의 API 키. 여기에서 무료로 하나를 얻을 수 있습니다. 환경 변수로 설정해야합니다.

용법

Docker Compose (권장)

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
docker compose up

API는 http : // localhost : 3001에서 제공됩니다. docker-compose.yml 파일을 편집하여 포트를 변경할 수 있습니다.

소스에서 컴파일하십시오

git clone https://github.com/semanser/jsongenius
cd jsongenius
export OPEN_AI_KEY= < your key here >
go build .
./jsongenius

API

게시 /조회

이 엔드 포인트는 다음 필드가있는 JSON 본체를 수용합니다.

• url : 웹 사이트의 URL
• schema : 웹 사이트에서 데이터를 추출하는 데 사용하는 JSON 스키마. 스키마는 유효한 JSON 스키마 객체 여야합니다. JSON 스키마에 대한 자세한 내용은 여기를 참조하십시오.

예

curl -X POST -H " Content-Type: application/json " -d ' {
  "url": "https://www.amazon.com/s?k=gaming+headsets",
  "schema": {
    "type": "object",
    "properties": {
      "products": {
        "type": "array",
        "items": {
          "type": "object",
          "properties": {
            "name": {
              "type": "string",
              "description": "The product name"
            },
            "price": {
              "type": "number",
              "description": "The price of the product in USD"
            }
          }
        }
      }
    }
  }
} ' http://localhost:3001/lookup

FAQ

• JS 중장비와 함께 작동합니까? 예! Jsongenius는 Chromium을 사용하여 페이지를 렌더링하므로 일반 브라우저가 할 수있는 모든 웹 사이트를 처리 할 수 ​​있습니다.
• 내 자신의 크롬 인스턴스를 가져올 수 있습니까? 예! Chrome Devtools 프로토콜 엔드 포인트를 가리키는 WS_URL 환경 변수를 설정할 수 있습니다. Jsongenius는 자체 크롬 인스턴스를 회전시키는 대신 사용합니다.