funko pop data
Initial database scrape
2021年1月3日 - 美國東部時間下午5:00
此存儲庫包含所有Funko Pop數據的JSON格式數據庫。當從事與Funko Pops有關的小型項目時,注意到沒有開源API可以獲取Funko Pop數據。最好的資源是流行價指南,但數據仍然非常無法訪問。
由於我無法找到所有Funko Pops的完整數據庫,因此我決定在Internet上刮擦各種網站,以獲取可用的Funko Pop列表。在此存儲庫中,您會找到一個包含23,000個Funko Pop產品條目的JSON文件。
所有數據都是開源的,可供任何人使用和在頂部使用。我將定期在這份名單上建立 - 可能每週。請隨時將數據用於您的喜好。該項目具有MIT許可證。
請負責任地使用數據。對於Funko社區來說,這是一個有趣的項目。
當前,每個Funko Pop的數據都捕獲了以下數據:
{
handle: ### A unique handle generated based on the title of the pop and using a `handleize` method.
image: ### A URL containing an image of what the Funko Pop looks like
title: ### The name of the Funko Pop
series: ### Array of series the Funko Pop is part of. I.E ["Pop! Animation","Pop! Vinyl","Emerald City Comic Con 2017"]
}
如果您想查看更多屬性或如果它們有用,請提出問題,我將嘗試添加數據。另外,可以隨意打開PR。
除了JSON數據外,完全相同的數據還通過funko_pop.csv文件中的CSV公開。所有Funko Pop數據也已上傳到公共Google Sheet。
我添加了我一直在使用的數據刮擦腳本。這不是完美的,但是可以做這項工作。根據您使用的設備,可以調整一些參數,例如sleep 。如果您想運行腳本,以下內容將幫助您入門:
npm install
node index.js
運行腳本後,將創建funko_pop.json文件。如果您希望將其導出到CSV格式,則可以運行:
node json-converter.js
如果您有改進,請打開PR,我會看看。積極尋找可能改善這種刮板的人。