easy image scraping

從Google，Bing，Yahoo和Baidu刮擦的簡單圖像

從流行的搜索引擎中自動刮擦圖像

• Google
• bing
• 百度
• Yahoo（目前只有低分辨率）

使用易於使用的前端或使用腳本。

該代碼是論文（引用）的一部分，還要檢查項目頁面，如果您有興趣創建數據集，例如分段。

用法

前端

使用一個命令啟動前端（將/PATH/TO/OUTPUT調整到所需的輸出路徑）

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest

輸入查詢，並等待結果在output文件夾中顯示。 Web應用程序還顯示了下載圖像的預覽。

命令行

開始使用命令行

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest bash

搜索關鍵字

如果您只想搜索單個關鍵字調整併運行search_by_keyword.py

搜索關鍵字列表

• 在文件search_terms_eng.txt中寫下搜索項列表。
• 然後，您可以使用Google Translate將整個文件轉換為新語言。將翻譯文件的結尾更改為相應的語言。
• 調整config.py以定義每種語言的搜索引擎
• 運行search_by_keywords_from_files

安裝（可選）

這是可選的 - 您也可以直接使用我們提供的容器。

Docker

您還可以自己構建圖像

docker build -t easy_image_scraping .

通過使用

docker run -it --rm --name easy_image_scraping -p 5000:5000 --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output easy_image_scraping

對於本地設置，請檢查此

本地安裝

• 使用

  conda env create -f environment.yml

  或者

  pip install -r requirements.txt

• 要使用硒，我們需要下載Chrome驅動程序（也請參見此）
• 檢查您的Chrome版本並下載相應的WebDriver版本
• 解壓縮它，然後將其添加到路徑中（有關詳細信息，請參見此處）。另外，您可以調整scrape_and_download.py

   with webdriver . Chrome (
      executable_path = "path/to/chrome_diver.exe" ,  # add this line
      options = set_chrome_options ()
  ) as wd :

從屬關係

許可證和積分

• 代碼部分基於並從
  • sczhengyabin/image-downloader（主要是crawler.py），麻省理工學院許可證
  • Fabian Bosler的文章，請參見Fetch_image_urls.py
• Dockerfile基於Joyzoursky/ Docker-Python-Chromedriver，MIT許可證
• cookie通知是由我仍然不在乎cookie擴展GNU通用公共許可證v3.0處理的通知。

除非另有說明，否則該項目將根據MIT許可證獲得許可。

引用

如果您使用此代碼進行科學研究，請考慮引用

@inproceedings{naumannScrapeCutPasteLearn2022,
	title        = {Scrape, Cut, Paste and Learn: Automated Dataset Generation Applied to Parcel Logistics},
	author       = {Naumann, Alexander and Hertlein, Felix and Zhou, Benchun and Dörr, Laura and Furmans, Kai},
	booktitle    = {{{IEEE Conference}} on {{Machine Learning}} and Applications ({{ICMLA}})},
	date         = 2022
}

免責聲明

請注意可能適用於您下載的圖像的版權限制。