easy image scraping

Fácil de raspar de Google, Bing, Yahoo y Baidu

Raspe automáticamente las imágenes con su consulta de los motores de búsqueda populares

• Google
• Aturdir
• Baidu
• Yahoo (actualmente solo de baja resolución)

Usar un frontend fácil de usar o usar scripts.

Este código es parte de un documento (cita), también consulte la página del proyecto si está interesado en la creación de un conjunto de datos, por ejemplo, segmentación.

Uso

Interfaz

Inicie el extremo frontal con un solo comando (ajuste la /PATH/TO/OUTPUT a la ruta de salida deseada)

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest

Ingrese su consulta y espere a que se muestren los resultados en la carpeta output . Las aplicaciones web también muestran una vista previa de las imágenes descargadas.

Línea de comando

Comience a usar la línea de comando con

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest bash

Buscar una palabra clave

Si solo desea buscar un solo ajuste de palabras clave y ejecutar search_by_keyword.py

Busque una lista de palabras clave

• Escriba la lista de términos de búsqueda en el archivo search_terms_eng.txt .
• Luego puede usar Google Translate para traducir todo el archivo a nuevos idiomas. Cambie el final del archivo traducido al idioma respectivo.
• Ajuste config.py para definir motores de búsqueda para cada idioma
• Ejecutar search_by_keywords_from_files

Instalación (opcional)

Esto es opcional: también puede usar directamente nuestro contenedor provisto.

Estibador

También puedes construir la imagen tú mismo usando

docker build -t easy_image_scraping .

La ejecución usando usando

docker run -it --rm --name easy_image_scraping -p 5000:5000 --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output easy_image_scraping

Para la configuración local, consulte esto

Instalación local

• Configurar un entorno utilizando

  conda env create -f environment.yml

  o

  pip install -r requirements.txt

• Para usar selenio, necesitamos descargar el controlador Chrome (también vea esto)
• Verifique su versión de Chrome y descargue la versión WebDriver correspondiente
• Deséjelo y agréguelo a la ruta (para más detalles, vea aquí). Alternativamente, puede ajustar scrape_and_download.py

   with webdriver . Chrome (
      executable_path = "path/to/chrome_diver.exe" ,  # add this line
      options = set_chrome_options ()
  ) as wd :

Afiliaciones

Licencia y créditos

• El código se basa parcialmente en
  • Sczhengyabin/Image-Downloader (principalmente Crawler.py), Licencia MIT
  • Artículo con Gists de Fabian Bosler, ver fetch_image_urls.py
• Dockerfile se basa en Joyzoursky/ Docker-Python-Cromedriver, licencia del MIT
• Los avisos de cookies son manejados por I Still no me importan las cookies Extension GNU General Public License v3.0

A menos que se indique lo contrario, este proyecto tiene licencia bajo la licencia MIT.

Citación

Si usa este código para la investigación científica, considere citar

@inproceedings{naumannScrapeCutPasteLearn2022,
	title        = {Scrape, Cut, Paste and Learn: Automated Dataset Generation Applied to Parcel Logistics},
	author       = {Naumann, Alexander and Hertlein, Felix and Zhou, Benchun and Dörr, Laura and Furmans, Kai},
	booktitle    = {{{IEEE Conference}} on {{Machine Learning}} and Applications ({{ICMLA}})},
	date         = 2022
}

Descargo de responsabilidad

Tenga en cuenta las restricciones de derechos de autor que podrían aplicarse a las imágenes que descargue.