easy image scraping

Stracage d'image facile de Google, Bing, Yahoo et Baidu

Grattez automatiquement les images avec votre requête à partir des moteurs de recherche populaires

• Google
• Bing
• Baidu
• Yahoo (actuellement seulement basse résolution)

Utilisation d'un frontend facile à utiliser ou à l'aide de scripts.

Ce code fait partie d'un article (citation), vérifiez également la page du projet si vous êtes intéressé à la création d'un ensemble de données par la segmentation par instance.

Usage

L'extrémité avant

Démarrez l'extrémité frontale avec une seule commande (ajustez le /PATH/TO/OUTPUT sur le chemin de sortie souhaité)

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest

Entrez votre requête et attendez que les résultats s'affichent dans le dossier output . Les applications Web montrent également un aperçu des images téléchargées.

Ligne de commande

Commencez à utiliser la ligne de commande avec

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest bash

Rechercher un mot-clé

Si vous souhaitez simplement rechercher un seul mot-clé ajustez et exécutez search_by_keyword.py

Recherchez une liste de mots clés

• Écrivez la liste des termes de recherche dans le fichier search_terms_eng.txt .
• Vous pouvez ensuite utiliser Google Translate pour traduire l'ensemble du fichier en nouvelles langues. Modifiez la fin du fichier traduit en langue respective.
• Ajustez config.py pour définir les moteurs de recherche pour chaque langue
• Exécuter search_by_keywords_from_files

Installation (facultative)

Ceci est facultatif - vous pouvez également utiliser directement notre conteneur fourni.

Docker

Vous pouvez également construire l'image vous-même en utilisant

docker build -t easy_image_scraping .

L'exécution en utilisant

docker run -it --rm --name easy_image_scraping -p 5000:5000 --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output easy_image_scraping

Pour la configuration locale, vérifiez ceci

Installation locale

• Configurer un environnement en utilisant

  conda env create -f environment.yml

  ou

  pip install -r requirements.txt

• Pour utiliser le sélénium, nous devons télécharger le pilote Chrome (voir également ceci)
• Vérifiez votre version Chrome et téléchargez la version WebDriver correspondante
• Décompressez-le et ajoutez-le au chemin (pour plus de détails, voir ici). Alternativement, vous pouvez ajuster Scrape_and_download.py

   with webdriver . Chrome (
      executable_path = "path/to/chrome_diver.exe" ,  # add this line
      options = set_chrome_options ()
  ) as wd :

Affiliations

Licence et crédits

• Le code est partiellement basé et emprunté à
  • sczhengyabin / image-downloader (principalement crawler.py), licence MIT
  • Article avec GIST par Fabian Bosler, voir fetch_image_urls.py
• Dockerfile est basé sur Joyzoursky / Docker-Python-Chromedriver, Licence MIT
• Les avis de cookies sont gérés par les je ne se soucient toujours pas des cookies Extension GNU General Public Licence V3.0

Sauf indication contraire, ce projet est sous licence en vertu de la licence du MIT.

Citation

Si vous utilisez ce code pour la recherche scientifique, veuillez envisager de citer

@inproceedings{naumannScrapeCutPasteLearn2022,
	title        = {Scrape, Cut, Paste and Learn: Automated Dataset Generation Applied to Parcel Logistics},
	author       = {Naumann, Alexander and Hertlein, Felix and Zhou, Benchun and Dörr, Laura and Furmans, Kai},
	booktitle    = {{{IEEE Conference}} on {{Machine Learning}} and Applications ({{ICMLA}})},
	date         = 2022
}

Clause de non-responsabilité

Veuillez être conscient des restrictions du droit d'auteur qui pourraient s'appliquer aux images que vous téléchargez.