easy image scraping

Easy Image Rasping do Google, Bing, Yahoo e Baidu

Raspe automaticamente imagens com sua consulta dos mecanismos de pesquisa populares

• Google
• Bing
• Baidu
• Yahoo (atualmente apenas baixa resolução)

usando um front-end fácil de usar ou usar scripts.

Este código faz parte de um artigo (citação), verifique também a página do projeto se você estiver interessado em criar um conjunto de dados, por exemplo, segmentação.

Uso

Front-end

Inicie o front -end com um único comando (ajuste o /PATH/TO/OUTPUT no caminho de saída desejado)

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest

Digite sua consulta e aguarde os resultados mostrarem na pasta output . Os aplicativos da Web também mostram uma visualização de imagens baixadas.

Linha de comando

Comece a usar a linha de comando com

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest bash

Procure uma palavra -chave

Se você deseja apenas procurar por uma única palavra -chave, ajuste e execute search_by_keyword.py

Procure uma lista de palavras -chave

• Escreva a lista dos termos de pesquisa no arquivo search_terms_eng.txt .
• Você pode usar o Google Translate para traduzir o arquivo inteiro em novos idiomas. Altere o final do arquivo traduzido para o respectivo idioma.
• Ajuste config.py para definir mecanismos de pesquisa para cada idioma
• Execute o search_by_keywords_from_files

Instalação (opcional)

Isso é opcional - você também pode usar diretamente nosso contêiner fornecido.

Docker

Você também pode construir a imagem usando você mesmo usando

docker build -t easy_image_scraping .

A corrida usando

docker run -it --rm --name easy_image_scraping -p 5000:5000 --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output easy_image_scraping

Para configuração local, verifique isso

Instalação local

• Configure um ambiente usando

  conda env create -f environment.yml

  ou

  pip install -r requirements.txt

• Para usar o selênio, precisamos fazer o download do driver do Chrome (veja também isso)
• Verifique sua versão Chrome e faça o download da versão correspondente do WebDriver
• Descompacte -o e adicione -o ao caminho (para detalhes, veja aqui). Como alternativa, você pode ajustar Scrape_and_download.py

   with webdriver . Chrome (
      executable_path = "path/to/chrome_diver.exe" ,  # add this line
      options = set_chrome_options ()
  ) as wd :

Afiliações

Licença e créditos

• O código é parcialmente baseado e emprestado de
  • Sczhengyabin/Image-Downloader (principalmente crawler.py), licença do MIT
  • Artigo com Gists de Fabian Bosler, veja Fetch_Image_URLs.py
• Dockerfile é baseado em Joyzoursky/ Docker-Python-Cromedriver, MIT License
• Os avisos de biscoitos são tratados pelo I Still não me importo com a extensão dos cookies GNU Licença pública geral v3.0

Salvo indicação em contrário, este projeto é licenciado sob a licença do MIT.

Citação

Se você usar este código para pesquisa científica, considere citar

@inproceedings{naumannScrapeCutPasteLearn2022,
	title        = {Scrape, Cut, Paste and Learn: Automated Dataset Generation Applied to Parcel Logistics},
	author       = {Naumann, Alexander and Hertlein, Felix and Zhou, Benchun and Dörr, Laura and Furmans, Kai},
	booktitle    = {{{IEEE Conference}} on {{Machine Learning}} and Applications ({{ICMLA}})},
	date         = 2022
}

Isenção de responsabilidade

Esteja ciente das restrições de direitos autorais que podem se aplicar às imagens que você baixar.