easy image scraping

Легкий соскабливание изображений из Google, Bing, Yahoo и Baidu

Автоматически соскребайте изображения с помощью вашего запроса из популярных поисковых систем

• Google
• Бинг
• Байду
• Yahoo (в настоящее время только низкое разрешение)

Использование простого в использовании фронта или использования сценариев.

Этот код является частью статьи (цитата), также проверьте страницу проекта, если вы заинтересованы в создании набора данных, например, сегментации.

Использование

Внешний интерфейс

Запустите переднюю часть с одной командой (отрегулируйте /PATH/TO/OUTPUT на желаемый выход вывода)

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest

Введите свой запрос и подождите, пока результаты покажут в output . В веб -приложениях также показан предварительный просмотр загруженных изображений.

Командная строка

Начните использовать командную строку с

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest bash

Поиск ключевого слова

Если вы просто хотите найти одно ключевые слова Аректируйте и запустите search_by_keyword.py

Поиск списка ключевых слов

• Напишите список поисковых терминов в файле search_terms_eng.txt .
• Затем вы можете использовать Google Translate, чтобы перевести весь файл на новые языки. Измените окончание переведенного файла на соответствующий язык.
• Регулируйте config.py , чтобы определить поисковые системы для каждого языка
• Запустите search_by_keywords_from_files

Установка (необязательно)

Это необязательно - вы также можете напрямую использовать наш предоставленный контейнер.

Докер

Вы также можете создать изображение самостоятельно, используя

docker build -t easy_image_scraping .

Запустить его, используя

docker run -it --rm --name easy_image_scraping -p 5000:5000 --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output easy_image_scraping

Для локальной настройки проверьте это

Местная установка

• Настройка среды с использованием

  conda env create -f environment.yml

  или

  pip install -r requirements.txt

• Чтобы использовать Selenium, нам нужно загрузить драйвер Chrome (также см. Это)
• Проверьте свою версию Chrome и загрузите соответствующую версию Webdriver
• Разанизируйте его и добавьте к пути (подробности см. Здесь). В качестве альтернативы, вы можете настроить scrape_and_download.py

   with webdriver . Chrome (
      executable_path = "path/to/chrome_diver.exe" ,  # add this line
      options = set_chrome_options ()
  ) as wd :

Принадлежность

Лицензия и кредиты

• Код частично основан на и заимствован из
  • Sczhengyabin/Image-Downloader (в основном Crawler.py), лицензия MIT
  • Статья с Gists от Fabian Bosler, см. Fetch_image_urls.py
• Dockerfile основан на Joyzoursky/ Docker-Python-chromedriver, MIT License
• Уведомления о cookie обрабатываются Im до сих пор не заботятся о Pookie Extension GNU General Public License v3.0

Если не указано иное, этот проект лицензирован по лицензии MIT.

Цитирование

Если вы используете этот код для научных исследований, пожалуйста, рассмотрите возможность ссылаться на

@inproceedings{naumannScrapeCutPasteLearn2022,
	title        = {Scrape, Cut, Paste and Learn: Automated Dataset Generation Applied to Parcel Logistics},
	author       = {Naumann, Alexander and Hertlein, Felix and Zhou, Benchun and Dörr, Laura and Furmans, Kai},
	booktitle    = {{{IEEE Conference}} on {{Machine Learning}} and Applications ({{ICMLA}})},
	date         = 2022
}

Отказ от ответственности

Пожалуйста, помните об ограничениях авторских прав, которые могут применить к изображениям, которые вы загружаете.