easy image scraping

Gesekan gambar yang mudah dari Google, Bing, Yahoo dan Baidu

Mengikis gambar secara otomatis dengan kueri Anda dari mesin pencari populer

• Google
• Bing
• Baidu
• Yahoo (saat ini hanya resolusi rendah)

Menggunakan frontend yang mudah digunakan atau menggunakan skrip.

Kode ini adalah bagian dari makalah (kutipan), juga periksa halaman proyek jika Anda tertarik untuk membuat dataset misalnya segmentasi.

Penggunaan

Ujung depan

Mulai ujung depan dengan perintah tunggal (sesuaikan /PATH/TO/OUTPUT ke jalur output yang Anda inginkan)

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest

Masukkan kueri Anda dan tunggu hasilnya di folder output . Aplikasi Web juga menunjukkan pratinjau gambar yang diunduh.

Baris perintah

Mulailah menggunakan baris perintah dengan

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest bash

Cari Kata Kunci

Jika Anda hanya ingin mencari kata kunci tunggal menyesuaikan dan menjalankan search_by_keyword.py

Cari daftar kata kunci

• Tulis daftar istilah pencarian di file search_terms_eng.txt .
• Anda kemudian dapat menggunakan Google Translate untuk menerjemahkan seluruh file ke bahasa baru. Ubah akhir dari file yang diterjemahkan ke bahasa masing -masing.
• Sesuaikan config.py untuk menentukan mesin pencari untuk setiap bahasa
• Jalankan search_by_keywords_from_files

Instalasi (opsional)

Ini opsional - Anda juga dapat secara langsung menggunakan wadah yang disediakan.

Buruh pelabuhan

Anda juga dapat membangun gambar sendiri menggunakan

docker build -t easy_image_scraping .

Jalankan dengan menggunakan

docker run -it --rm --name easy_image_scraping -p 5000:5000 --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output easy_image_scraping

Untuk pengaturan lokal, periksa ini

Instalasi lokal

• Siapkan lingkungan menggunakan

  conda env create -f environment.yml

  atau

  pip install -r requirements.txt

• Untuk menggunakan selenium, kita perlu mengunduh driver chrome (juga lihat ini)
• Periksa versi chrome Anda dan unduh versi webdriver yang sesuai
• Buka ritsleting, dan tambahkan ke jalur (untuk detail, lihat di sini). Atau, Anda dapat menyesuaikan scrape_and_download.py

   with webdriver . Chrome (
      executable_path = "path/to/chrome_diver.exe" ,  # add this line
      options = set_chrome_options ()
  ) as wd :

Afiliasi

Lisensi dan kredit

• Kode sebagian didasarkan dan dipinjam dari
  • sczhengyabin/gambar-downloader (kebanyakan crawler.py), lisensi mit
  • Artikel dengan GIST oleh Fabian Bosler, lihat fetch_image_urls.py
• Dockerfile didasarkan pada Joyzoursky/ Docker-Python-Chromedriver, Lisensi MIT
• Pemberitahuan Cookie ditangani oleh I Still Not Not Tentang Cookies Extension GNU Umum Lisensi Publik v3.0

Kecuali dinyatakan sebaliknya, proyek ini dilisensikan di bawah lisensi MIT.

Kutipan

Jika Anda menggunakan kode ini untuk penelitian ilmiah, harap pertimbangkan mengutip

@inproceedings{naumannScrapeCutPasteLearn2022,
	title        = {Scrape, Cut, Paste and Learn: Automated Dataset Generation Applied to Parcel Logistics},
	author       = {Naumann, Alexander and Hertlein, Felix and Zhou, Benchun and Dörr, Laura and Furmans, Kai},
	booktitle    = {{{IEEE Conference}} on {{Machine Learning}} and Applications ({{ICMLA}})},
	date         = 2022
}

Penafian

Harap perhatikan pembatasan hak cipta yang mungkin berlaku untuk gambar yang Anda unduh.