easy image scraping

Einfaches Bildkratzer von Google, Bing, Yahoo und Baidu

Kratzen Sie Bilder automatisch mit Ihrer Abfrage aus den beliebten Suchmaschinen ab

• Google
• Bing
• Baidu
• Yahoo (derzeit nur niedrige Auflösung)

Verwenden eines benutzerfreundlichen Frontends oder der Verwendung von Skripten.

Dieser Code ist Teil eines Papiers (Zitat). Überprüfen Sie auch die Projektseite, wenn Sie an der Erstellung eines Datensatzes beispielsweise Segmentierung erstellen möchten.

Verwendung

Frontend

Starten Sie das vordere Ende mit einem einzelnen Befehl (Passen Sie den /PATH/TO/OUTPUT an den gewünschten Ausgangspfad an).

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest

Geben Sie Ihre Abfrage ein und warten Sie, bis die Ergebnisse im output angezeigt werden. Die Webanwendungen zeigen auch eine Vorschau von heruntergeladenen Bildern.

Befehlszeile

Verwenden Sie die Befehlszeile mit

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest bash

Suche nach einem Schlüsselwort

Wenn Sie nur nach einem einzelnen Schlüsselwörter suchen möchten, stellen Sie search_by_keyword.py an und führen Sie sie aus

Suchen Sie nach einer Liste von Schlüsselwörtern

• Schreiben Sie die Liste der Suchbegriffe in die Datei search_terms_eng.txt .
• Sie können dann Google Translate verwenden, um die gesamte Datei in neue Sprachen zu übersetzen. Ändern Sie das Ende der übersetzten Datei in die jeweilige Sprache.
• Passen Sie config.py an, um Suchmaschinen für jede Sprache zu definieren
• Führen Sie search_by_keywords_from_files aus

Installation (optional)

Dies ist optional - Sie können auch unseren bereitgestellten Container direkt verwenden.

Docker

Sie können das Bild auch selbst verwenden

docker build -t easy_image_scraping .

Das fähre es durch Verwendung

docker run -it --rm --name easy_image_scraping -p 5000:5000 --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output easy_image_scraping

Überprüfen Sie dies für die lokale Setup

Lokale Installation

• Richten Sie eine Umgebung ein

  conda env create -f environment.yml

  oder

  pip install -r requirements.txt

• Um Selenium zu verwenden, müssen wir den Chrome -Treiber herunterladen (siehe auch)
• Überprüfen Sie Ihre Chrome -Version und laden Sie die entsprechende Webdriver -Version herunter
• Entpacken Sie es und fügen Sie es dem Pfad hinzu (Einzelheiten siehe hier). Alternativ können Sie crape_and_download.py einstellen

   with webdriver . Chrome (
      executable_path = "path/to/chrome_diver.exe" ,  # add this line
      options = set_chrome_options ()
  ) as wd :

Zugehörigkeit

Lizenz und Credits

• Code basiert teilweise auf und ausgeliehen von
  • Sczhengyabin/Image-Downloader (meistens crawler.py), MIT-Lizenz
  • Artikel mit Gists von Fabian Bosler, siehe Fetch_image_urls.py
• Dockerfile basiert auf Joyzoursky/ Docker-Python-Chromedriver, MIT-Lizenz
• Cookie -Mitteilungen werden von den I -I -COWIES -Erweiterungs -GNU General Public License v3.0 behandelt.

Sofern nicht anders angegeben, ist dieses Projekt unter der MIT -Lizenz lizenziert.

Zitat

Wenn Sie diesen Code für wissenschaftliche Forschung verwenden, sollten Sie sich angeben

@inproceedings{naumannScrapeCutPasteLearn2022,
	title        = {Scrape, Cut, Paste and Learn: Automated Dataset Generation Applied to Parcel Logistics},
	author       = {Naumann, Alexander and Hertlein, Felix and Zhou, Benchun and Dörr, Laura and Furmans, Kai},
	booktitle    = {{{IEEE Conference}} on {{Machine Learning}} and Applications ({{ICMLA}})},
	date         = 2022
}

Haftungsausschluss

Bitte beachten Sie die Urheberrechtsbeschränkungen, die möglicherweise für Bilder gelten, die Sie herunterladen.