easy image scraping

سهلة الكشط من Google و Bing و Yahoo و Baidu

كشط الصور تلقائيًا مع استعلامك من محركات البحث الشائعة

• جوجل
• بنغ
• بايدو
• ياهو (حاليا فقط دقة منخفضة)

باستخدام واجهة أمامية سهلة الاستخدام أو استخدام البرامج النصية.

هذا الرمز جزء من ورقة (اقتباس) ، تحقق أيضًا من صفحة المشروع إذا كنت مهتمًا بإنشاء مجموعة بيانات على سبيل المثال.

الاستخدام

الواجهة الأمامية

ابدأ الواجهة الأمامية بأمر واحد (اضبط /PATH/TO/OUTPUT إلى مسار الإخراج المطلوب)

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest

أدخل استعلامك وانتظر حتى تظهر النتائج في مجلد output . تعرض تطبيقات الويب أيضًا معاينة للصور التي تم تنزيلها.

سطر الأوامر

ابدأ باستخدام سطر الأوامر مع

docker run -it --rm --name easy_image_scraping --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output -p 5000:5000 ghcr.io/a-nau/easy-image-scraping:latest bash

ابحث عن كلمة رئيسية

إذا كنت ترغب فقط في البحث عن كلمات رئيسية واحدة ، قم بضبط وتشغيل search_by_keyword.py

ابحث عن قائمة الكلمات الرئيسية

• اكتب قائمة مصطلحات البحث في الملف search_terms_eng.txt .
• يمكنك بعد ذلك استخدام Google Translate لترجمة الملف بأكمله إلى لغات جديدة. تغيير نهاية الملف المترجم إلى اللغة المعنية.
• اضبط config.py لتحديد محركات البحث لكل لغة
• قم بتشغيل search_by_keywords_from_files

التثبيت (اختياري)

هذا اختياري - يمكنك أيضًا استخدام الحاوية المقدمة بشكل مباشر.

عامل ميناء

يمكنك أيضًا بناء الصورة بنفسك باستخدام

docker build -t easy_image_scraping .

تشغيله باستخدام

docker run -it --rm --name easy_image_scraping -p 5000:5000 --mount type=bind,source=/PATH/TO/OUTPUT,target=/usr/src/app/output easy_image_scraping

للإعداد المحلي ، تحقق من هذا

التثبيت المحلي

• قم بإعداد بيئة باستخدام

  conda env create -f environment.yml

  أو

  pip install -r requirements.txt

• لاستخدام السيلينيوم ، نحتاج إلى تنزيل برنامج تشغيل Chrome (انظر هذا أيضًا)
• تحقق من إصدار Chrome الخاص بك وقم بتنزيل إصدار WebDriver المقابل
• قم بفك ضغطه ، وأضفه إلى المسار (للحصول على التفاصيل ، انظر هنا). بدلاً من ذلك ، يمكنك ضبط screap_and_download.py

   with webdriver . Chrome (
      executable_path = "path/to/chrome_diver.exe" ,  # add this line
      options = set_chrome_options ()
  ) as wd :

الانتماءات

الترخيص والائتمانات

• يعتمد الكود جزئيًا على ومسره من
  • Sczhengyabin/image-hownoader (معظمها الزاحف
  • مقال مع Gists by Fabian Bosler ، انظر Fetch_image_urls.py
• يعتمد Dockerfile على Joyzoursky/ Docker-Python-Chromedriver ، ترخيص معهد ماساتشوستس للتكنولوجيا
• تتم معالجة إشعارات ملفات تعريف الارتباط من قبل ما زلت لا أهتم بملحقات ملفات تعريف الارتباط GNU GENERATIONER V3.0

ما لم ينص على خلاف ذلك ، يتم ترخيص هذا المشروع بموجب ترخيص معهد ماساتشوستس للتكنولوجيا.

اقتباس

إذا كنت تستخدم هذا الرمز للبحث العلمي ، فيرجى التفكير في الإشارة إلى

@inproceedings{naumannScrapeCutPasteLearn2022,
	title        = {Scrape, Cut, Paste and Learn: Automated Dataset Generation Applied to Parcel Logistics},
	author       = {Naumann, Alexander and Hertlein, Felix and Zhou, Benchun and Dörr, Laura and Furmans, Kai},
	booktitle    = {{{IEEE Conference}} on {{Machine Learning}} and Applications ({{ICMLA}})},
	date         = 2022
}

تنصل

يرجى أن تكون على علم بتقييم حقوق الطبع والنشر التي قد تنطبق على الصور التي تقوم بتنزيلها.