AutoDL

اللغة الإنجليزية |

AutoDL Challenge@Neups Challenge ، راجع مسابقة AutoDL للحصول على التفاصيل.

1. ما هو AutoDL؟

يركز AutoDL على خوارزمية عامة تقوم تلقائيًا بتصنيف متعدد العلامات للطرق التعسفية (الصورة ، والفيديو ، والنص ، والبيانات الجدولية). تعديل البيانات ، والميزات ، والنماذج ، لمشاكل مثل المعلمات الفائقة ، يمكنك صنع مصنف مع أداء ممتاز في أقل من 10 ثوان. حقق هذا المشروع نتائج ممتازة للغاية في 24 مجموعة بيانات غير متصلة بالإنترنت و 15 مجموعة بيانات عبر الإنترنت في مجالات مختلفة . يحتوي AutoDL على الميزات التالية:

☕full -Automatic : إطار التعلم العميق/التعلم الآلي التلقائي التلقائي ، لا يلزم تدخل يدوي للعملية بأكملها. تم تعديل جميع تفاصيل البيانات والميزات والنماذج مع الأفضل ، وتم حل مشاكل الحد من الموارد ، انحراف البيانات ، البيانات الصغيرة ، هندسة الميزات ، اختيار النماذج ، تحسين بنية الشبكة ، والبحث الفائق في مقياس البروبي. فقط قم بإعداد البيانات ، وبدء تشغيل AutoDL ، واحصل على فنجان من القهوة .

؟ جامعة : تدعم الطرائق التعسفية ، بما في ذلك الصور والفيديو والبيانات الجدولية المهيكلة ، ويدعم أي مشكلة تصنيف متعددة العلامات ، بما في ذلك التصنيف الثنائي ، والتصنيف المتعدد ، والتصنيف متعدد العلامات. لقد حقق نتائج ممتازة للغاية في مجالات مختلفة ، مثل التعرف على المشاة ، والتعرف على عمل المشاة ، والتعرف على الوجه ، والتعرف على الصوت ، وتصنيف الموسيقى ، وتصنيف اللكنة ، وتصنيف اللغة ، وتصنيف العاطفة ، وتصنيف البريد الإلكتروني ، وتصنيف الأخبار ، وتحسين الإعلان ، وأنظمة التوصية ، والبحث المحركات ، التسويق الدقيق ، إلخ.

نتائج ممتازة : فازت مسابقة AutoDL ببطل هائل ، بما في ذلك دعم نماذج التعلم الآلي التقليدي وأحدث نماذج التعلم العميق. تتضمن مكتبة النماذج نماذج بطل مفضلة من LR/SVM/LGB/CGB/XGB إلى RESNET*/MC3/DNN/THERRESNET*/TEXTCNN/RCNN/GRU/BERT وما إلى ذلك.

⚡extreme السرعة/الوقت الفعلي : احصل على أداء نماذج تنافسي بأسرع عشر ثوانٍ. يتم تحديث النتائج في الوقت الحقيقي (ثواني) ويمكنك الحصول على ملاحظات في الوقت الفعلي على النموذج دون انتظار.

2. المحتويات

• 1. ما هو AutoDL؟
• 2. المحتويات
• 3. التأثير
• 4. تعليمات المنافسة التلقائية
  • 4.1.
• 5. تثبيت
  • 5.1
• 6. ابدأ بسرعة
  • 6.1.
  • 6.2.
  • 6.3
  • 6.4.
  • 6.5.
  • 6.6.
• 7. مجموعات البيانات المتاحة
  • 7.1.
  • 7.2
• 8. رمز المساهمة
• 9. انضم إلى المجتمع
• 10. بروتوكول المصدر المفتوح

3. التأثير

• قائمة أولية (احتلت Deepwisdom المرتبة الأولى في المجموع ، بمتوسط ​​تصنيف 1.2 ، وفاز 4 أوائل في 5 مجموعات بيانات)

• قائمة النهائيات (احتلت DeepWisdom المرتبة الأولى في المجموع ، بمتوسط ​​تصنيف 1.8 ، وتحتل المرتبة 7 الأولى في 10 مجموعات بيانات)

4. تعليمات المنافسة التلقائية

1. البيئة الأساسية

   python > =3.5
   CUDA 10
   cuDNN 7.5

2. مستودع استنساخ

    cd <path_to_your_directory>
   git clone https://github.com/DeepWisdom/AutoDL.git
   

3. النموذج المدرب مسبقًا لتنزيل نموذج الكلام _model.h5 ووضعه في AutoDL_sample_code_submission/at_speech/pretrained_models/ الدليل.

4. اختياري: استخدم بيئة Docker متزامنة مع المنافسة

   • وحدة المعالجة المركزية

    cd path/to/autodl/
   docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:cpu-latest
   

   • GPU

    nvidia-docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:gpu-latest
   

5. إعداد مجموعة البيانات: استخدم نموذج بيانات البيانات في AutoDL_sample_data ، أو قم بتنزيل مجموعة البيانات العامة المسابقة.

6. إجراء الاختبارات المحلية

    python run_local_test.py
   

يتم استخدام الاختبارات المحلية بالكامل. python run_local_test.py -dataset_dir='AutoDL_sample_data/miniciao' -code_dir='AutoDL_sample_code_submission' يمكنك عرض صفحة HTML للحصول على ملاحظات منحنى التعلم في الوقت الفعلي في AutoDL_scoring_output/ mirectory.

للحصول على التفاصيل ، يرجى الرجوع إلى AutoDL Challenge الرسمي START_KIT.

4.1.

يمكن ملاحظة أنه في ظل مجموعات البيانات من خمسة أوضاع مختلفة ، حققت تدفقات خوارزمية AUTODL تأثيرات ممتازة للغاية للغاية ويمكن أن تحقق دقة عالية للغاية في وقت قصير جدًا.

5. تثبيت

يتم اختبار هذا المستودع على Python 3.6+ و Pytorch 1.3.1 و TensorFlow 1.15.

يجب عليك تثبيت AutODL في البيئة الافتراضية. إذا لم تكن على دراية بالبيئة الافتراضية ، فيرجى الرجوع إلى إرشادات المستخدم.

قم بإنشاء بيئة افتراضية مع إصدار Python المناسب وقم بتنشيطه.

5.1 عملية تثبيت Windows 10

5.1.1 تثبيت CUDA 10.0 و CUDNN V7.6.2.24

• CUDA 10.0 تحميل
• تنزيل Cudnn
• رمز استخراج السحابة Baidu: XB9X

5.1.2 تثبيت miniconda3-4.5.4-windows-x86_64.exe

• Miniconda3-4.5.4-Windows-X86_64.exe
• رمز استخراج السحابة Baidu: XB9X

5.1.3 تثبيت VisualCppBuildTools_full.exe

• VisualCppBuildTools_full.exe
• رمز استخراج السحابة Baidu: XB9X

5.1.4 إنشاء ملف start_env.bat

• انقله إلى دليل Miniconda3 المثبت

cmd.exe " /K " . M iniconda3 S cripts a ctivate.bat . M iniconda3

5.1.5 انقر نقرًا مزدوجًا فوق start_env.bat لتثبيت AutoDL-GPU

conda install pytorch==1.3.1
conda install torchvision -c pytorch
pip install autodl-gpu

5.2 تركيب Linux

pip install autodl-gpu

6. ابدأ بسرعة

6.1.

للحصول على التعليمات ، يرجى الرجوع إلى اختبار التأثير المحلي التلقائي للوصول السريع ، ومعرفة أمثلة/run_local_test.py على سبيل المثال رمز.

6.2.

راجع تصنيف صورة Quick Start ، ويتم عرض رمز العينة في أمثلة/run_image_classification_example.py

6.3

للحصول على التعليمات ، يرجى الرجوع إلى تصنيف الفيديو السريع.

6.4.

للحصول على التعليمات ، يرجى الرجوع إلى تصنيف الصوت للوصول السريع ، وعلى سبيل المثال ، يرجى الرجوع إلى أمثلة/run_speech_classification_py.py

6.5.

للحصول على إرشادات ، راجع تصنيف النص للنص السريع إلى اليد ، وشاهد رموز المثال في أمثلة/run_text_classification_example.py.

6.6.

للحصول على إرشادات ، راجع تصنيف جدول البدء السريع ، وشاهد أمثلة/run_tabular_classification_example.py على سبيل المثال الرمز.

7. مجموعات البيانات المتاحة

7.1.

python download_public_datasets.py

7.2

#	اسم	يكتب	اِختِصاص	مقاس	مصدر	البيانات (مع ملصقات اختبار)	اختبار الملصقات
1	مونستر	صورة	HWR	18 ميغابايت	mnist	مونستر	Munster.solution
2	مدينة	صورة	أشياء	128 ميغابايت	CIFAR-10	City.Data	City.Solution
3	تشاكي	صورة	أشياء	128 ميغابايت	CIFAR-100	Chucky.Data	Chucky.solution
4	بيدرو	صورة	الناس	377 ميغابايت	PA-100K	بيدرو	Pedro.solution
5	صائق	صورة	جوي	73 ميغابايت	NWPU VHR-10	Decal.Data	Secal.Solution
6	مطرقة	صورة	طبي	111 ميغابايت	HAM10000	Hammer.Data	Hammer.Solution
7	كريتور	فيديو	فعل	469 ميغابايت	كث	Kreatur.Data	kreatur.solution
8	Kreatur3	فيديو	فعل	588 ميغابايت	كث	kreatur3.data	kreatur3.solution
9	كراوت	فيديو	فعل	1.9 غيغابايت	كث	Kraut.Data	Kraut.solution
10	كاتزي	فيديو	فعل	1.9 غيغابايت	كث	katze.data	katze.solution
11	Data01	خطاب	المتحدث	1.8 غيغابايت	-	Data01.Data	Data01.Solution
12	Data02	خطاب	العاطفة	53 ميغابايت	-	data02.data	Data02.solution
13	Data03	خطاب	لهجة	1.8 غيغابايت	-	data03.data	Data03.solution
14	Data04	خطاب	النوع	469 ميغابايت	-	data04.data	Data04.solution
15	Data05	خطاب	لغة	208 ميغابايت	-	data05.data	Data05.solution
16	O1	نص	تعليقات	828 كيلو بايت	-	O1.Data	O1.Solution
17	O2	نص	العاطفة	25 ميغابايت	-	O2.data	O2.solution
18	O3	نص	أخبار	88 ميغابايت	-	O3.data	O3.solution
19	O4	نص	رسائل إلكترونية مزعجة	87 ميغابايت	-	O4.Data	O4.Solution
20	O5	نص	أخبار	14 ميغابايت	-	O5.data	O5.Solution
واحد وعشرون	بالغ	مجدول	التعداد	2 ميغابايت	بالغ	البالغين	البالغين
إثنان وعشرون	ديلبرت	مجدول	-	162 ميغابايت	-	ديلبرت	ديلبرت
ثلاثة وعشرين	الأرقام	مجدول	HWR	137 ميغابايت	mnist	الأرقام	الأرقام
أربعة وعشرون	مادلين	مجدول	-	2.6 ميغابايت	-	مادلين	مادلين

8. رمز المساهمة

❤ من فضلك لا تتردد في المشاركة في المساهمة افتح مشكلة أو تقديم PRS.

9. انضم إلى المجتمع

10. بروتوكول المصدر المفتوح

ترخيص Apache 2.0