الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

النسخة الإنجليزية |中文版说明

Albert_pytorch

يحتوي هذا المستودع على تطبيق Pytorch لنموذج Albert من الورقة

لايت بيرت لتمثيل لغة التعلم الخاضع للرقابة ذاتيا

بواسطة Zhenzhong LAN. مينغدا تشن ....

التبعيات

  • Pytorch = 1.10
  • CUDA = 9.0
  • Cudnn = 7.5
  • Scikit-Learn
  • الحكيم

قم بتنزيل النماذج التي تم تدريبها مسبقًا من اللغة الإنجليزية

روابط التنزيل الرسمية: Google Albert

التكيف مع هذا الإصدار ， قم بتنزيل نموذج Pytorch (Google Drive):

V1

  • Albert_base_v1.zip
  • Albert_large_v1.zip
  • Albert_xlarge_v1.zip
  • albert_xxlarge_v1.zip

V2

  • Albert_base_v2.zip
  • Albert_large_v2.zip
  • Albert_xlarge_v2.zip
  • Albert_xxlarge_v2.zip

الكون المثالى

１. ضع config.json و 30k-clean.model في دليل prev_trained_model/albert_base_v2 . مثال: 

 ├── prev_trained_model
|  └── albert_base_v2
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── 30k-clean.model

2．convert Albert TF نقطة تفتيش إلى Pytorch 

 python convert_albert_tf_checkpoint_to_pytorch . py 
    - - tf_checkpoint_path = . / prev_trained_model / albert_base_tf_v2 
    - - bert_config_file = . / prev_trained_model / albert_base_v2 / config . json 
    - - pytorch_dump_path = . / prev_trained_model / albert_base_v2 / pytorch_model . bin

إن تقييم فهم اللغة العامة (GLUE) هو مجموعة من مهام فهم اللغة الطبيعية من تسع جملة أو جملة لتقييم أنظمة فهم اللغة الطبيعية وتحليلها.

قبل تشغيل أي شخص من مهام الغراء هذه ، يجب عليك تنزيل بيانات الغراء عن طريق تشغيل هذا البرنامج النصي وتفريغه في بعض Data_dir Data_dir.

3．RUN sh scripts/run_classifier_sst2.sh

نتيجة

أداء Albert على نتائج القياس الغراء باستخدام إعداد نموذج واحد على Dev :

كولا SST-2 mnli STS-B
متري Matthews_Corrcoef دقة دقة بيرسون
نموذج كولا SST-2 mnli STS-B
Albert_base_v2 0.5756 0.926 0.8418 0.9091
Albert_large_v2 0.5851 0.9507 0.9151
Albert_xlarge_v2 0.6023 0.9221
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل