الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

وصف المشروع

يتضمن تنفيذ المهام المشتركة في حقل NLP اكتشافًا جديدًا للكلمات ، بالإضافة إلى ناقلات Word استنادًا إلى Pytorch ، وتصنيف النص الصيني ، والتعرف على الكيان ، وتوليد النص ، وحكم تشابه الجملة ، والاستخراج الثلاثي ، والنماذج التي تم تدريبها مسبقًا ، وما إلى ذلك.

يعتمد 

 python 3.7
pytorch 1.8.0
torchtext 0.9.1
optuna 2.6.0
transformers 3.0.2

جدول المحتويات

0. خوارزمية اكتشاف الكلمات الجديدة

  • 0-1. اكتشاف كلمات جديدة

1. ناقلات الكلمة

  • 1-1. Word2Vec (Skip-Gram)
  • 1-2. قفاز

2. تصنيف النص (يتم استخدام Optuna لضبط المعلمات داخليًا)

  • 2-1. TextCnn
  • 2-2. fasttext
  • 2-3. Textrcnn
  • 2-4. Textrnn_att
  • 2-5. DPCNN
  • 2-6. xgboost
  • 2-7. Distill_ & Fine Tune Bert
  • 2-8. استغلال النمط استخدام MLM لتصنيف النص
  • 2-9. r-drop

مجموعة البيانات (مجلد البيانات): مجموعة بيانات الرأي العام الثنائي ، مقسمة على النحو التالي:

مجموعة البيانات حجم البيانات
مجموعة التدريب 56700
مجموعة التحقق 7000
مجموعة الاختبار 6300

3. تحديد الكيان ner ner

  • 3-1. Bert-MRC
  • 3-2. Bert-CRF
  • 3-3. بيرت-سميلا-ymantics
  • 3-4. Bert-MLM

4. جيل ملخص النص

1). صيغة الجيل

  • 4-1. نموذج SEQ2Seq
  • 4-2. نموذج SEQ2Seq + آلية الانتباه
  • 4-3. نموذج المحول
  • 4-4. جيل ملخص GPT
  • 4-5. بيرت seq2seq

2). اِستِخلاص

  • 4-6. Bert-extraction-Summarizer

5. تمييز تشابه الجملة

  • 5-1. جملة التشابه

6. تصنيف متعدد العلامات

  • 6-1. تصنيف متعدد

7. استخراج ثلاثي

  • 7-1. العلاقة

8. نموذج تدريب مسبق (Electra + Simcse)

  • 8-1. نموذج ما قبل اللغة

9. نصيحة للتعلم

  • 9-1. P-Tuning V1

10. paperwithcode

يسجل هذا المجلد بعض الأوراق ورمز النموذج المقابل لها:

  • 10.1. التحول المشترك بين التحويل
  • 10.2. lattice_lstm

11. ض QA

يسجل هذا المجلد ملخصًا بسيطًا لبعض نقاط المعرفة للتعلم الآلي/التعلم العميق.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل