Vaaku2Vec

vaaku2vec

نمذجة اللغة الحديثة وتصنيف النص في لغة المالايالامية

نتائج

قمنا بتدريب نموذج لغة المالايالامية على تفريغ مقال ويكيبيديا من أكتوبر ، 2018. كان لدى Wikipedia Dump 55k+. صعوبة في تدريب نموذج لغة المالايالامية هو رمز النص ، لأن المالايالامية هي لغة للغاية وتجميلية. في النموذج الحالي ، نستخدم nltk tokenizer (سنحاول بديلًا أفضل في المستقبل) وحجم المفردات 30 كيلو. تم استخدام نموذج اللغة لتدريب مصنف يصنف الأخبار في 5 فئات (الهند ، كيرالا ، الرياضة ، الأعمال ، الترفيه). خرج المصنف لدينا بدقة 92 ٪ في مهمة التصنيف.

الإصدارات

• تم تجنيد Wikipedia تفريغ المقالات المقسمة إلى اختبار وتدريب.
• السيناريو والأوزان لنموذج لغة المالايالامية.
• مصنف النص المالايالامي مع الأوزان المسبقة.
• رمز الاستدلال لمصنف النص.

التنزيلات

• نموذج لغة المالايالامي المسبق

• مصنف أخبار Malayalam Pretrained - لتشغيل التنبؤ فقط ، استخدم هذا.

• Datadump الخام من Malayalam Wikipedia المقالات: مقالات المالايالامية

متطلبات

تثبيت التبعيات

Python3.6> =

إذا كنت تستخدم VirtualEnvwrapper ، فاستخدم الخطوات التالية:

1. git clone https://github.com/adamshamsudeen/Vaaku2Vec.git
2. mkvirtualenv -p python3.6 venv
3. workon venv
4. cd Vaaku2Vec
5. pip install -r requirements.txt

الاستخدام

نموذج لغة التدريب مع البيانات المعالجة مسبقا:

1. قم بتنزيل مجلد نموذج اللغة المسبق ، ويحتوي على الاختبار المعالجة مسبقًا وتدريب CSV. إذا كنت ترغب في إعادة التكاثر وإعادة تدريب LM باستخدام أحدث تفريغ مقالة Dump باستخدام البرامج النصية المتوفرة هنا.
2. إنشاء الرموز:
   python lm/create_toks.py <path_to_processed_wiki_dump>
   على سبيل المثال: python lm/create_toks.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
3. قم بإنشاء رمز لرسم خرائط الهوية:
   python lm/tok2id.py <path_to_processed_wiki_dump>
   على سبيل المثال: python lm/tok2id.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
4. نموذج لغة القطار:
   python lm/pretrain_lm.py <path_to_processed_wiki_dump> 0 --lr 1e-3 --cl 40
eg: python lm/pretrain_lm.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/ 0 --lr 1e-3 --cl 40
lr هو معدل التعلم و cl هو لا من الحقبة.

تدريب المصنف:

1. استخدم train_classifier.ipynb لتدريب مصنف النص المالايالامي.
2. لم ننشر مجموعة بيانات الأخبار ، ورفع طلبًا إذا كنت ترغب في تجربة ذلك.

اختبار المصنف:

1. لاختبار المصنف المدرب على أخبار مانوراما ، قم بتنزيل Pretrained Malyalam Text Classifier المذكور المذكور في التنزيلات.
2. استخدم prediction.ipynb .

لقد اختبرنا النموذج يدويًا على الأخبار من ورقة الأخبار الرائدة الأخرى وأداء النموذج جيدًا.

Word2Vec:

1. قمنا أيضًا بتدريب نموذج Word2Vec باستخدام Gensim مع تفريغ ويكيبيديا.
2. يمكنك أيضًا استخدام نموذج Word2VEC لتدريب مصنف نص. مصنف الأخبار
3. يمكنك رؤية عرض Word2VEC في الرابط أدناه.

العرض التوضيحي

تودو

• نمذجة لغة المالايالامية على أساس مقالات ويكيبيديا.
• إطلاق نماذج اللغة المدربة الأوزان.
• نص مصنف النصي مالايالامي.
• معيار مع MLMorph للرمز المميز.
• معيار مع زوج بايت ترميز الرمز المميز
• واجهة المستخدم لتدريب واختبار المصنف.
• chatbot الأساسية باستخدام هذا التنفيذ.

شكرًا

1. شكر خاص لسيباستيان رودر وجيريمي هوارد وغيره من المساهمين في Fastai و Ultmfit.
2. تصميم قاعدة شعار
3. Raeesa لتصميم الشعار.

المحاور

1. كمال ك راج
2. آدم شمسودين