الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

تجزئة النص كمهمة تعليمية خاضعة للإشراف

يحتوي هذا المستودع على رمز ومواد تكميلية مطلوبة لتدريب وتقييم نموذج كما هو موضح في تجزئة النص الورقي كمهمة تعليمية خاضعة للإشراف

يتطلب Downalod الموارد

Wiki-727k ، Wiki-50 مجموعات بيانات:

https://www.dropbox.com/sh/k3jh0fjbyr0gw0a/aadzad9sdtrbnvs1qlcjy5cza؟dl=0

Word2Vec:

https://drive.google.com/a/audioburst.com/uc؟export=download&confirm=zrin&id=0b7xkcwpi5kdynlnuttlss21pqmm

املأ المسارات ذات الصلة في configgenerator.py ، وتنفيذ البرنامج النصي (يتضمن مستودع GIT مجموعة بيانات Choi)

خلق بيئة: 

 conda create -n textseg python=2.7 numpy scipy gensim ipython 
source activate textseg
pip install http://download.pytorch.org/whl/cu80/torch-0.3.0-cp27-cp27mu-linux_x86_64.whl 
pip install tqdm pathlib2 segeval tensorboard_logger flask flask_wtf nltk
pip install pandas xlrd xlsxwriter termcolor

كيف تدير عملية التدريب؟ 

 python run.py --help

مثال: 

 python run.py --cuda --model max_sentence_embedding --wiki

كيفية تقييم النموذج المدرب (على مجموعة بيانات Wiki-727/Choi)؟ 

 python test_accuracy.py  --help

مثال: 

 python test_accuracy.py --cuda --model <path_to_model> --wiki

كيفية إنشاء مجموعة بيانات ويكيبيديا جديدة: 

 python wiki_processor.py --input <input> --temp <temp_files_folder> --output <output_folder> --train <ratio> --test <ratio>

الإدخال هو المسار الكامل إلى تفريغ ويكيبيديا ، وتيس هو المسار إلى مجلد الملفات المؤقتة ، والإخراج هو المسار إلى مجموعة بيانات ويكيبيديا التي تم إنشاؤها حديثًا.

يمكن تنزيل Wikipedia Dump من عنوان URL التالي:

https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل