الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

نموذج اللغة

نمذجة اللغة هي مهمة تُحدد احتمالات لتسلسل الكلمات أو الوحدات اللغوية المختلفة (على سبيل المثال ، الكلمة الفرعية ، الجملة ، إلخ). تعتبر نمذجة اللغة واحدة من أهم مشكلة في معالجة اللغة الطبيعية الحديثة (NLP) وتستخدم في العديد من تطبيقات NLP (على سبيل المثال التعرف على الكلام ، الترجمة الآلية ، تلخيص النص ، تصحيح الإملاء ، الإكمال التلقائي ، إلخ). في السنوات القليلة الماضية ، حققت الأساليب العصبية نتائج أفضل من الأساليب الإحصائية التقليدية في العديد من معايير نموذج اللغة. علاوة على ذلك ، أظهر العمل الأخير أن نموذج اللغة قبل التدريب يمكن أن يحسن العديد من مهام NLP بطرق مختلفة ، بما في ذلك الاستراتيجيات القائمة على الميزات (على سبيل المثال Elmo ، إلخ) واستراتيجيات الضبط (مثل Openai GPT أو BERT ، إلخ) ، أو حتى في إعداد الصفر (مثل Openai GPT-2 ، إلخ).

الشكل 1: مثال على الإكمال التلقائي مدعوم بنمذجة اللغة

جلسة

  • بيثون 3.6.6
  • Tensorflow 1.12
  • Numpy 1.15.4
  • NLTK 3.3

مجموعة البيانات

  • تحتوي Wikipedia Corpus على حوالي ملياري كلمة من النص من تفريغ 2014 من ويكيبيديا (حوالي 4.4 مليون صفحة). بقدر ما ندرك ، فإن بيانات النص الكامل لـ Wikipedia هي الإصدار الوحيد المتاح من نسخة حديثة من ويكيبيديا.
  • BooksCorpus: الكتب هي مصدر غني لكل من المعلومات الدقيقة ، وكيف تبدو الشخصية أو الكائن أو المشهد ، بالإضافة إلى دلالات عالية المستوى ، وما يفكر فيه شخص ما ، وكيف تتطور هذه الحالات من خلال قصة. يهدف هذا العمل إلى مواءمة الكتب مع إصدارات أفلامها من أجل توفير تفسيرات وصفية غنية للمحتوى المرئي الذي يتجاوز بكثير التسميات التوضيحية المتوفرة في مجموعات البيانات الحالية.
  • يتم استهداف معيار كلمة بقيمة مليار كلمة لإتاحة إعداد التدريب والاختبار القياسي لتجارب نمذجة اللغة. يحتوي هذا المعيار على ما يقرب من مليار كلمة من بيانات التدريب ، ويهدف إلى مساعدة الباحث على تقييم أساليب نمذجة اللغة الجديدة بسرعة ، ومقارنة المساهمات بسهولة عند دمجها مع التقنيات المتقدمة الأخرى.
  • القفازات هي خوارزمية تعليمية غير خاضعة للإشراف للحصول على تمثيل المتجهات للكلمات. يتم تنفيذ التدريب على إحصاءات تواجد الكلمات العالمية المجمعة من مجموعة من مجموعة ، ويعرض التمثيلات الناتجة الهياكل الخطية الخطية المثيرة للاهتمام لمساحة ناقلات الكلمة.

الاستخدام

  • بيانات المعالجة المسبقة 
 # convert raw data
python preprocess/convert_data.py --dataset wikipedia --input_dir data/wikipedia/raw --output_dir data/wikipedia/processed --min_seq_len 0 --max_seq_len 512
# prepare vocab & embed files
python prepare_resource.py 
--input_dir data/wikipedia/processed --max_word_size 512 --max_char_size 16 
--full_embedding_file data/glove/glove.840B.300d.txt --word_embedding_file data/wikipedia/resource/lm.word.embed --word_embed_dim 300 
--word_vocab_file data/wikipedia/resource/lm.word.vocab --word_vocab_size 100000 
--char_vocab_file data/wikipedia/resource/lm.char.vocab --char_vocab_size 1000
  • تشغيل التجربة 
 # run experiment in train + eval mode
python language_model_run.py --mode train_eval --config config/config_lm_template.xxx.json
# run experiment in train only mode
python language_model_run.py --mode train --config config/config_lm_template.xxx.json
# run experiment in eval only mode
python language_model_run.py --mode eval --config config/config_lm_template.xxx.json
  • تشفير النص 
 # encode text as ELMo vector
python language_model_run.py --mode encode --config config/config_lm_template.xxx.json
  • ابحث عن المعلمة Hyper 
 # random search hyper-parameters
python hparam_search.py --base-config config/config_lm_template.xxx.json --search-config config/config_search_template.xxx.json --num-group 10 --random-seed 100 --output-dir config/search
  • تصور ملخص 
 # visualize summary via tensorboard
tensorboard --logdir=output

نموذج

نموذج لغة ثنائية الاتجاه (BILM)

بالنظر إلى تسلسل ، يحسب نموذج اللغة ثنائية الاتجاه احتمال التسلسل للأمام ،

ثم يتم تشغيله فوق التسلسل بترتيب عكسي لحساب احتمال التسلسل ،

يمر التسلسل أولاً من خلال طبقة التضمين المشتركة ، ثم يتم تصميمه بواسطة RNN متعدد الطبقات (على سبيل المثال LSTM ، GRU ، إلخ) في كلا الاتجاهين وأخيراً يتم تطبيق تطبيع Softmax للحصول على الاحتمالات ،

الشكل 2: بنية نموذج اللغة ثنائية الاتجاه (المصدر: نماذج اللغة المعممة)

يتم تدريب النموذج من خلال تقليل احتمال السجل السلبي للاتجاهات إلى الأمام والخلف ،


مرجع

  • ماثيو إي بيترز ، مارك نيومان ، موهيت آيير ، ماثيو غاردنر ، كريستوفر تي كلارك ، كنتون لي ، ولوك س. zettlemoyer. تمثيلات الكلمات العميقة السياقية [2018]
  • أليك رادفورد ، كارثيك ناراسيمهان ، تيم سليمانز وإيليا سوتسكفر. تحسين فهم اللغة من خلال التدريب قبل التدريب [2018]
  • يعقوب ديفلين ، مينغ واي تشانغ ، كنتون لي ، وكريستينا توتانوفا. بيرت: ما قبل التدريب من محولات ثنائية الاتجاه العميقة لفهم اللغة [2018]
  • أليك رادفورد ، جيفري وو ، ريون تشايلد ، ديفيد لوان ، داريو أمودي وإيليا سوتسكفر. نماذج اللغة متعلمين في المهام المتعددة غير الخاضعة للإشراف [2019]
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل