الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

ما هذا؟

مكتبة مصاحبة لمكتبة التعلم الآلي ميزات الهندسة واختيار النماذج القابلة للتفسير: دورة ثانية لعلماء البيانات

وحدة Sngramextractor تساعد في استخراج العلاقات النحوية (علامات SR) كعناصر من sn-grams.

نتبع المسار الذي يتميز به السهام في التبعيات ونحصل على sngrams. [1]

إن ميزة N-Grams النحوية (SN-Grams) ، أي n-grams التي تم إنشاؤها باستخدام مسارات في الأشجار النحوية ، هي أنها أقل تعسفية من n-grams التقليدية. وبالتالي ، فإن عددهم أقل من عدد n-grams التقليدية. علاوة على ذلك ، يمكن تفسيرها على أنها ظاهرة لغوية ، في حين أن n-grams التقليدية ليس لها تفسير لغوي معقول فهي مجرد قطعة أثرية إحصائية. [1]

يتمتع SN-GRAM بقدرة على الاستخدام عبر العديد من مجالات تطبيقات معالجة اللغة الطبيعية ، مثل مهام التصنيف في التعلم الآلي [2] ، استخراج المعلومات [3] ، فهم الاستعلام [4] ، الترجمة الآلية [5] ، أنظمة الإجابة على الأسئلة [6]

معلمات الإدخال

  • نص إدخال النص كجملة واحدة.
  • meta_tag يجب أن يتم تسلسل Bigram و trigram مع جزء من علامة الكلام ('pos') أو علامة التبعية ('dep') أو sn-gram الأصلي ('الأصلي')
  • trigram_flag إذا كنا بحاجة إلى تضمين trigrams مشتقة من sn-grams وكذلك ('نعم') أم لا ('لا'). الافتراضي هو "نعم"
  • NLP_MODEL حدد نموذج لغة Spacy الذي تريد استخدامه. الافتراضي هو نموذج SPACE English Language EN_CORE_WEB_SM. هذا مفيد لتكون قادرة على استخدام لغات أخرى غير اللغة الإنجليزية.

الإخراج

كائن القاموس مع أزواج القيمة الرئيسية لـ Bigram و Trigram المستمدة من SN-Gram.

  • مفتاح قاموس Snbigram لـ Bigram المستمدة من SN-Gram
  • مفتاح قاموس Sntrigram لـ Trigram المستمدة من SN-Gram

كيف تستخدم هو؟ 

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

من أين تحصل عليه؟

pip install SNgramExtractor

كيف تستشهد؟

MD Azimul Haque (2022). ميزة هندسة واختيار النماذج القابلة للتفسير: دورة ثانية لعلماء البيانات. Lulu Press ، Inc.

التبعيات

  • سبيس
  • SPACY MODEL EN_CORE_WEB_SM

مراجع

  1. n-grams المستندة إلى التبعية النحوية كميزات تصنيف من قبل Grigori Sidorov و Francisco Velasquez و Efstathios Stamatatos و Alexander Gelbukh و Liliana Chanona-Hernadez
  2. النحازية n-grams كميزات التعلم الآلي لمعالجة اللغة الطبيعية من قبل Grigori Sidorov و Francisco Velasquez و Efstathios Stamatatos و Alexander Gelbukh و Liliana Chanona-Hernández
  3. استخراج المعلومات المفتوحة القائمة على التبعية من قبل بابلو جامالو وماركوس جارسيا وسانتياغو فرنانديز لانزا
  4. فهم الاستعلام المعزز من خلال هياكل التحليل الهرمي من قبل Jingjing Liu و Panupong Pasupat و Yining Wang و Scott Cyphers و Jim Glass
  5. أشجار هيكل التبعية في ترجمة الآلة القائمة على بناء الجملة بواسطة Vamshi Ambati
  6. أسئلة الإجابة على استرجاع الممر باستخدام علاقات التبعية بواسطة Hang Cui و Renxu Sun و Keya Li و Min-Yen Kan و Tat-Seng Chua
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل