SNgramExtractor

這是什麼？

機器學習書籍庫圖書庫功能工程和可解釋模型的選擇：數據科學家的第二課程

SngrameXtractor模塊有助於提取句法關係（SR標籤）作為SN-Grams的元素。

我們遵循由依賴項中的箭頭標記的路徑並獲得sngrams。 [1]

使用句法樹中的路徑構建的句法n-gram（sn-gram）的優點是，它們不如傳統的n-grams任意。因此，它們的數量小於傳統n-gram的數量。此外，它們可以被解釋為語言現象，而傳統的n-grams沒有合理的語言解釋，它們僅僅是統計文物。 [1]

SN-Gram在許多自然語言處理應用領域中具有可用性，例如機器學習中的分類任務[2]，信息提取[3]，查詢理解[4]，機器翻譯[5]，問題答錄系統[6]

輸入參數

• 文本輸入文本是一個句子。
• meta_tag由此產生的bigram和Trigram應與語音標籤（'pos'）或依賴項標籤（'dep'）或原始sn-gram（“原始”）的一部分串聯
• Trigram_flag如果我們需要包括sn-grams（'yes'）或否（'no'）的Trigram。默認為“是”
• NLP_MODEL指定要使用的Spacy語言模型。默認是Spacy英語模型en_core_web_sm。這對於能夠使用英語以外的語言很有用。

輸出

帶有Bigram和Trigram的鑰匙值對的字典對象和sn-gram得出的trigram。

• sn-gram衍生的bigram的snbigram字典鍵
• sn-gram的sntrigram詞典鍵

如何使用？

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

從哪裡得到它？

pip install SNgramExtractor

如何引用？

MD Azimul Haque（2022）。可解釋模型的功能工程和選擇：數據科學家的第二課程。 Lulu Press，Inc。

依賴性

• Spacy
• Spacy型號EN_CORE_WEB_SM

參考

1. Grigori Sidorov，Francisco Velasquez，Efstathios Stamatatos，Alexander Gelbukh和Liliana Chanona-Hernánánánández的基於語法依賴性的N-Grams作為分類特徵作為分類特徵
2. Grigori Sidorov，Francisco Velasquez，Efstathios Stamatatos，Alexander gelbukh和Liliana Chanona-Hernández的句法N-gram作為自然語言處理的機器學習功能
3. Pablo Gamallo，Marcos Garcia和Santiago Fernandez-Lanza基於依賴關係的開放信息提取
4. 通過Jingjing Liu，Panupong Pasupat，Yining Wang，Scott Cyphers和Jim Glass通過層次解析結構增強的查​​詢理解。
5. 基於語法的機器翻譯中的依賴性結構樹由Vamshi Ambati
6. 問題回答通過使用依賴關係的通過hang cui，Renxu Sun，Keya Li，Min-Yen Kan和Tat-Seng Chua的依賴關係檢索