SNgramExtractor

这是什么？

机器学习书籍库图书库功能工程和可解释模型的选择：数据科学家的第二课程

SngrameXtractor模块有助于提取句法关系（SR标签）作为SN-Grams的元素。

我们遵循由依赖项中的箭头标记的路径并获得sngrams。[1]

使用句法树中的路径构建的句法n-gram（sn-gram）的优点是，它们不如传统的n-grams任意。因此，它们的数量小于传统n-gram的数量。此外，它们可以被解释为语言现象，而传统的n-grams没有合理的语言解释，它们仅仅是统计文物。 [1]

SN-Gram在许多自然语言处理应用领域中具有可用性，例如机器学习中的分类任务[2]，信息提取[3]，查询理解[4]，机器翻译[5]，问题答录系统[6]

输入参数

• 文本输入文本是一个句子。
• meta_tag由此产生的bigram和Trigram应与语音标签（'pos'）或依赖项标签（'dep'）或原始sn-gram（“原始”）的一部分串联
• Trigram_flag如果我们需要包括sn-grams（'yes'）或否（'no'）的Trigram。默认为“是”
• NLP_MODEL指定要使用的Spacy语言模型。默认是Spacy英语模型en_core_web_sm。这对于能够使用英语以外的语言很有用。

输出

带有Bigram和Trigram的钥匙值对的字典对象和sn-gram得出的trigram。

• sn-gram衍生的bigram的snbigram字典键
• sn-gram的sntrigram词典键

如何使用？

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

从哪里得到它？

pip install SNgramExtractor

如何引用？

MD Azimul Haque（2022）。可解释模型的功能工程和选择：数据科学家的第二课程。 Lulu Press，Inc。

依赖性

• Spacy
• Spacy型号EN_CORE_WEB_SM

参考

1. Grigori Sidorov，Francisco Velasquez，Efstathios Stamatatos，Alexander Gelbukh和Liliana Chanona-Hernánánánández的基于语法依赖性的N-Grams作为分类特征作为分类特征
2. Grigori Sidorov，Francisco Velasquez，Efstathios Stamatatos，Alexander gelbukh和Liliana Chanona-Hernández的句法N-gram作为自然语言处理的机器学习功能
3. Pablo Gamallo，Marcos Garcia和Santiago Fernandez-Lanza基于依赖关系的开放信息提取
4. 通过Jingjing Liu，Panupong Pasupat，Yining Wang，Scott Cyphers和Jim Glass通过层次解析结构增强的查询理解。
5. 基于语法的机器翻译中的依赖性结构树由Vamshi Ambati
6. 问题回答通过使用依赖关系的通过hang cui，Renxu Sun，Keya Li，Min-Yen Kan和Tat-Seng Chua的依赖关系检索