SNgramExtractor
1.0.0
機械学習のコンパニオンライブラリ説明説明可能なモデルのためのエンジニアリングと選択:データサイエンティストのための2番目のコース
Sngramextractorモジュールは、SN-Gramsの要素として構文関係(SRタグ)を抽出するのに役立ちます。
依存関係の矢印でマークされたパスをたどり、sngramsを取得します。[1]
構文n-grams(sn-grams)、すなわち、構文ツリーのパスを使用して構築されるn-gramsの利点は、従来のn-gramよりも任意ではないことです。したがって、それらの数は従来のNグラムの数よりも少ないです。その上、それらは言語現象として解釈することができますが、従来のNグラムにはもっともらしい言語解釈はありません。 [1]
SN-Gramは、機械学習[2]、情報抽出[3]、クエリ理解[4]、機械翻訳[5]、質問回答システム[6]など、多くの自然言語処理アプリケーション領域にわたって使いやすさを持っています。
Sn-Gramに由来するBigramとTrigramのキー値ペアを持つ辞書オブジェクト。
from SNgramExtractor import SNgramExtractor
text = 'Economic news have little effect on financial markets.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])
print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])
print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ]) pip install SNgramExtractor
MD Azimul Haque(2022)。説明可能なモデルの機能エンジニアリングと選択:データサイエンティスト向けの2番目のコース。 Lulu Press、Inc。