SNgramExtractor

무엇입니까?

기계 학습 도서의 동반자 라이브러리 설명 가능한 모델을위한 엔지니어링 및 선택 : 데이터 과학자를위한 두 번째 코스

sngramextractor 모듈은 SN-Gram의 요소로 구문 관계 (SR Tags)를 추출하는 데 도움이됩니다.

우리는 종속성의 화살표로 표시된 경로를 따르고 sngrams를 얻습니다. [1]

구문 N- 그램 (SN- 그램), 즉 구문 트리의 경로를 사용하여 구성되는 N- 그램의 장점은 전통적인 n 그램보다 임의적이지 않다는 것입니다. 따라서 그들의 수는 전통적인 n 그램의 수보다 작습니다. 게다가, 그것들은 언어 현상으로 해석 될 수 있지만, 전통적인 n- 그램은 그럴듯한 언어 해석이 없지만 통계적 인공물 일뿐입니다. [1]

SN-Gram은 기계 학습 [2], 정보 추출 [3], 쿼리 이해 [4], 기계 번역 [5], 질문 응답 시스템 [6]과 같은 많은 자연어 처리 응용 분야에서 유용성이 있습니다.

입력 매개 변수

• 텍스트 입력 텍스트는 단일 문장입니다.
• Meta_tag 결과 Bigram 및 Trigram은 Speech Tag ( 'POS') 또는 종속성 태그 ( 'dep') 또는 Original SN-Gram ( 'Original')의 일부로 연결되어야합니다.
• Trigram_flag SN-Grams에서 파생 된 트리 그램 ( '예')이든 아니든 ( '아니오'). 기본값은 '예'입니다.
• nlp_model 사용하려는 스파이어 언어 모델을 지정하십시오. 기본값은 Spacy 영어 모델 EN_CORE_WEB_SM입니다. 이것은 영어 이외의 언어를 사용할 수있는 데 유용합니다.

산출

Sn-Gram에서 파생 된 Bigram 및 Trigram의 키 값 쌍이있는 사전 객체.

• SN-Gram에서 파생 된 Bigram의 SNBIGRAM 사전 키
• SN-Gram에서 파생 된 트리 그램의 Sntrigram 사전 키

사용하는 방법은 무엇입니까?

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

어디서 구할 수 있습니까?

pip install SNgramExtractor

인용하는 방법?

MD Azimul Haque (2022). 설명 가능한 모델을위한 기능 엔지니어링 및 선택 : 데이터 과학자를위한 두 번째 코스. Lulu Press, Inc.

의존성

• 스파이
• 스파크 모델 EN_CORE_WEB_SM

참조

1. Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh 및 Liliana Chanona-Hernández의 분류 기능으로서 구문 의존성 기반 N-Grams
2. Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh 및 Liliana Chanona-Hernández의 자연 언어 처리를위한 기계 학습 기능으로서의 구문 N- 그램
3. Pablo Gamallo, Marcos Garcia 및 Santiago Fernandez-Lanza의 종속성 기반 공개 정보 추출
4. Jingjing Liu, Panupong Pasupat, Yining Wang, Scott Cyphers 및 Jim Glass의 계층 구문 분석 구조에 의해 향상된 쿼리 이해
5. Vamshi Ambati의 구문 기반 기계 번역에서 의존성 구조 트리
6. 질문 응답 통과 검색 ANG CUI, Renxu Sun, Keya Li, Min-Yen Kan 및 Tat-Seng Chua의 종속성 관계를 사용한 질문 답변