SNgramExtractor

O que é?

Biblioteca de Machine Learning Book Engineering & Seleção para modelos explicáveis: um segundo curso para cientistas de dados

O módulo SNGRameXtrator ajuda a extrair relações sintáticas (tags SR) como elementos dos gramas de SN.

Seguimos o caminho marcado pelas setas nas dependências e obtemos sngrams. [1]

A vantagem dos n-gramas sintáticos (gramas de SN), ou seja, n-gramas que são construídos usando caminhos em árvores sintáticas, é que elas são menos arbitrárias que os n-gramas tradicionais. Assim, seu número é menor que o número de n-gramas tradicionais. Além disso, eles podem ser interpretados como fenômenos linguísticos, enquanto os n-grams tradicionais não têm interpretação linguística plausível, são meramente artefatos estatísticos. [1]

O SN-Gram tem usabilidade em muitas áreas de aplicação de processamento de linguagem natural, como tarefas de classificação no aprendizado de máquina [2], extração de informações [3], compreensão da consulta [4], tradução da máquina [5], sistemas de resposta a perguntas [6]

Parâmetros de entrada

• texto de entrada de texto como uma única frase.
• META_TAG BIGRAM E TRIGRAMA resultantes devem ser concatenados com parte da tag de fala ('pos') ou tag de dependência ('dep') ou sn original ('original')
• TriGram_flag se precisarmos incluir trigramas derivados de grama de SN ('sim') ou não ('não'). O padrão é 'sim'
• NLP_MODEL Especifique o modelo de idioma espacial que você deseja usar. O padrão é o modelo de idioma inglês spacy en_core_web_sm. Isso é útil para poder usar idiomas que não sejam o inglês.

Saída

Objeto de dicionário com pares de valor-chave para bigram e trigrama derivados de Sn-Gram.

• Chave do dicionário de snbigram
• Chave do dicionário de SnntriGram para o trigrama derivado de Sn-Gram

Como usar é?

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

Onde obtê -lo?

pip install SNgramExtractor

Como citar?

Md azimul Haque (2022). Engenharia e seleção de recursos para modelos explicáveis: um segundo curso para cientistas de dados. Lulu Press, Inc.

Dependências

• Spacy
• Modelo Spacy en_core_web_sm

Referências

1. N Grams baseados em dependência sintática como recursos de classificação de Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh e Liliana Chanona-Hernández
2. N Grams sintáticos como recursos de aprendizado de máquina para processamento de linguagem natural de Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh e Liliana Chanona-Hernández
3. Extração de informações abertas baseadas em dependência por Pablo Gamallo, Marcos Garcia e Santiago Fernandez-Lanza
4. Entendimento de consulta aprimorado por estruturas de análise hierárquica de Jingjing Liu, Panupong Pasupat, Yining Wang, Scott Cyphers e Jim Glass
5. Estrutura de dependência árvores na tradução da máquina baseada em sintaxe por Vamshi Ambati
6. Recuperação de passagens de resposta a perguntas usando relações de dependência por Hang Cui, Renxu Sun, Keya Li, Min-Yen Kan e Tat-Seng Chua