SNgramExtractor

¿Qué es?

Biblioteca complementaria de la ingeniería y selección de características de libros de aprendizaje automático para modelos explicables: un segundo curso para científicos de datos

El módulo Sngramextractor ayuda a extraer relaciones sintácticas (etiquetas SR) como elementos de SN-Grams.

Seguimos la ruta marcada por las flechas en las dependencias y obtenemos sngrams. [1]

La ventaja de los n-gramos sintácticos (SN-gramos), es decir, n-gramos que se construyen usando caminos en árboles sintácticos, es que son menos arbitrarios que los n-gramos tradicionales. Por lo tanto, su número es menor que el número de n-gramos tradicionales. Además, pueden interpretarse como un fenómeno lingüístico, mientras que los N-Grams tradicionales no tienen una interpretación lingüística plausible, son simplemente artefactos estadísticos. [1]

SN-GRAM tiene usabilidad en muchas áreas de aplicación de procesamiento de lenguaje natural, como tareas de clasificación en el aprendizaje automático [2], extracción de información [3], comprensión de consultas [4], traducción automática [5], sistemas de respuesta de preguntas [6]

Parámetros de entrada

• texto de entrada de texto como una sola oración.
• Meta_tag Bigram y Trigram resultantes deben concatenarse con parte de la etiqueta de voz ('pos') o la etiqueta de dependencia ('DEP') o el sn-gram original ('original'))
• trigram_flag Si necesitamos incluir trigramas derivados de SN-grams también ('sí') o no ('no'). El valor predeterminado es 'sí'
• NLP_Model Especifique el modelo de lenguaje Spacy que desea utilizar. El valor predeterminado es Spacy English Language Model EN_CORE_WEB_SM. Esto es útil para poder usar idiomas distintos del inglés.

Producción

Objeto de diccionario con pares de valor clave para BigRam y Trigram derivado de SN-Gram.

• Clave del diccionario de snbigram para bigram derivado de sn-gram
• Clave del diccionario Sntrigram para Trigram derivado de Sn-Gram

¿Cómo usarlo?

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

¿Dónde conseguirlo?

pip install SNgramExtractor

¿Cómo citar?

MD Azimul Haque (2022). Ingeniería y selección de características para modelos explicables: un segundo curso para científicos de datos. Lulu Press, Inc.

Dependencias

• extirpado
• modelo de spacy en_core_web_sm

Referencias

1. N-gramos basados ​​en dependencia sintáctica como características de clasificación de Grigori Storov, Francisco Velásquez, Efstathios Stamatatos, Alexander Gelbukh y Liliana Chanona-Hernández
2. N-gramos sintácticos como características de aprendizaje automático para el procesamiento del lenguaje natural por Grigori Storov, Francisco Velásquez, Efstathios Stamatatos, Alexander Gelbukh y Liliana Chanona-Hernández
3. Extracción de información abierta basada en dependencia por Pablo Gamallo, Marcos García y Santiago Fernández-Lanza
4. Comprensión de consulta mejorada por estructuras de análisis jerárquicas por Jingjing Liu, Panupong Pasupat, Yining Wang, Scott Cyphers y Jim Glass
5. Estructura de dependencia árboles en traducción automática basada en sintaxis por Vamshi Ambati
6. Pregunta respondiendo la recuperación del pasaje utilizando relaciones de dependencia de Hang Cui, Renxu Sun, Keya Li, Min-yen Kan y Tat-Seng Chua