SNgramExtractor

Qu'est-ce que c'est?

Compagnon Bibliothèque de caractéristiques d'apprentissage automatique Ingénierie et sélection pour les modèles explicables: un deuxième cours pour les scientifiques des données

Le module SngraMExtractor aide à extraire les relations syntaxiques (étiquettes SR) comme éléments des grammes SN.

Nous suivons le chemin marqué par les flèches dans les dépendances et obtenons des sngrams. [1]

L'avantage des N-grammes syntaxiques (grammes Sn), c'est-à-dire des n-grammes qui sont construits en utilisant des chemins dans les arbres syntaxiques, est qu'ils sont moins arbitraires que les grammes N traditionnels. Ainsi, leur nombre est inférieur au nombre de n-grammes traditionnels. En outre, ils peuvent être interprétés comme un phénomène linguistique, tandis que les N-grammes traditionnels n'ont pas d'interprétation linguistique plausible, ce ne sont que des artefacts statistiques. [1]

SN-Gram a une convivialité dans de nombreux domaines d'application de traitement du langage naturel, tels que les tâches de classification dans l'apprentissage automatique [2], l'extraction d'informations [3], la compréhension de la requête [4], la traduction automatique [5], les systèmes de réponse aux questions [6]

Paramètres d'entrée

• Texte de texte en tant que phrase unique.
• META_TAG RESTANTANT BIGRAM ET TRIGRAM doit être concaténé avec une partie de la balise de la parole ('POS') ou de la tag de dépendance ('DEP') ou SN-GRAM ORIGINAL ('ORIGINAL')
• trigram_flag Si nous devons inclure également des trigrammes dérivés de sn-grammes («oui») ou non («non»). La valeur par défaut est «oui»
• NLP_MODEL Spécifiez le modèle de langue spacy que vous souhaitez utiliser. La valeur par défaut est le modèle de langue anglaise Spacy en_core_web_sm. Ceci est utile pour pouvoir utiliser des langues autres que l'anglais.

Sortir

Objet de dictionnaire avec des paires de valeurs clés pour Bigram et Trigram dérivées de Sn-Gram.

• Clé du dictionnaire Snbigram pour Bigram dérivé de Sn-gram
• Clé du dictionnaire de sntrigram pour le trigramme dérivé de Sn-gram

Comment utiliser est-ce?

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

Où l'obtenir?

pip install SNgramExtractor

Comment citer?

MD Azimul Haque (2022). Caractéristiques d'ingénierie et de sélection pour les modèles explicables: un deuxième cours pour les scientifiques des données. Lulu Press, Inc.

Dépendances

• spality
• Modèle de spacy en_core_web_sm

Références

1. N-grammes basés sur la dépendance syntaxique en tant que caractéristiques de classification de Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh et Liliana Chanona-Hernández
2. N-grammes syntaxiques comme caractéristiques d'apprentissage automatique pour le traitement du langage naturel par Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh et Liliana Chanona-Hernández
3. Extraction d'informations ouvertes basées sur les dépendances par Pablo Gamallo, Marcos Garcia et Santiago Fernandez-Lanza
4. Requête de la compréhension améliorée par les structures d'analyse hiérarchique par Jingjing Liu, Panupong Pasupat, Yining Wang, Scott Cyphers et Jim Glass
5. Arbres de structure de dépendance dans la traduction automatique basée sur la syntaxe par Vamshi ambati
6. Question répondant à la récupération de passage en utilisant les relations de dépendance par Hang Cui, Renxu Sun, Keya Li, Min-Yen Kan et Tat-Seng Chua