SNgramExtractor

Was ist das?

Begleitbibliothek des maschinellen Lernbuchs Feature Engineering & Auswahl für erklärbare Modelle: Ein zweiter Kurs für Datenwissenschaftler

Das SNGramextractor-Modul hilft bei der Extraktion von syntaktischen Beziehungen (SR-Tags) als Elemente von SN-Gramm.

Wir folgen dem von den Pfeilen in den Abhängigkeiten gekennzeichneten Pfad und erhalten SNGrams. [1]

Der Vorteil von syntaktischen N-Gramm (SN-Gramm), dh N-Gramm, die mit Pfaden in syntaktischen Bäumen konstruiert werden, ist, dass sie weniger willkürlich sind als herkömmliche N-Gramms. Somit ist ihre Zahl geringer als die Anzahl traditioneller N-Gramm. Außerdem können sie als sprachliches Phänomen interpretiert werden, während traditionelle N-Gramm keine plausible sprachliche Interpretation haben, die sie nur statistisch sind. [1]

SN-Gram verfügt über viele Anwendungsbereiche für natürliche Sprachverarbeitungsbereiche wie Klassifizierungsaufgaben in maschinellem Lernen [2], Informationsextraktion [3], Abfrageverständnis [4], maschinelle Übersetzung [5], Fragen Antwortsysteme [6]

Eingabeparameter

• Texteingabetext als einzelner Satz.
• META_TAG RESCORTANTANCE BIGRAM und TRIGRAME sollten mit einem Teil des Sprach-Tags ('POS') oder Abhängigkeits-Tag ('DEP') oder Original SN-Gram ('Original') verkettet werden.
• Trigram_flag , wenn wir Trigramme auch aus SN-Grams einbeziehen müssen ('Ja') oder nicht ('Nein'). Standard ist 'Ja'
• NLP_MODEL Geben Sie das Spacy -Sprachmodell an, das Sie verwenden möchten. Standard ist das englische Sprachmodell von Spacy EN_CORE_WEB_SM. Dies ist nützlich, um andere Sprachen als Englisch zu verwenden.

Ausgabe

Wörterbuchobjekt mit Schlüsselwertpaaren für Bigram und Trigramm, die von SN-Gram abgeleitet sind.

• SNBigram Dictionary-Schlüssel für Bigram, der von SN-Gram abgeleitet ist
• Sntrigram Dictionary-Schlüssel für Trigramm, der von SN-Gram abgeleitet ist

Wie benutzt man es?

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

Woher, um es zu bekommen?

pip install SNgramExtractor

Wie zitiere ich?

Md Azimul Haque (2022). Feature Engineering & Selection für erklärbare Modelle: Ein zweiter Kurs für Datenwissenschaftler. Lulu Press, Inc.

Abhängigkeiten

• Spacy
• SPACY MODELLE EN_CORE_WEB_SM

Referenzen

1. Syntaktische Abhängigkeits-basierte N-Gramm als Klassifizierungsmerkmale von Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh und Liliana Chanona-Hernández
2. Syntaktische N-Grams als Merkmale für maschinelles Lernen für die Verarbeitung natürlicher Sprache von Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh und Liliana Chanona-Hernández
3. Abhängigen basierte offene Informationsextraktion von Pablo Gamallo, Marcos Garcia und Santiago Fernandez-Lanza
4. Abfrageverständnis verstärkt durch hierarchische Parsenstrukturen durch Jingjing Liu, Panupong Pasupat, Yining Wang, Scott Cyphers und Jim Glass
5. Abhängigkeitsstrukturbäume in syntaxbasierter maschineller Übersetzung durch Vamshi Ambati
6. Fragen zur Beantwortung von Passage Abruf mit Abhängigkeitsbeziehungen von Hang Cui, Renxu Sun, Keya Li, Min-yen Kan und Tat-Seng Chua