SNgramExtractor

Apa itu?

PERPUSTAKAAN PENDUKUP PEMBARUAN MESIN FITUR & Seleksi Fitur & Seleksi untuk Model yang Dapat Dijelaskan: Kursus Kedua untuk Ilmuwan Data

Modul SNGRAMEXTRACTOR membantu mengekstrak hubungan sintaksis (tag SR) sebagai elemen-gram SN.

Kami mengikuti jalan yang ditandai oleh panah dalam dependensi dan mendapatkan sngram. [1]

Keuntungan dari n-gram sintaksis (SN-gram), yaitu, n-gram yang dibangun menggunakan jalur di pohon sintaksis, adalah bahwa mereka kurang sewenang-wenang daripada n-gram tradisional. Dengan demikian, jumlahnya kurang dari jumlah gram N tradisional. Selain itu, mereka dapat diartikan sebagai fenomena linguistik, sedangkan gram N tradisional tidak memiliki interpretasi linguistik yang masuk akal mereka hanyalah artefak statistik. [1]

SN-Gram memiliki kegunaan di banyak bidang aplikasi pemrosesan bahasa alami, seperti tugas klasifikasi dalam pembelajaran mesin [2], ekstraksi informasi [3], pemahaman kueri [4], terjemahan mesin [5], sistem penjawab pertanyaan [6]

Parameter input

• teks input teks sebagai satu kalimat.
• Meta_tag Bigram dan Trigram yang dihasilkan harus digabungkan dengan bagian dari tag ucapan ('pos') atau tag ketergantungan ('dep') atau asli SN-gram ('asli')
• trigram_flag Jika kita perlu memasukkan trigram yang berasal dari SN-gram juga ('ya') atau tidak ('tidak'). Default adalah 'ya'
• NLP_MODEL Tentukan model bahasa spacy yang ingin Anda gunakan. Default adalah model bahasa Inggris spacy en_core_web_sm. Ini berguna untuk dapat menggunakan bahasa selain bahasa Inggris.

Keluaran

Objek kamus dengan pasangan nilai kunci untuk bigram dan trigram berasal dari sn-gram.

• Kunci Kamus Snbigram untuk Bigram yang berasal dari SN-gram
• Kunci Kamus Sntrigram untuk Trigram yang berasal dari SN-gram

Bagaimana cara menggunakannya?

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

Di mana mendapatkannya?

pip install SNgramExtractor

Bagaimana cara mengutip?

MD Azimul Haque (2022). Teknik & Seleksi Fitur untuk Model yang Dapat Diterjemahkan: Kursus Kedua untuk Ilmuwan Data. Lulu Press, Inc.

Dependensi

• Spacy
• Model Spacy EN_CORE_WEB_SM

Referensi

1. N-gram berbasis ketergantungan sintaksis sebagai fitur klasifikasi oleh Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh dan Liliana Chanona-Hernández
2. Sintaksis N-gram sebagai fitur pembelajaran mesin untuk pemrosesan bahasa alami oleh Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh dan Liliana Chanona-Hernández
3. Ekstraksi informasi terbuka berbasis ketergantungan oleh Pablo Gamallo, Marcos Garcia dan Santiago Fernandez-Lanza
4. Pemahaman kueri ditingkatkan dengan struktur parsing hierarkis oleh Jingjing Liu, Panupong Pasupat, Yining Wang, Scott Cyphers, dan Jim Glass
5. Pohon Struktur Ketergantungan dalam Terjemahan Mesin Berbasis Sintaks oleh Vamshi Ambati
6. PERTANYAAN JAWABAN PENGOPOSIAN PERBAIKAN MENGGUNAKAN HUBUNGAN DEGENGENSI DENGAN HANG CUI, RENXU SUN, KERA LI, MIN-YEN KAN dan TAT-SENG CHUA