SNgramExtractor

มันคืออะไร?

ห้องสมุดเพื่อนร่วมงานของเครื่องเรียนรู้คุณสมบัติด้านวิศวกรรมและการเลือกสำหรับแบบจำลองที่อธิบายได้: หลักสูตรที่สองสำหรับนักวิทยาศาสตร์ด้านข้อมูล

โมดูล SNGRAMEXTRACTOR ช่วยแยกความสัมพันธ์ทางไวยากรณ์ (SR TAGs) เป็นองค์ประกอบของ SN-GRAMS

เราทำตามเส้นทางที่ทำเครื่องหมายด้วยลูกศรในการพึ่งพาและรับ sngrams [1]

ข้อได้เปรียบของ Syntactic N-GRAMs (SN-GRAMS) คือ N-GRAM ที่สร้างขึ้นโดยใช้เส้นทางในต้นไม้วากยสัมพันธ์คือพวกเขามีความผิดปกติน้อยกว่า N-GRAM แบบดั้งเดิม ดังนั้นจำนวนของพวกเขาจึงน้อยกว่าจำนวน N-grams แบบดั้งเดิม นอกจากนี้พวกเขาสามารถตีความได้ว่าเป็นปรากฏการณ์ทางภาษาศาสตร์ในขณะที่ N-grams แบบดั้งเดิมไม่มีการตีความทางภาษาที่เป็นไปได้พวกเขาเป็นเพียงสิ่งประดิษฐ์ทางสถิติ [1]

SN-GRAM มีการใช้งานในพื้นที่การประมวลผลภาษาธรรมชาติหลายแห่งเช่นงานการจำแนกประเภทในการเรียนรู้ของเครื่อง [2], การสกัดข้อมูล [3], การทำความเข้าใจแบบสอบถาม [4], การแปลด้วยเครื่อง [5], ระบบตอบคำถาม [6]

พารามิเตอร์อินพุต

• ข้อความ อินพุตข้อความเป็นประโยคเดียว
• meta_tag ผลลัพธ์ Bigram และ trigram ควรต่อกันด้วยส่วนหนึ่งของแท็กคำพูด ('pos') หรือแท็กการพึ่งพา ('dep') หรือ Sn-gram ดั้งเดิม ('ต้นฉบับ')
• trigram_flag หากเราจำเป็นต้องรวม trigrams ที่ได้มาจาก SN-GRAMS เช่นกัน ('ใช่') หรือไม่ ('ไม่') ค่าเริ่มต้นคือ 'ใช่'
• nlp_model ระบุรูปแบบภาษา Spacy ที่คุณต้องการใช้ ค่าเริ่มต้นคือโมเดลภาษาอังกฤษ Spacy EN_CORE_WEB_SM สิ่งนี้มีประโยชน์สำหรับความสามารถในการใช้ภาษาอื่นที่ไม่ใช่ภาษาอังกฤษ

เอาท์พุท

วัตถุพจนานุกรมที่มีคู่ค่าคีย์สำหรับ Bigram และ Trigram ที่ได้มาจาก SN-Gram

• คีย์พจนานุกรม SNBIGRAM สำหรับ Bigram ที่ได้มาจาก SN-Gram
• คีย์พจนานุกรม Sntrigram สำหรับ trigram ที่ได้มาจาก SN-Gram

ใช้อย่างไร?

 from SNgramExtractor import SNgramExtractor

text = 'Economic news have little effect on financial markets.'    
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
text = 'every cloud has a silver lining'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = None )
output = SNgram_obj . get_SNgram ()
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

print ( '-----------------------------------' )
nlp_french = spacy . load ( 'fr_core_news_sm' )
text = 'Je voudrais réserver un hôtel à Rennes.'
SNgram_obj = SNgramExtractor ( text , meta_tag = 'original' , trigram_flag = 'yes' , nlp_model = nlp_french )
output = SNgram_obj . get_SNgram ()    
print ( text )
print ( 'SNGram bigram:' , output [ 'SNBigram' ])
print ( 'SNGram trigram:' , output [ 'SNTrigram' ])

จะหาได้ที่ไหน?

pip install SNgramExtractor

วิธีการอ้างอิง?

Md Azimul Haque (2022) คุณลักษณะทางวิศวกรรมและการเลือกสำหรับแบบจำลองที่อธิบายได้: หลักสูตรที่สองสำหรับนักวิทยาศาสตร์ด้านข้อมูล Lulu Press, Inc.

การพึ่งพาอาศัยกัน

• เครื่องราง
• โมเดล spacy en_core_web_sm

การอ้างอิง

1. N-GRAM ที่ขึ้นกับวากยสัมพันธ์เป็นคุณสมบัติการจำแนกประเภทโดย Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh และ Liliana Chanona-Hernández
2. Syntactic N-Grams เป็นคุณสมบัติการเรียนรู้ของเครื่องสำหรับการประมวลผลภาษาธรรมชาติโดย Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh และ Liliana Chanona-Hernández
3. การสกัดข้อมูลแบบเปิดตามการพึ่งพาโดย Pablo Gamallo, Marcos Garcia และ Santiago Fernandez-Lanza
4. การทำความเข้าใจแบบสอบถามเพิ่มขึ้นโดยโครงสร้างการแยกวิเคราะห์แบบลำดับชั้นโดย Jingjing Liu, Panupong Pasupat, Yining Wang, Scott Cyphers และ Jim Glass
5. โครงสร้างโครงสร้างการพึ่งพาในการแปลของเครื่องด้วยไวยากรณ์โดย Vamshi Ambati
6. คำถามตอบคำถามการดึงข้อมูลโดยใช้ความสัมพันธ์การพึ่งพาโดย Hang Cui, Renxu Sun, Keya Li, Min-Yen Kan และ Tat-Seng Chua