Vaaku2Vec

vaaku2vec

การสร้างแบบจำลองภาษาที่ทันสมัยและการจำแนกประเภทข้อความในภาษามาลายาลัม

ผลลัพธ์

เราฝึกอบรมรูปแบบภาษามาลายาลัมในบทความ Wikipedia Dump จากตุลาคม 2018 การถ่ายโอนข้อมูลวิกิพีเดียมีบทความ 55K+ ความแตกต่างในการฝึกอบรมรูปแบบภาษามาลายาลัมคือ การทำให้เป็นโทเค็นข้อความ เนื่องจากมาลายาลัมเป็นภาษาที่มีความผันแปรและมีการรวมตัวกันอย่างมาก ในรุ่นปัจจุบันเราใช้ nltk tokenizer (จะพยายามทางเลือกที่ดีกว่าในอนาคต) และขนาดคำศัพท์คือ 30k รูปแบบภาษาถูกใช้เพื่อฝึกอบรมตัวจําแนกซึ่งจำแนกข่าวออกเป็น 5 หมวดหมู่ (อินเดีย, Kerala, กีฬา, ธุรกิจ, ความบันเทิง) ตัวจําแนกของเราออกมาพร้อมกับความแม่นยำ 92% ในงานการจำแนกประเภท

ปล่อย

• Wikipedia ทิ้งบทความแยกออกเป็นแบบทดสอบและรถไฟ
• สคริปต์และน้ำหนักสำหรับโมเดลภาษามาลายาลัม
• ตัวจําแนกข้อความมาลายาลัมที่มีน้ำหนักที่ได้รับการแก้ไข
• รหัสอนุมานสำหรับตัวจําแนกข้อความ

การดาวน์โหลด

• รูปแบบภาษามาลายาลัมก่อน

• ตัวจําแนกข่าวมาลายาลัมก่อนหน้านี้ - เพื่อดำเนินการทำนายเท่านั้นใช้สิ่งนี้

• บทความดิบดาต้าของมาลายาลัมวิกิพีเดีย: บทความมาลายาลัม

ความต้องการ

การติดตั้งการอ้างอิง

Python3.6> =

หากคุณใช้ VirtualEnVwrapper ให้ใช้ขั้นตอนต่อไปนี้:

1. git clone https://github.com/adamshamsudeen/Vaaku2Vec.git
2. mkvirtualenv -p python3.6 venv
3. workon venv
4. cd Vaaku2Vec
5. pip install -r requirements.txt

การใช้งาน

รูปแบบภาษาการฝึกอบรมพร้อมข้อมูลที่ประมวลผลล่วงหน้า:

1. ดาวน์โหลดโฟลเดอร์ Model Language ที่ผ่านการฝึกฝนไว้ซึ่งมีการทดสอบล่วงหน้าและฝึกอบรม CSV หากคุณต้องการ preproccess และฝึก LM โดยใช้บทความถ่ายโอนข้อมูลล่าสุดโดยใช้สคริปต์ที่ให้ไว้ที่นี่
2. สร้างโทเค็น:
   python lm/create_toks.py <path_to_processed_wiki_dump>
   เช่น: python lm/create_toks.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
3. สร้างโทเค็นเพื่อทำแผนที่ ID:
   python lm/tok2id.py <path_to_processed_wiki_dump>
   เช่น: python lm/tok2id.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/
4. รูปแบบภาษารถไฟ:
   python lm/pretrain_lm.py <path_to_processed_wiki_dump> 0 --lr 1e-3 --cl 40
eg: python lm/pretrain_lm.py /home/adamshamsudeen/mal/Vaaku2Vec/wiki/ml/ 0 --lr 1e-3 --cl 40
lr คืออัตราการเรียนรู้และ cl คือไม่มียุค

การฝึกอบรมตัวแยกประเภท:

1. ใช้ train_classifier.ipynb เพื่อฝึกอบรมตัวจําแนกข้อความมาลายาลัม
2. เรายังไม่ได้เปิดตัวชุดข้อมูลข่าวเพิ่มคำขอหากคุณต้องการทดสอบด้วยเดียวกัน

ทดสอบตัวจําแนก:

1. ในการทดสอบตัวจําแนกที่ได้รับการฝึกฝนเกี่ยวกับ Manorama News ให้ดาวน์โหลด Pretrained Malyalam Text Classifier ที่กล่าวถึงในการดาวน์โหลด
2. ใช้ prediction.ipynb และทดสอบอินพุตของคุณ

เราทดสอบแบบจำลองข่าวจากกระดาษข่าวชั้นนำอื่น ๆ ด้วยตนเองและโมเดลทำงานได้ค่อนข้างดี

Word2vec:

1. นอกจากนี้เรายังได้รับการฝึกอบรมแบบจำลอง Word2vec โดยใช้ Gensim ด้วยการถ่ายโอนข้อมูลวิกิพีเดีย
2. คุณยังสามารถใช้โมเดล Word2vec เพื่อฝึกอบรมตัวจําแนกข้อความ ตัวแยกประเภทข่าว
3. คุณสามารถดูการสาธิต Word2vec ในลิงค์ด้านล่าง

การสาธิต

สิ่งที่ต้องทำ

• การสร้างแบบจำลองภาษามาลายาลัมตามบทความ Wikipedia
• ปล่อยน้ำหนักแบบจำลองภาษาที่ผ่านการฝึกอบรม
• สคริปต์ตัวแยกประเภทข้อความมาลายาลัม
• เกณฑ์มาตรฐานกับ MLMORPH สำหรับ Tokenization
• เกณฑ์มาตรฐานพร้อมการเข้ารหัสคู่ไบต์สำหรับการทำให้โทเค็น
• UI เพื่อฝึกอบรมและทดสอบตัวจําแนก
• แชทบ็อตพื้นฐานโดยใช้การใช้งานนี้

ขอบคุณ

1. ขอขอบคุณเป็นพิเศษสำหรับ Sebastian Ruder และ Jeremy Howard และผู้มีส่วนร่วมอื่น ๆ ใน Fastai และ Ultmfit
2. การออกแบบฐานโลโก้
3. Raeesa สำหรับการออกแบบโลโก้

ผู้ร่วมงาน

1. Kamal K Raj
2. Adam Shamsudeen