bnlp ดาวน์โหลด - bnlp Source Code Download

bnlp

ซอร์สโค้ดอื่น ๆ

BNLP 4.0.3

ดาวน์โหลด

การประมวลผลภาษาธรรมชาติเบงกาลี (BNLP)

BNLP เป็นชุดเครื่องมือประมวลผลภาษาธรรมชาติสำหรับภาษาเบงกาลี เครื่องมือนี้จะช่วยให้คุณ ใช้ข้อความเบงกาลี , การฝังคำภาษาเบงกาลี , การฝังเอกสารเบงกาลี , การติดแท็ก Bengali POS , การจดจำเอนทิตีชื่อเบงกาลี , การทำความสะอาดข้อความ Bangla สำหรับวัตถุประสงค์ Bengali NLP

คุณสมบัติ

การทำให้โทเค็น
- tokenizer พื้นฐาน
- NLTK tokenizer
- Tokenizer ประโยค
การฝัง
- Word2vec ฝัง
- การฝัง FastText
- ถุงมือฝัง
- การฝังเอกสาร doc2vec
ส่วนหนึ่งของการติดแท็กคำพูด
- การติดแท็ก POS ที่ใช้ CRF
การจดจำเอนทิตีชื่อ
- NER ที่ใช้ CRF
การทำความสะอาดข้อความ
คอร์ปัส
- ตัวอักษรสระ, เว้นวรรค

การติดตั้ง

ตัวติดตั้ง PIP

 pip install bnlp_toolkit

หรืออัพเกรด

 pip install -U bnlp_toolkit

Python: 3.8, 3.9, 3.10, 3.11
OS: Linux, Windows, Mac

สร้างจากแหล่งที่มา

 git clone https://github.com/sagorbrur/bnlp.git
cd bnlp
python setup.py install

ตัวอย่างการใช้งาน

 from bnlp import BasicTokenizer

tokenizer = BasicTokenizer ()

raw_text = "আমি বাংলায় গান গাই।"
tokens = tokenizer ( raw_text )
print ( tokens )
# output: ["আমি", "বাংলায়", "গান", "গাই", "।"]