تنزيل bnlp - تنزيل رمز المصدر bnlp

bnlp

شفرة المصدر الأخرى

BNLP 4.0.3

تنزيل

معالجة اللغة الطبيعية البنغالية (BNLP)

BNLP هي مجموعة أدوات معالجة اللغة الطبيعية للغة البنغالية. ستساعدك هذه الأداة على رمز النص البنغالي ، وتضمين الكلمات البنغالية ، وتضمين وثيقة البنغالية ، ووثيقة البنغالية POS ، والتعرف على كيان الاسم البنغالي ، وتنظيف النص البنغالية لأغراض NLP البنغالية.

سمات

الرمز المميز
- الرمز المميز الأساسي
- NLTK Tokenizer
- الحكيم المميز
التضمين
- Word2Vec التضمين
- تضمين fasttext
- التضمين القفاز
- DOC2VEC وثيقة التضمين
جزء من علامات الكلام
- علامات POS المستندة إلى CRF
اسم التعرف على الكيان
- NER المستند إلى CRF
تنظيف النص
مجموعة
- الرسائل ، حروف العلامات التجارية ، علامات الترقيم ، كلمات التوقف

تثبيت

مثبت PIP

 pip install bnlp_toolkit

أو الترقية

 pip install -U bnlp_toolkit

بيثون: 3.8 ، 3.9 ، 3.10 ، 3.11
OS: Linux ، Windows ، Mac

بناء من المصدر

 git clone https://github.com/sagorbrur/bnlp.git
cd bnlp
python setup.py install

استخدام العينة

 from bnlp import BasicTokenizer

tokenizer = BasicTokenizer ()

raw_text = "আমি বাংলায় গান গাই।"
tokens = tokenizer ( raw_text )
print ( tokens )
# output: ["আমি", "বাংলায়", "গান", "গাই", "।"]