Unduh bnlp - Unduh Kode Sumber bnlp

bnlp

Kode sumber lainnya

BNLP 4.0.3

Unduh

Pemrosesan Bahasa Alami Bengali (BNLP)

BNLP adalah alat pemrosesan bahasa alami untuk bahasa Bengali. Alat ini akan membantu Anda untuk tokenisasi teks Bengali , menyematkan kata -kata Bengali , menyematkan dokumen Bengali , penandaan Pos Bengali , pengenalan entitas nama Bengali , pembersihan teks Bangla untuk keperluan NLP Bengali.

Fitur

Tokenisasi
- Tokenizer Dasar
- NLTK Tokenizer
- Tokenizer kalimat
Embeddings
- Embedding word2vec
- Embedding fasttext
- Sarung Tangan Embedding
- Embedding dokumen DOC2VEC
Bagian dari penandaan pidato
- Tagging POS berbasis CRF
Pengakuan entitas yang disebutkan
- NER berbasis CRF
Pembersihan teks
Corpus
- Huruf, vokal, tanda baca, stopwords

Instalasi

Penginstal PIP

 pip install bnlp_toolkit

atau upgrade

 pip install -U bnlp_toolkit

Python: 3.8, 3.9, 3.10, 3.11
OS: Linux, Windows, Mac

Membangun dari sumber

 git clone https://github.com/sagorbrur/bnlp.git
cd bnlp
python setup.py install

Penggunaan Sampel

 from bnlp import BasicTokenizer

tokenizer = BasicTokenizer ()

raw_text = "আমি বাংলায় গান গাই।"
tokens = tokenizer ( raw_text )
print ( tokens )
# output: ["আমি", "বাংলায়", "গান", "গাই", "।"]