Descargar bnlp - Descargar código fuente bnlp

bnlp

Otro código fuente

BNLP 4.0.3

Descargar

Procesamiento bengalí del lenguaje natural (BNLP)

BNLP es un conjunto de herramientas de procesamiento del lenguaje natural para el lenguaje bengalí. Esta herramienta lo ayudará a tokenizar el texto bengalí , incrustar las palabras bengalíes , incrustar el documento bengalí , el etiquetado bengalí , el reconocimiento de entidades de nombre bengalí , la limpieza de texto de bangla para fines de PNLP bengalí.

Características

Tokenización
- Tokenizador básico
- Tokenizador nltk
- Tokenizador de oraciones
Incrustaciones
- Word2Vec Incrustación
- Incrustación de texto rápido
- Incrustación de guantes
- Doc2vec Documento Incrustación
Parte del etiquetado del habla
- Etiquetado POS basado en CRF
Reconocimiento de entidad nombrado
- Ner basado en CRF
Limpieza de texto
Cuerpo
- Cartas, vocales, puntuaciones, palabras de parada

Instalación

Instalador de pip

 pip install bnlp_toolkit

o actualizar

 pip install -U bnlp_toolkit

Python: 3.8, 3.9, 3.10, 3.11
OS: Linux, Windows, Mac

Construir desde la fuente

 git clone https://github.com/sagorbrur/bnlp.git
cd bnlp
python setup.py install

Uso de muestra

 from bnlp import BasicTokenizer

tokenizer = BasicTokenizer ()

raw_text = "আমি বাংলায় গান গাই।"
tokens = tokenizer ( raw_text )
print ( tokens )
# output: ["আমি", "বাংলায়", "গান", "গাই", "।"]