bnlp

Processamento de linguagem natural bengali (BNLP)

O BNLP é um kit de ferramentas de processamento de linguagem natural para a língua bengali. Esta ferramenta ajudará você a tokenizar o texto bengali , incorporar palavras bengalis , incorporar o documento bengali , marcação de POS bengali , reconhecimento de entidade de nomes bengali , limpeza de texto de Bangla para fins de NLP da Bengali.

Características

• Tokenização
  • Tokenizer básico
  • Tokenizer NLTK
  • Tokenizer de peça de frase
• Incorporação
  • Word2vec incorporação
  • Incorporação de texto rápido
  • Incorporação da luva
  • Doc2Vec Document Incorporação
• Parte da marcação de fala
  • Marcação de POS baseada em CRF
• Reconhecimento de entidade nomeado
  • NER baseado em CRF
• Limpeza de texto
• Corpus
  • Cartas, vogais, pontuações, palavras de parada

Instalação

Instalador pip

 pip install bnlp_toolkit

ou atualizar

 pip install -U bnlp_toolkit

• Python: 3,8, 3.9, 3.10, 3.11
• OS: Linux, Windows, Mac

Construir a partir da fonte

 git clone https://github.com/sagorbrur/bnlp.git
cd bnlp
python setup.py install

Uso de amostra

 from bnlp import BasicTokenizer

tokenizer = BasicTokenizer ()

raw_text = "আমি বাংলায় গান গাই।"
tokens = tokenizer ( raw_text )
print ( tokens )
# output: ["আমি", "বাংলায়", "গান", "গাই", "।"] 

Documentação

A documentação completa está disponível aqui

Se você estiver usando a versão anterior do BNLP , verifique o arquivo de documentação

Guia do colaborador

Verifique a página Contribuindo.md para obter detalhes.

Obrigado a

• Laboratório de Semântica
• Todos os desenvolvedores que estão contribuindo para enriquecer a NLP bengali.