bnlp

Обработка натурального языка на бенгальском языке (BNLP)

BNLP - это инструментарий для обработки естественного языка для бенгальского языка. Этот инструмент поможет вам токенизировать бенгальский текст , внедрить бенгальские слова , внедрять бенгальский документ , бенгальское теги , бенгальское название объекта , очистка текста Bangla для бенгальских целей NLP.

Функции

• Токенизация
  • Базовый токенизатор
  • NLTK Tokenizer
  • Предложение токенизатора
• Внедрения
  • Word2VEC встраивание
  • Фасттекстовый встраивание
  • Перчатость встраивается
  • DOC2VEC DOCUMTING ENCLED
• Часть мечения речи
  • На основе CRF POS-метка
• Названное признание сущности
  • На основе CRF Ner
• Текстовая очистка
• Корпус
  • Буквы, гласные, пунктуации, стоп -слова

Установка

Установщик PIP

 pip install bnlp_toolkit

или обновление

 pip install -U bnlp_toolkit

• Python: 3,8, 3.9, 3.10, 3.11
• ОС: Linux, Windows, Mac

Строить из источника

 git clone https://github.com/sagorbrur/bnlp.git
cd bnlp
python setup.py install

Образец использования

 from bnlp import BasicTokenizer

tokenizer = BasicTokenizer ()

raw_text = "আমি বাংলায় গান গাই।"
tokens = tokenizer ( raw_text )
print ( tokens )
# output: ["আমি", "বাংলায়", "গান", "গাই", "।"] 

Документация

Полная документация доступна здесь

Если вы используете предыдущую версию BNLP , проверьте архив документации

Руководство участника

Проверьте Appling.md -страницу для получения подробной информации.

Благодаря

• Семантика лаборатория
• Все разработчики, которые способствуют обогащению бенгальского НЛП.