deepsegment

深段：实际上有效的句子细分器！

可以免费使用API​​（https://fastdeploy.notai.tech/free_apis），并且可以通过https://github.com/notai-tech/fastdeploy来使用深层段。

注意：有关原始实施，请使用此存储库的“主”分支。

代码文档可在http://bpraneeth.com/docs获得

安装：

 # Tested with (keras==2.3.1; tensorflow==2.2.0) and (keras==2.2.4; tensorflow==1.14.0)
pip install --upgrade deepsegment

支持的语言：

EN-英语（对来自各种来源的数据培训）

FR-法语（仅tatoeba数据）

它 - 意大利语（仅tatoeba数据）

用法：

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

使用TF服务Docker图像

docker pull bedapudi6788/deepsegment_en:v2
docker run -d -p 8500:8500 bedapudi6788/deepsegment_en:v2

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' , tf_serving = True )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

填充深段

由于一种尺寸永远不会适合所有人，因此鼓励使用您自己的数据将深段的默认模型使用。

 from deepsegment import finetune , generate_data

x , y = generate_data ([ 'my name' , 'is batman' , 'who are' , 'you' ], n_examples = 10000 )
vx , vy = generate_data ([ 'my name' , 'is batman' ])

# NOTE: name, epochs, batch_size, lr are optional arguments.
finetune ( 'en' , x , y , vx , vy , name = 'finetuned_model_name' , epochs = number_of_epochs , batch_size = batch_size , lr = learning_rate )

使用固定检查点

 from deepsegment import DeepSegment
segmenter = DeepSegment ( 'en' , checkpoint_name = 'finetuned_model_name' )

培训自定义数据的深段段：https：//colab.research.google.com/drive/1cjybdbdhx1umiyvn7ndw2clqpnnnea_m

类似的项目：

https://github.com/bminixhofer/nnsplit （带有Python，Rust和JavaScript的绑定。）