deepsegment

Deepsegment：実際に機能する文章セグメントター！

Deepsegmentは、API（https://fastdeploy.notai.tech/free_apis）およびhttps://github.com/notai-tech/fastdeployを介して自己ホースト可能なサービスとして無料で使用できるように利用できます。

注：元の実装には、このレポの「マスター」ブランチを使用してください。

http://bpraneeth.com/docsで入手可能なコードドキュメント

インストール：

 # Tested with (keras==2.3.1; tensorflow==2.2.0) and (keras==2.2.4; tensorflow==1.14.0)
pip install --upgrade deepsegment

サポート言語：

en-英語（さまざまなソースからのデータでトレーニング）

fr-フランス語（タトーバデータのみ）

それ - イタリア語（Tatoebaデータのみ）

使用法：

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

Docker画像をサービングするTFで使用します

docker pull bedapudi6788/deepsegment_en:v2
docker run -d -p 8500:8500 bedapudi6788/deepsegment_en:v2

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' , tf_serving = True )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

Finetuning Deepsegment

One-Sizeはすべてに適合しないため、Finetuning Deepsegmentのデフォルトモデルが独自のデータを使用して奨励されます。

 from deepsegment import finetune , generate_data

x , y = generate_data ([ 'my name' , 'is batman' , 'who are' , 'you' ], n_examples = 10000 )
vx , vy = generate_data ([ 'my name' , 'is batman' ])

# NOTE: name, epochs, batch_size, lr are optional arguments.
finetune ( 'en' , x , y , vx , vy , name = 'finetuned_model_name' , epochs = number_of_epochs , batch_size = batch_size , lr = learning_rate )

Finetuned Checkpointで使用します

 from deepsegment import DeepSegment
segmenter = DeepSegment ( 'en' , checkpoint_name = 'finetuned_model_name' )

カスタムデータに関するディープセグメントのトレーニング：https：//colab.research.google.com/drive/1cjybdbdhx1umiyvn7ndw2clqpnne_m

同様のプロジェクト：

https://github.com/bminixhofer/nnsplit（python 、錆、javascript用のバインディング付き）