deepsegment

Deepsegment: Segmen kalimat yang benar -benar berfungsi!

Deepsegment tersedia sebagai API gratis untuk menggunakan API (https://fastdeploy.notai.tech/free_apis) dan sebagai layanan self-hostable melalui https://github.com/notai-tech/fastdeploy

CATATAN: Untuk implementasi asli, silakan gunakan cabang "Master" dari repo ini.

Dokumentasi Kode Tersedia di http://bpraneeth.com/docs

Instalasi:

 # Tested with (keras==2.3.1; tensorflow==2.2.0) and (keras==2.2.4; tensorflow==1.14.0)
pip install --upgrade deepsegment

Bahasa yang Didukung:

En - Bahasa Inggris (dilatih pada data dari berbagai sumber)

FR - Prancis (hanya data Tatoeba)

It - Italia (hanya data tatoeba)

Penggunaan:

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

Menggunakan dengan gambar Docker yang melayani TF

docker pull bedapudi6788/deepsegment_en:v2
docker run -d -p 8500:8500 bedapudi6788/deepsegment_en:v2

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' , tf_serving = True )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

Kedalaman finetuning

Karena satu ukuran tidak akan pernah cocok untuk semua, model default Finetuning Deepsegment dengan data Anda sendiri didorong.

 from deepsegment import finetune , generate_data

x , y = generate_data ([ 'my name' , 'is batman' , 'who are' , 'you' ], n_examples = 10000 )
vx , vy = generate_data ([ 'my name' , 'is batman' ])

# NOTE: name, epochs, batch_size, lr are optional arguments.
finetune ( 'en' , x , y , vx , vy , name = 'finetuned_model_name' , epochs = number_of_epochs , batch_size = batch_size , lr = learning_rate )

Menggunakan dengan pos pemeriksaan finetuned

 from deepsegment import DeepSegment
segmenter = DeepSegment ( 'en' , checkpoint_name = 'finetuned_model_name' )

Pelatihan Deepsegment pada Data Kustom: https://colab.research.google.com/drive/1cjybdbdhx1umiyvn7ndw2clqpnneea_m

Proyek serupa:

https://github.com/bminixhofer/nnsplit (dengan binding untuk python, rust dan javascript.)