deepsegment

DeepSegress: مقطع جملة يعمل بالفعل!

يتوفر DeepSegress كأبي API (https://fastdeploy.notai.tech/free_apis) وكخدمة ذاتية الاستخدام عبر https://github.com/notai-tech/fastdeploy

ملاحظة: للتنفيذ الأصلي ، يرجى استخدام فرع "Master" لهذا الريبو.

وثيقة الكود المتاحة في http://bpraneeth.com/docs

تثبيت:

 # Tested with (keras==2.3.1; tensorflow==2.2.0) and (keras==2.2.4; tensorflow==1.14.0)
pip install --upgrade deepsegment

اللغات المدعومة:

en - اللغة الإنجليزية (تدرب على البيانات من مصادر مختلفة)

الاب - الفرنسية (بيانات Tatoeba فقط)

IT - Italian (بيانات Tatoeba فقط)

الاستخدام:

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

استخدام مع TF التقديم صورة Docker

docker pull bedapudi6788/deepsegment_en:v2
docker run -d -p 8500:8500 bedapudi6788/deepsegment_en:v2

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' , tf_serving = True )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

Finetuning DeepSegress

نظرًا لأن الحجم الواحد لن يتناسب أبدًا مع كل شيء ، يتم تشجيع النماذج الافتراضية لـ DeepSegress مع بياناتك الخاصة.

 from deepsegment import finetune , generate_data

x , y = generate_data ([ 'my name' , 'is batman' , 'who are' , 'you' ], n_examples = 10000 )
vx , vy = generate_data ([ 'my name' , 'is batman' ])

# NOTE: name, epochs, batch_size, lr are optional arguments.
finetune ( 'en' , x , y , vx , vy , name = 'finetuned_model_name' , epochs = number_of_epochs , batch_size = batch_size , lr = learning_rate )

باستخدام نقطة تفتيش محفوظة

 from deepsegment import DeepSegment
segmenter = DeepSegment ( 'en' , checkpoint_name = 'finetuned_model_name' )

التدريب العميق على البيانات المخصصة: https://colab.research.google.com/drive/1cjybdbdhx1umiyvn7ndw2clqpnnnea_m

مشاريع مماثلة:

https://github.com/bminixhofer/nnsplit (مع ارتباطات Python و Rust و JavaScript.)