deepsegment

Deepsegment: ¡un segmento de oraciones que realmente funciona!

Deepsegment está disponible como una API gratuita (https://fastdeploy.notai.tech/free_apis) y como un servicio autohostable a través de https://github.com/notai-tech/fastdeploy

Nota: Para la implementación original, utilice la rama "maestra" de este repositorio.

Documentación del código disponible en http://bpraneeth.com/docs

Instalación:

 # Tested with (keras==2.3.1; tensorflow==2.2.0) and (keras==2.2.4; tensorflow==1.14.0)
pip install --upgrade deepsegment

Idiomas compatibles:

En - Inglés (capacitado en datos de varias fuentes)

FR - French (solo datos de Tatoeba)

IT - Italiano (solo datos de Tatoeba)

Uso:

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

Usando con TF Serving Docker Image

docker pull bedapudi6788/deepsegment_en:v2
docker run -d -p 8500:8500 bedapudi6788/deepsegment_en:v2

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' , tf_serving = True )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

Fineting DeepSegment

Dado que One-Size nunca se ajustará a todos, se recomienda Fineting DeepSegment los modelos predeterminados con sus propios datos.

 from deepsegment import finetune , generate_data

x , y = generate_data ([ 'my name' , 'is batman' , 'who are' , 'you' ], n_examples = 10000 )
vx , vy = generate_data ([ 'my name' , 'is batman' ])

# NOTE: name, epochs, batch_size, lr are optional arguments.
finetune ( 'en' , x , y , vx , vy , name = 'finetuned_model_name' , epochs = number_of_epochs , batch_size = batch_size , lr = learning_rate )

Usar con un punto de control Finetuned

 from deepsegment import DeepSegment
segmenter = DeepSegment ( 'en' , checkpoint_name = 'finetuned_model_name' )

Entrenamiento de profundo en los datos personalizados: https://colab.research.google.com/drive/1cjybdbdhx1umiyvn7ndw2clqpnnnea_m

Proyectos similares:

https://github.com/bminixhofer/nnsplit (con enlaces para Python, Rust y JavaScript.)