deepsegment

Deepsegment: um segmento de frases que realmente funciona!

O Deepsegment está disponível como uma API gratuita para usar (https://fastdeploy.notai.tech/free_apis) e como um serviço auto-hospedável via https://github.com/notai-tech/fastdeploy

Nota: Para a implementação original, use a filial "mestre" deste repositório.

Documentação de código disponível em http://bpraneeth.com/docs

Instalação:

 # Tested with (keras==2.3.1; tensorflow==2.2.0) and (keras==2.2.4; tensorflow==1.14.0)
pip install --upgrade deepsegment

Idiomas suportados:

EN - Inglês (treinado em dados de várias fontes)

FR - Francês (apenas dados de Tatoeba)

It - italiano (apenas dados de tatoeba)

Uso:

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

Usando com a imagem do Docker de servir TF

docker pull bedapudi6788/deepsegment_en:v2
docker run -d -p 8500:8500 bedapudi6788/deepsegment_en:v2

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' , tf_serving = True )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

Finetuning DeepSegment

Como o único tamanho nunca se encaixará em todos, os modelos padrão do Finetuning DeepSigment com seus próprios dados são incentivados.

 from deepsegment import finetune , generate_data

x , y = generate_data ([ 'my name' , 'is batman' , 'who are' , 'you' ], n_examples = 10000 )
vx , vy = generate_data ([ 'my name' , 'is batman' ])

# NOTE: name, epochs, batch_size, lr are optional arguments.
finetune ( 'en' , x , y , vx , vy , name = 'finetuned_model_name' , epochs = number_of_epochs , batch_size = batch_size , lr = learning_rate )

Usando com um ponto de verificação FinetUned

 from deepsegment import DeepSegment
segmenter = DeepSegment ( 'en' , checkpoint_name = 'finetuned_model_name' )

Treinamento Deepsegment on Custom Data: https://colab.research.google.com/drive/1cjybdbdhx1umiyvn7ndw2clqpnnnea_m

Projetos semelhantes:

https://github.com/bminixhofer/nnsplit (com ligações para python, ferrugem e javascript.)