deepsegment

DeepSegment : 실제로 작동하는 문장 세그먼트!

DeepSegment는 무료로 API (https://fastdeploy.notai.tech/free_apis)와 https://github.com/notai-tech/fastdeploy를 통한 자조 서비스로 사용할 수 있습니다.

참고 : 원래 구현은이 리포지어의 "마스터"브랜치를 사용하십시오.

http://bpraneeth.com/docs에서 사용할 수있는 코드 문서

설치:

 # Tested with (keras==2.3.1; tensorflow==2.2.0) and (keras==2.2.4; tensorflow==1.14.0)
pip install --upgrade deepsegment

지원되는 언어 :

en- 영어 (다양한 소스의 데이터에 대한 교육)

FR- 프랑스어 (Tatoeba 데이터 만)

It- 이탈리아어 (Tatoeba 데이터 만)

용법:

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

Docker 이미지 서빙 TF와 함께 사용

docker pull bedapudi6788/deepsegment_en:v2
docker run -d -p 8500:8500 bedapudi6788/deepsegment_en:v2

 from deepsegment import DeepSegment
# The default language is 'en'
segmenter = DeepSegment ( 'en' , tf_serving = True )
segmenter . segment ( 'I am Batman i live in gotham' )
# ['I am Batman', 'i live in gotham']

미세 조정 딥 세그먼트

하나의 크기는 모든 사람에게 맞지 않기 때문에 자신의 데이터를 사용하여 DeepSegment의 기본 모델을 미세 조정하는 것이 권장됩니다.

 from deepsegment import finetune , generate_data

x , y = generate_data ([ 'my name' , 'is batman' , 'who are' , 'you' ], n_examples = 10000 )
vx , vy = generate_data ([ 'my name' , 'is batman' ])

# NOTE: name, epochs, batch_size, lr are optional arguments.
finetune ( 'en' , x , y , vx , vy , name = 'finetuned_model_name' , epochs = number_of_epochs , batch_size = batch_size , lr = learning_rate )

FINETUNED 체크 포인트와 함께 사용합니다

 from deepsegment import DeepSegment
segmenter = DeepSegment ( 'en' , checkpoint_name = 'finetuned_model_name' )

사용자 정의 데이터에 대한 심도 교육 : https://colab.research.google.com/drive/1cjybdbdhx1umiyvn7ndw2clqpnnea_m

유사한 프로젝트 :

https://github.com/bminixhofer/nnsplit (Python, Rust 및 JavaScript에 대한 바인딩 포함.)