Download Chinese_models_for_SpaCy - Chinese_models_for

Chinese_models_for_SpaCy

Outro código-fonte

1.0.0

Baixar

Readme escrito em inglês

O modelo oficial chinês de Spacy foi lançado (https://spacy.io/models/zh). A missão deste projeto de "promover o desenvolvimento do modelo chinesa de Spacy" foi concluída. Este projeto entrará no status de manutenção. As atualizações subsequentes serão apenas correções de bug. Obrigado a todos os usuários por sua atenção e apoio a longo prazo.

Modelo chinês espacial

Modelo de dados chinês fornecido para Spacy. O modelo está atualmente em testes públicos beta.

Demonstração online

Demoção on -line com base no Notebook Jupyter.

característica

Algumas das informações de atributo deste objeto Doc王小明在北京的清华大学读书:

atributes_of_doc

Ner ( novo! )

Algumas das informações do NER sobre o estudo Doc de Wang Xiaoming王小明在北京的清华大学读书:

NER_OF_DOC

Comece

O modelo é distribuído na forma de arquivos binários, e os usuários devem ter conhecimento básico de spacy (versão> 2).

Requisitos do sistema

Python 3 (talvez apoie o Python2, mas não bem testado)

Instalar

Baixe o modelo

Faça o download do modelo na página de lançamentos ( novo! Fornece usuários na China com links para acelerar downloads). Suponha que o modelo baixado seja nomeado zh_core_web_sm-2.xxtar.gz .

Instale o modelo

 pip install zh_core_web_sm-2.x.x.tar.gz

Para facilitar o uso subsequente em estruturas como Rasa NLU, é necessário estabelecer um link para este modelo, executando o seguinte comando:

spacy link zh_core_web_sm zh

Após a conclusão da execução, você pode usar o pseudônimo ZH para acessar o modelo.

Execute o código de demonstração

O código de demonstração está localizado em test.py Após a instalação do modelo, o usuário baixa ou clones o código neste repositório e pode executá -lo diretamente.

python3 ./test.py

Abra o endereço http://127.0.0.1:5000 e você verá o seguinte:

Dependência de Doc

Como construir este modelo a partir de zero

Veja o fluxo de trabalho

Corpus

O corpus usado neste projeto é Ontonotes 5.0.

Como o ontonotes 5.0 é o material protegido por direitos autorais do LDC (consórcio de dados linguísticos), ele não pode ser incluído diretamente neste projeto. A boa notícia é que o Ontonotes 5.0 é totalmente gratuito para usuários de grupos, incluindo empresas e organizações acadêmicas. Os usuários podem estabelecer uma conta de organização corporativa ou acadêmica e, em seguida, obter o Ontontotes 5.0 gratuitamente.

Lista de tarefas

O atributo pos_ está incorreto. Isso está relacionado à classe de língua chinesa em Spacy.
O atributo shape_ e is_alpha parecem sem sentido para os chineses, mas precisa de informações autorizadas para confirmá -las.
O atributo is_stop está incorreto. Isso está relacionado à classe de língua chinesa em Spacy.
O vector de atributo não parece ser bem treinado.
~~A propriedade is_oov está completamente errada. Primeira correção de prioridade.~~
~~O modelo NER, atualmente indisponível devido à falta do corpus LDC. Resolver está em treinamento.~~
Libere os resultados intermediários usados no treinamento para facilitar os usuários para personalizar o modelo