Chinese_models_for_SpaCy

Readme écrite en anglais

Le modèle officiel chinois de Spacy a été lancé (https://spacy.io/models/zh). La mission de ce projet de «promouvoir le développement du modèle chinois Spacy» est terminée. Ce projet entrera dans l'état de maintenance. Les mises à jour suivantes ne seront que des corrections de bogues. Merci à tous les utilisateurs pour leur attention et leur soutien à long terme.

Modèle chinois spacy

Modèle de données chinois fourni pour Spacy. Le modèle est actuellement en test bêta.

Démo en ligne

Demo en ligne basé sur Jupyter Notebook.

caractéristiques

Certaines des informations d'attribut de cet objet Doc王小明在北京的清华大学读书:

Ner ( nouveau! )

Certaines des informations NER sur l'étude Doc de Wang XiaoMing王小明在北京的清华大学读书:

Commencer

Le modèle est distribué sous forme de fichiers binaires et les utilisateurs doivent avoir des connaissances de base de Spacy (version> 2).

Exigences du système

Python 3 (peut-être prendre en charge Python2, mais pas bien testé)

Installer

Télécharger le modèle

Téléchargez le modèle à partir de la page des versions ( New! Fournit aux utilisateurs en Chine des liens pour accélérer les téléchargements). Supposons que le modèle téléchargé s'appelle zh_core_web_sm-2.xxtar.gz .

Installer le modèle

 pip install zh_core_web_sm-2.x.x.tar.gz

Afin de faciliter une utilisation ultérieure dans des cadres tels que RASA NLU, il est nécessaire d'établir un lien pour ce modèle, en exécutant la commande suivante:

spacy link zh_core_web_sm zh

Une fois l'exécution terminée, vous pouvez utiliser l'alias ZH pour accéder au modèle.

Exécutez le code de démonstration

Le code de démonstration est situé dans test.py Une fois le modèle installé, l'utilisateur télécharge ou clones le code dans ce référentiel et peut ensuite l'exécuter directement.

python3 ./test.py

Ouvrez l'adresse http://127.0.0.1:5000 et vous verrez ce qui suit:

Comment construire ce modèle à partir de zéro

Voir Workflow

Corpus

Le corpus utilisé dans ce projet est Ontonotes 5.0.

Étant donné qu'Ontonotes 5.0 est le matériel protégé par le droit d'auteur de LDC (Linguistic Data Consortium), il ne peut pas être directement inclus dans ce projet. La bonne nouvelle est qu'Ontonotes 5.0 est entièrement gratuit pour les utilisateurs de groupe, y compris les entreprises et les organisations universitaires. Les utilisateurs peuvent établir un compte d'organisation d'entreprise ou académique, puis obtenir gratuitement Ontonotes 5.0.

Liste de TOD

• L'attribut pos_ est incorrect. Ceci est lié à la classe de langue chinoise dans Spacy.
• L'attribut shape_ et is_alpha semble avoir un sens pour le chinois, mais il a besoin d'informations faisant autorité pour les confirmer.
• L'attribut is_stop est incorrect. Ceci est lié à la classe de langue chinoise dans Spacy.
• Le vector d'attribut ne semble pas être bien formé.
• La propriété is_oov est complètement erronée. Première correction de priorité.
• Le modèle NER, actuellement indisponible en raison de l'absence du corpus LDC. La résolution est sous formation.
• Libérez les résultats intermédiaires utilisés dans la formation pour faciliter les utilisateurs pour personnaliser le modèle

Composants utilisés

• FAIRE

Comment contribuer

Veuillez lire contribution.md et soumettre des demandes de traction à nous.

Contrôle de la version

Nous utilisons SEMVER pour les normes de version. Consultez tags pour comprendre toutes les versions.

auteur

• Xiaoquan Kong - Travail initial - Howl-Anderson

Pour plus d'informations sur les contributeurs, veuillez vous référer aux contributors .

droit d'auteur

Licence MIT - Voir Licence.MD pour plus de détails

Remerciements

• FAIRE