Chinese_models_for_SpaCy

Readme in Englisch geschrieben

Das offizielle chinesische Modell der Spacy wurde gestartet (https://spacy.io/models/zh). Die Mission dieses Projekts, "die Entwicklung des chinesischen Modells des Spacton -Modells zu fördern", wurde abgeschlossen. Dieses Projekt wird in den Wartungsstatus eingetragen. Nachfolgende Updates sind nur Fehlerbehebungen. Vielen Dank an alle Benutzer für ihre langfristige Aufmerksamkeit und Unterstützung.

Chinesisches Modell für Spacy

Das chinesische Datenmodell für Spacy. Das Modell befindet sich derzeit in den BETA -Tests.

Online -Demo

Online -Demo basierend auf Jupyter Notebook.

Merkmal

Einige der Attributinformationen dieses Doc -Objekts王小明在北京的清华大学读书:

Ner ( neu! )

Einige der NER -Informationen über die Doc王小明在北京的清华大学读书:

Fangen an

Das Modell wird in Form von Binärdateien verteilt, und Benutzer sollten über grundlegende Kenntnisse über Spacy (Version> 2) verfügen.

Systemanforderungen

Python 3 (vielleicht unterstützen Sie Python2, aber nicht gut getestet)

Installieren

Laden Sie das Modell herunter

Laden Sie das Modell von der Releases -Seite herunter ( neu! Bietet Benutzern in China Links, um Downloads zu beschleunigen). Angenommen, das heruntergeladene Modell heißt zh_core_web_sm-2.xxtar.gz .

Installieren Sie das Modell

 pip install zh_core_web_sm-2.x.x.tar.gz

Um die nachfolgende Verwendung in Frameworks wie Rasa NLU zu erleichtern, muss ein Link für dieses Modell festgelegt werden, indem der folgende Befehl ausgeführt wird:

spacy link zh_core_web_sm zh

Nach Abschluss des Laufs können Sie den Alias ​​ZH verwenden, um auf das Modell zuzugreifen.

Führen Sie den Demo -Code aus

Der Demo -Code befindet sich in test.py Nach der Installation des Modells download oder kloniert der Benutzer den Code in diesem Repository und kann ihn dann direkt ausführen.

python3 ./test.py

Öffnen Sie die Adresse http://127.0.0.1:5000 und Sie werden Folgendes sehen:

So konstruieren Sie dieses Modell von Null

Siehe Workflow

Korpus

Der in diesem Projekt verwendete Korpus ist Ontonotes 5.0.

Da Ontonotes 5.0 das urheberrechtlich geschützte Material von LDC (Sprachdatenkonsortium) ist, kann es nicht direkt in dieses Projekt aufgenommen werden. Die gute Nachricht ist, dass Ontonotes 5.0 für Gruppenbenutzer, einschließlich Unternehmen und akademischen Organisationen, völlig kostenlos ist. Benutzer können ein Unternehmens- oder akademisches Organisationskonto aufbauen und dann kostenlos Ontonotes 5.0 erhalten.

TODO -Liste

• Das Attribut pos_ ist falsch. Dies hängt mit der chinesischen Sprachklasse in Spacy zusammen.
• Die shape_ und is_alpha scheinen für Chinesisch bedeutungslos zu sein, benötigen jedoch maßgebliche Informationen, um sie zu bestätigen.
• Das Attribut is_stop ist falsch. Dies hängt mit der chinesischen Sprachklasse in Spacy zusammen.
• Der vector scheint nicht gut ausgebildet zu sein.
• Die Eigenschaft is_oov ist völlig falsch. Erstprioritätsbehebung.
• Das NER -Modell, das derzeit aufgrund des Fehlens des LDC -Korpus nicht verfügbar ist. Das Lösen wird im Training untergebracht.
• Geben Sie die im Training verwendeten Zwischenergebnisse frei, mit denen Benutzer das Modell anpassen können

Verwendete Komponenten

• Todo

Wie man beiträgt

Bitte lesen Sie bei.

Versionsregelung

Wir verwenden SEMVER für Versionungsstandards. Schauen Sie sich tags an, um alle Versionen zu verstehen.

Autor

• Xiaoquan Kong - erste Arbeit - Howl -Anderson

Weitere Informationen zu Mitwirkenden finden Sie unter contributors .

Copyright

MIT -Lizenz - siehe Lizenz.MD für Details

Anerkennung

• Todo