Chinese_models_for_SpaCy

README written in English

SpaCy 官方中文模型已經上線(https://spacy.io/models/zh), 本項目『推動SpaCy 中文模型開發』的使命已經完成，本項目將進入維護狀態，後續更新將只進行bug 修復，感謝各位用戶長期的關注和支持。

SpaCy 中文模型

為SpaCy 提供的中文數據模型. 模型目前還處於beta 公開測試的狀態。

在線演示

基於Jupyter notebook 的在線演示在。

特性

部分王小明在北京的清华大学读书這個Doc對象的屬性信息:

NER ( New! )

部分王小明在北京的清华大学读书這個Doc對象的NER 信息:

開始使用

模型用二進製文件的形式進行分發, 用戶應該具備基礎的SpaCy （version > 2) 的基礎知識.

系統要求

Python 3 (也許支持python2, 但未經過良好測試)

安裝

下載模型

從releases 頁面下載模型( New!為中國地區的用戶提供了加速下載的鏈接)。假設所下載的模型名為zh_core_web_sm-2.xxtar.gz 。

安裝模型

 pip install zh_core_web_sm-2.x.x.tar.gz

為了方便後續在Rasa NLU 等框架中使用，需要再為這個模型建立一個鏈接，by 執行以下命令：

spacy link zh_core_web_sm zh

運行完成後就可以使用zh 這個別名來訪問這個模型了。

運行Demo 代碼

Demo 代碼位於test.py . 在安裝好模型後，用戶下載或者克隆本倉庫的代碼，然後可以直接執行

python3 ./test.py

打開地址http://127.0.0.1:5000 , 將看到如下：

如何從零構造這個模型

見workflow

語料庫

本項目使用的語料庫是OntoNotes 5.0。

由於OntoNotes 5.0 是LDC (Linguistic Data Consortium) 的版權材料，無法直接包含在本項目中。好消息是，OntoNotes 5.0 對於團體用戶（包含企業和學術組織）是完全免費的。用戶可以建立一個企業或者學術組織賬號，然後免費獲取OntoNotes 5.0。

TODO list

• 屬性pos_不正確. 這個和SpaCy 中中文語言Class 相關。
• 屬性shape_ and is_alpha似乎對中文並無意義, 但需要權威信息確認一下.
• 屬性is_stop不正確. 這個和SpaCy 中中文語言Class 相關。
• 屬性vector似乎沒有訓練的很好。
• 屬性is_oov完全錯誤. 第一優先級修復。
• NER 模型，因為缺少LDC 語料庫，目前不可用. 正在解決中正在訓練中。
• 將訓練中所用的中間結果release 出來, 方便用戶自行定制模型

使用的組件

• TODO

如何貢獻

請閱讀CONTRIBUTING.md , 然後提交pull requests 給我們.

版本化控制

我們使用SemVer 做版本化的標準. 查看tags以了解所有的版本.

作者

• Xiaoquan Kong - Initial work - howl-anderson

更多貢獻者信息，請參考contributors .

版權

MIT License - 詳見LICENSE.md

致謝

• TODO