首頁>編程相關>其他源碼
下載

awesome-chinese-nlp

A curated list of resources for NLP (Natural Language Processing) for Chinese

中文自然語言處理相關資料

圖片來自複旦大學邱錫鵬教授

Contents 列表

1. Chinese NLP Toolkits 中文NLP工具

  • Toolkits 綜合NLP工具包

  • Popular NLP Toolkits for English/Multi-Language 常用的英文或支持多語言的NLP工具包

  • Chinese Word Segment 中文分詞

  • Information Extraction 信息提取

  • QA & Chatbot 問答和聊天機器人

  • Multi-Modal Representation & Retrieval 多模態表徵與檢索

2. Corpus 中文語料

3. Organizations 中文NLP學術組織及競賽

4. Industry 中文NLP商業服務

5. Learning Materials 學習資料



Chinese NLP Toolkits 中文NLP工具

Toolkits 綜合NLP工具包

  • THULAC 中文詞法分析工具包by 清華(C++/Java/Python)

  • NLPIR by 中科院(Java)

  • LTP 語言技術平台by 哈工大(C++) pylyp LTP的python封裝

  • FudanNLP by 復旦(Java)

  • BaiduLac by 百度Baidu's open-source lexical analysis tool for Chinese, including word segmentation, part-of-speech tagging & named entity recognition.

  • HanLP (Java)

  • FastNLP (Python) 一款輕量級的NLP 處理套件。

  • SnowNLP (Python) Python library for processing Chinese text

  • YaYaNLP (Python) 純python編寫的中文自然語言處理包，取名於“牙牙學語”

  • 小明NLP (Python) 輕量級中文自然語言處理工具

  • DeepNLP (Python) Deep Learning NLP Pipeline implemented on Tensorflow with pretrained Chinese models.

  • chinese_nlp (C++ & Python) Chinese Natural Language Processing tools and examples

  • lightNLP (Python) 基於Pytorch和torchtext的自然語言處理深度學習框架

  • Chinese-Annotator (Python) Annotator for Chinese Text Corpus 中文文本標註工具

  • Poplar (Typescript) A web-based annotation tool for natural language processing (NLP)

  • Jiagu (Python) Jiagu以BiLSTM等模型為基礎，使用大規模語料訓練而成。將提供中文分詞、詞性標註、命名實體識別、情感分析、知識圖譜關係抽取、關鍵詞抽取、文本摘要、新詞發現等常用自然語言處理功能。

  • SmoothNLP (Python & Java) 專注於可解釋的NLP技術

  • FoolNLTK (Python & Java) A Chinese Nature Language Toolkit

Popular NLP Toolkits for English/Multi-Language 常用的英文或支持多語言的NLP工具包

  • CoreNLP by Stanford (Java) A Java suite of core NLP tools.

  • Stanza by Stanford (Python) A Python NLP Library for Many Human Languages

  • NLTK (Python) Natural Language Toolkit

  • spaCy (Python) Industrial-Strength Natural Language Processing with a online course

  • textacy (Python) NLP, before and after spaCy

  • OpenNLP (Java) A machine learning based toolkit for the processing of natural language text.

  • gensim (Python) Gensim is a Python library for topic modelling, document indexing and similarity retrieval with large corpora.

  • Kashgari - Simple and powerful NLP framework, build your state-of-art model in 5 minutes for named entity recognition (NER), part-of-speech tagging (PoS) and text classification tasks. Includes BERT and word2vec embedding.

Chinese Word Segment 中文分詞

  • Jieba 結巴中文分詞(Python及大量其它編程語言衍生) 做最好的Python 中文分詞組件

  • 北大中文分詞工具(Python) 高準確度中文分詞工具，簡單易用，跟現有開源工具相比大幅提高了分詞的準確率。

  • kcws 深度學習中文分詞(Python) BiLSTM+CRF與IDCNN+CRF

  • ID-CNN-CWS (Python) Iterated Dilated Convolutions for Chinese Word Segmentation

  • Genius 中文分詞(Python) Genius是一個開源的python中文分詞組件，採用CRF(Conditional Random Field)條件隨機場算法。

  • loso 中文分詞(Python)

  • yaha "啞哈"中文分詞(Python)

  • ChineseWordSegmentation (Python) Chinese word segmentation algorithm without corpus（無需語料庫的中文分詞）

  • Go語言高性能分詞(Go) Go efficient text segmentation; support english, chinese, japanese and other.

  • Ansj中文分詞(java) 基於n-Gram+CRF+HMM的中文分詞的java實現

Information Extraction 信息提取

  • MITIE (C++) library and tools for information extraction

  • Duckling (Haskell) Language, engine, and tooling for expressing, testing, and evaluating composable language rules on input strings.

  • IEPY (Python) IEPY is an open source tool for Information Extraction focused on Relation Extraction.

  • Snorkel A training data creation and management system focused on information extraction

  • Neural Relation Extraction implemented with LSTM in TensorFlow

  • A neural network model for Chinese named entity recognition

  • bert-chinese-ner 使用預訓練語言模型BERT做中文NER

  • Information-Extraction-Chinese Chinese Named Entity Recognition with IDCNN/biLSTM+CRF, and Relation Extraction with biGRU+2ATT 中文實體識別與關係提取

  • Familia 百度出品的A Toolkit for Industrial Topic Modeling

  • Text Classification All kinds of text classificaiton models and more with deep learning. 用知乎問答語聊作為測試數據。

  • ComplexEventExtraction 中文複合事件的概念與顯式模式，包括條件事件、因果事件、順承事件、反轉事件等事件抽取，並形成事理圖譜。

  • TextRank4ZH 從中文文本中自動提取關鍵詞和摘要

QA & Chatbot 問答和聊天機器人

  • Rasa NLU (Python) turn natural language into structured data, a Chinese fork at Rasa NLU Chi

  • Rasa Core (Python) machine learning based dialogue engine for conversational software

  • Chatstack A Full Pipeline UI for building Chinese NLU System

  • Snips NLU (Python) Snips NLU is a Python library that allows to parse sentences written in natural language and extracts structured information.

  • DeepPavlov (Python) An open source library for building end-to-end dialog systems and training chatbots.

  • ChatScript Natural Language tool/dialog manager, a rule-based chatbot engine.

  • Chatterbot (Python) ChatterBot is a machine learning, conversational dialog engine for creating chat bots.

  • Chatbot (Python) 基於向量匹配的情境式聊天機器人

  • Tipask (PHP) 一款開放源碼的PHP問答系統，基於Laravel框架開發，容易擴展，具有強大的負載能力和穩定性。

  • QuestionAnsweringSystem (Java) 一個Java實現的人機問答系統，能夠自動分析問題並給出候選答案。

  • QA-Snake (Python) 基於多搜索引擎和深度學習技術的自動問答

  • 使用TensorFlow實現的Sequence to Sequence的聊天機器人模型(Python)

  • 使用深度學習算法實現的中文閱讀理解問答系統(Python)

  • AnyQ by Baidu 主要包含面向FAQ集合的問答系統框架、文本語義匹配工具SimNet。

  • DuReader中文閱讀理解Baseline代碼(Python)

  • 基於SmartQQ的自動機器人框架(Python)

  • QASystemOnMedicalKG (Python) 以疾病為中心的一定規模醫藥領域知識圖譜，並以該知識圖譜完成自動問答與分析服務。

  • GPT2-chitchat (Python) 用於中文閒聊的GPT2模型

  • CDial-GPT (Python) 提供了一個大規模中文對話數據集，並提供了在此數據集上的中文對話預訓練模型（中文GPT模型）

Multi-Modal Representation & Retrieval 多模態表徵與檢索

  • Chinese-CLIP (Python) Chinese-CLIP是中文多模態圖文表徵預訓練模型。其基於OpenAI的CLIP模型結構，利用大規模中文原生圖文語料完成預訓練，目前開源了多個模型規模，同時公開了技術報告論文及檢索demo


Corpus 中文語料

  • 開放知識圖譜OpenKG.cn

  • 開放中文知識圖譜的schema

  • 大規模中文概念圖譜CN-Probase 公眾號介紹

  • 大規模1.4億中文知識圖譜開源下載

  • 農業知識圖譜農業領域的信息檢索，命名實體識別，關係抽取，分類樹構建，數據挖掘

  • CLDC中文語言資源聯盟

  • 中文Wikipedia Dump

  • 基於不同語料、不同模型（比如BERT、GPT）的中文預訓練模型中文預訓練模型框架，支持不同語料、編碼器、目標任務的預訓練模型（from RUC and Tencent）

  • OpenCLaP 多領域開源中文預訓練語言模型倉庫(from Tsinghua)

  • 98年人民日報詞性標註庫@百度盤

  • 搜狗20061127新聞語料(包含分類)@百度盤

  • UDChinese (for training spaCy POS)

  • 中文word2vec模型

  • 上百種預訓練中文詞向量

  • Tencent AI Lab Embedding Corpus for Chinese Words and Phrases

  • 中文預訓練BERT with Whole Word Masking

  • 中文GPT2訓練代碼可以寫詩，新聞，小說，或是訓練通用語言模型。

  • 中文語言理解測評基準ChineseGLUE 包括代表性的數據集、基準(預訓練)模型、語料庫、排行榜。

  • 中華新華字典數據庫包括歇後語，成語，詞語，漢字。

  • Synonyms:中文近義詞工具包基於維基百科中文和word2vec訓練的近義詞庫，封裝為python包文件。

  • Chinese_conversation_sentiment A Chinese sentiment dataset may be useful for sentiment analysis.

  • 中文突發事件語料庫Chinese Emergency Corpus

  • dgk_lost_conv 中文對白語料chinese conversation corpus

  • 用於訓練中英文對話系統的語料庫Datasets for Training Chatbot System

  • 八卦版問答中文語料

  • 中文公開聊天語料庫

  • 中國股市公告信息爬取通過python腳本從巨潮網絡的服務器獲取中國股市（sz,sh）的公告(上市公司和監管機構)

  • tushare財經數據接口TuShare是一個免費、開源的python財經數據接口包。

  • 金融文本數據集SmoothNLP 金融文本數據集(公開) Public Financial Datasets for NLP Researches

  • 保險行業語料庫[52nlp介紹Blog] OpenData in insurance area for Machine Learning Tasks

  • 最全中華古詩詞數據庫唐宋兩朝近一萬四千古詩人, 接近5.5萬首唐詩加26萬宋詩. 兩宋時期1564位詞人，21050首詞。

  • DuReader中文閱讀理解數據

  • 中文語料小數據包含了中文命名實體識別、中文關係識別、中文閱讀理解等一些小量數據

  • Chinese-Literature-NER-RE-Dataset A Discourse-Level Named Entity Recognition and Relation Extraction Dataset for Chinese Literature Text

  • ChineseTextualInference 中文文本推斷項目,包括88萬文本蘊含中文文本蘊含數據集的翻譯與構建,基於深度學習的文本蘊含判定模型構建.

  • 大規模中文自然語言處理語料維基百科(wiki2019zh),新聞語料(news2016zh),百科問答(baike2018qa)

  • 中文人名語料庫中文姓名,姓氏,名字,稱呼,日本人名,翻譯人名,英文人名。

  • 公司名、機構名語料庫公司簡稱,縮寫,品牌詞,企業名。

  • 中文敏感詞詞庫敏感詞過濾的幾種實現+某1w詞敏感詞庫

  • 中文簡稱詞庫A corpus of Chinese abbreviation, including negative full forms.

  • 中文數據預處理材料中文分詞詞典和中文停用詞

  • 漢語拆字字典

  • SentiBridge: 中文實體情感知識庫刻畫人們如何描述某個實體，包含新聞、旅遊、餐飲，共計30萬對。

  • OpenCorpus A collection of freely available (Chinese) corpora.

  • ChineseNlpCorpus 情感/觀點/評論傾向性分析，中文命名實體識別，推薦系統

  • FinancialDatasets SmoothNLP 金融文本數據集(公開) Public Financial Datasets for NLP Researches Only

  • People's Daily & Children's Fairy Tale PD&CFT: A Chinese Reading Comprehension Dataset

  • 中文維基23萬高質量詞條-更新至23年7月-已過濾敏感或爭議性信息



Organizations 中文NLP學術組織及競賽

  • 清華大學自然語言處理與人文計算實驗室

  • 北京大學計算語言學教育部重點實驗室

  • 中科院計算所自然語言處理研究組

  • 哈工大智能技術與自然語言處理實驗室

  • 哈工大社會計算與信息檢索研究中心

  • 復旦大學自然語言處理組

  • 蘇州大學自然語言處理組

  • 南京大學自然語言處理研究組

  • 東北大學自然語言處理實驗室

  • 廈門大學智能科學與技術係自然語言處理實驗室

  • 鄭州大學自然語言處理實驗室

  • 微軟亞洲研究院自然語言處理

  • 華為諾亞方舟實驗室

  • CUHK Text Mining Group

  • PolyU Social Media Mining Group

  • HKUST Human Language Technology Center

  • National Taiwan University NLP Lab

  • 中國中文信息學會

  • NLP Conference Calender Main conferences, journals, workshops and shared tasks in NLP community.

  • 2017 第一屆“訊飛杯”中文機器閱讀理解評測

  • 2017 AI-Challenger 圖像中文描述用一句話描述給定圖像中的主要信息，挑戰中文語境下的圖像理解問題。

  • 2017 AI-Challenger 英中機器文本翻譯用大規模的數據，提升英中文本機器翻譯模型的能力。

  • 2017 知乎看山盃機器學習挑戰賽根據知乎給出的問題及話題標籤的綁定關係的訓練數據，訓練出對未標註數據自動標註的模型。

  • 2018 開放領域的中文問答任務對於給定的一句中文問題，問答系統從給定知識庫中選擇若干實體或屬性值作為該問題的答案。

  • 2018 微眾銀行智能客服問句匹配大賽針對中文的真實客服語料，進行問句意圖匹配；給定兩個語句，判定兩者意圖是否相近。



Industry 中文NLP商業服務

  • 華為雲NLP 針對各類企業及開發者提供的用於文本分析及挖掘的雲服務，旨在幫助用戶高效的處理文本

  • 百度雲NLP 提供業界領先的自然語言處理技術，提供優質文本處理及理解技術

  • 阿里雲NLP 為各類企業及開發者提供的用於文本分析及挖掘的核心工具

  • 騰訊雲NLP 基於並行計算、分佈式爬蟲系統，結合獨特的語義分析技術，一站滿足NLP、轉碼、抽取、數據抓取等需求

  • 訊飛開放平台以語音交互為核心的人工智能開放平台

  • 搜狗實驗室分詞和詞性標註

  • 玻森數據上海玻森數據科技有限公司，專注中文語義分析技術

  • 雲孚科技NLP工具包、知識圖譜、文本挖掘、對話系統、輿情分析等

  • 智言科技專注於深度學習和知識圖譜技術突破的人工智能公司

  • 追一科技主攻深度學習和自然語言處理



Learning Materials 學習資料

  • 中文Deep Learning Book

  • Stanford CS224n Natural Language Processing with Deep Learning 2017

  • Oxford CS DeepNLP 2017

  • [Course materials for Georgia Tech CS 4650 and 7650, "Natural Language"] (https://github.com/jacobeisenstein/gt-nlp-class)

  • Speech and Language Processing by Dan Jurafsky and James H. Martin

  • 52nlp 我愛自然語言處理

  • hankcs 碼農場

  • 文本處理實踐課資料文本處理實踐課資料，包含文本特徵提取（TF-IDF），文本分類，文本聚類，word2vec訓練詞向量及同義詞詞林中文詞語相似度計算、文檔自動摘要，信息抽取，情感分析與觀點挖掘等實驗。

  • nlp_tasks Natural Language Processing Tasks and Selected References

  • NLP研究入門之道from清華劉知遠老師

  • Chinese NLP Shared tasks, datasets and state-of-the-art results for Chinese Natural Language Processing

展開
附加信息
相關應用
爲您推薦
相關資訊 全部