NLP Knowledge Graph下載NLP Knowledge Graph源代碼下載

NLP Knowledge Graph

其他源碼

1.0.0

下載

有需要為該開源項目貢獻的小伙伴可以聯繫我喲。

Deep learning for Knowledge-Graph
- 資源外鏈
- 知識圖譜的前世今生
- 研究總結列表
  - 專題研究
  - KG&QA相關理論解析
  - NLP 相關論文解析
  - 中文金融文檔結構化研究
  - 知識圖譜相關會議
  - 事理圖譜
  - 對話系統技術
  - 關於NLP/對話/KG的商業化相關（僅供交流學習）
  - 主流開源的問答&&對話系統列表
  - 主流語義平台列表
  - 中英文文本預處理工具列表
  - 圖存儲與查詢工具
  - 可視化工具
  - 中英文知識圖譜數據集列表
- 比賽
- 思考
- Star History
- 說明
- Contact

Deep learning for Knowledge-Graph

探索認知智能係列---趨勢：1. 數據融合知識；2. All in LLM。包括知識獲取、知識庫構建、基於知識庫的問答系統系列技術研究與應用。涉及到NLP領域的前沿技術和論文。

資源外鏈

NLP-Progress
Repository to track the progress in Natural Language Processing (NLP), including the datasets and the current state-of-the-art for the most common NLP tasks.
paperswithcode
提供了論文和代碼。
技術在線
個人日常技術和閒聊網站。

知識圖譜的前世今生

序號	文章
1	為什麼要將「知識圖譜」追溯到1956 年?

研究總結列表

專題研究

基於知識圖譜的對話系統

KG&QA相關理論解析

知識圖譜綜述
知識圖譜的挑戰
深度學習與知識圖譜
CN-DBpedia: A Never-Ending Chinese Knowledge Extraction System
KBQA
趙汀陽：人工智能的自我意識何以可能？ 1-3
NLP University 開張大吉--李維老師，Simon Fraser University，博士
ACL 2019 知識圖譜的全方位總結

NLP 相關論文解析

The Illustrated Transformer
An Attentive Survey of Attention Models
BERT:Bidirectional Encoder Representations from Transformers
ERNIE:Enhanced Representation through Knowledge Integration
ERNIE: Enhanced Language Representation with Informative Entities
Google T5: Text-To-Text Transfer Transformer

中文金融文檔結構化研究

Doc2EDAG

知識圖譜相關會議

編號	名稱	等級	類型	領域
1	ACL	A類	學術會議	人工智慧
2	CVPR	A類	學術會議	人工智慧
3	ICML	A類	學術會議	人工智慧
4	IJCAI	A類	學術會議	人工智慧
5	EMNLP	B類	學術會議	人工智慧
6	CIKM	B類	學術會議	數據庫／數據挖掘／內容檢索
7	AAAI	A類	學術會議	人工智慧
8	SIGKDD	A類	學術會議	數據庫／數據挖掘／內容檢索
9	TKDE	A類	學術期刊	(數據庫/數據挖掘/內容檢索)
10	SIGIR	A類	學術會議	數據庫／數據挖掘／內容檢索

事理圖譜

事理圖譜綜述
白碩：事理圖譜六問六答

對話系統技術

CSDN|公開課筆記：一文詳解啟發式對話中的知識管理_aispeech
對話系統綜述
對話系統中的口語理解技術(SLU)

關於NLP/對話/KG的商業化相關（僅供交流學習）

語音交互中的自然語言處理技術－－xiaomi
精益知識圖譜方法論--文因互聯
小i機器人在中文語義開放平台的研究與進展--小ｉ機器人
科大訊飛-從應用角度來看知識圖譜的價值和挑戰--科大訊飛

主流開源的問答&&對話系統列表

編號	名稱	地址
1	questionAnsweringsystem	QuestionAnsweringSystem是一個Java實現的人機問答系統，能夠自動分析問題並給出候選答案。
2	QABasedOnMedicaKnowledgeGraph	從無到有搭建一個以疾病為中心的一定規模醫藥領域知識圖譜，並以該知識圖譜完成自動問答與分析服務。 python
3	DeepPavlov	An open source library for deep learning end-to-end dialog systems and chatbots. python

主流語義平台列表

編號	名稱
1	騰訊文智中文語義平台
2	科大訊飛開放語義平台
3	玻森中文語義開放平台
4	哈工大語言雲

中英文文本預處理工具列表

編號	名稱	主要功能
1	THULAC	中文詞法分析工具，支持C++/JAVA/Python by清華
2	LTP	語言技術平台pylyp LTP的Python封裝by 哈工大
3	HanLP	支持Java
4	結巴分詞	中文分詞（僅支持分詞），Java、python、C++
5	jiagu	提供中文分詞、詞性標註、命名實體識別、關鍵詞抽取、文本摘要、新詞發現等常用自然語言處理功能。 Python
6	fudanNLP	中文分詞（分詞、詞性標註、命名實體識別），支持Java
7	deepdive	斯坦福大學的開源知識抽取工具（三元組抽取），支持python
8	FudanDNN-NLP3.0	用於中文分詞、命名識別、詞性標註、句子分類、語義分析、知識庫訪問、對話問答,支持Java----復旦大學計算機學院機器人研究實驗室所開發的基於深度學習的中文自然語言處理工具
9	Stanford CoreNLP	可進行多語言的詞性標註器、命名實體的識別器、解析器（句子與語法結構）、指代消解器（就是在篇章中確定代詞指向哪個名詞短語的問題）、情感分析器、引導模式學習器、開放信息提取器， Java/Python----- Stanford CoreNLP是斯坦福大學的自然語言處理工具包,工具包需要java的支持

圖存儲與查詢工具

編號	名稱	主要功能
1	Neo4j	開源圖形數據庫，由Java開發。
2	OrientDB	開源的noSQL數據庫，可處理文檔、圖形、傳統數據庫組件。由Java編寫，存儲速度快。
3	Virtuoso	支持RDF與SPARQL查詢。
4	Titan	可與Gremlin/Hbase進行集成，可實現分佈式存儲和計算的圖數據處理。
5	Apache Jena-IDB	在JAVA下操作RDF。其中TDB是使用triple store的形式對RDF數據提供持久性存儲（persistent store），TDB相比RDB、SDB更快且具有擴展性。
6	Cypher	聲明式圖查詢語言，表達高效查詢和更新圖數據庫。
7	Gremlin	一種函數式數據流語言，可以使得用戶使用簡潔的方式表述複雜的屬性圖（property graph）的遍歷或查詢。
8	SPARQL	為RDF開發的一種查詢語言和數據獲取協議。
9	rdflib	基於Python語言編寫的，RDF / XML，N3，NTriples，N-Quads，Turtle，TriX，RDFa和Microdata的解析器和序列化器，支持SPARQL 1.1查詢和更新語句。

可視化工具

編號	名稱	主要功能
1	ECharts	百度開源工具，API封裝完善，簡單好用，易上手，但不支持事件處理。
2	Cytoscape.js	針對圖形和網絡，事件交互性的支持不錯，同樣易上手。
3	D3.js	使用門檻較高，但支持事件處理器，D3的開銷極小，支持大型數據集和交互動畫的動態行為，支持圖形豐富。

中英文知識圖譜數據集列表

編號	名稱	應用任務
1	OpenKG	開放知識圖譜
2	CN-Probase	大規模中文概念圖譜
3	SentiBridge	中文實體情感知識庫，刻畫人們如何描述某個實體，包含新聞、旅遊、餐飲，共計30萬對
4	音樂知識圖譜	中文音樂知識圖譜，歌手、歌曲等信息
5	人物類RDF知識	採集自百科網站的人物類知識，共65萬個RDF三元組
6	中國旅遊景點知識圖譜	中國旅遊景點中文知識圖譜是CASIA-KB知識圖譜的一部分。抽取自百度百科和互動百科。旅遊景點知識圖譜可用於地理、生活、娛樂等應用。
7	200萬條商品畫像數據	本數據是百分點在7年運營過程中積累的產品畫像數據的小結，百分點自建了豐富的電商品分類體系和媒體分類體系。
8	中文症狀庫	這是一個包含症狀實體和症狀相關三元組的數據集。中文症狀庫的數據來自8個主流的健康諮詢網站、3個中文百科網站和電子病歷。
9	cnSchema機場知識圖譜	基於cnSchema的機場知識圖譜可查詢世界各機場的屬性，包含名稱、時區、機場代碼、地理位置（經緯度）等。
10	七律-通用知識圖譜	本數據共包含8000萬條百科三元組，為七律的一部分子集，後續將持續加大開放。七律-7Lore，是狗尾草科技精心打造的百科知識圖譜，是人類世界海量知識的集合，它包含了事物、事實、概念、規則等等。

比賽

ATEC螞蟻開發者大賽之學習賽--NLP之問題相似度計算--2019-3
百度2019語言與智能技術競賽之第二賽道--知識驅動對話--2019-4
SMP2019中文人機對話技術評測（ECDT）,子任務：領域分類、意圖識別和語義槽填充--Task1:自然語言理解評測--2019-5

思考

知識圖譜的構建是一個體系化的工程項目，目前結合深度學習技術以及自然語言處理知識在一定程度上提升了構建的效率並降低了成本。知識圖譜的地位在認知智能是一個基礎資源設施，基於此可以進行問答、對話、、推薦系統、可解釋性的增強等方面的應用。
目前對於垂直領域的知識圖譜構建需求較多。應用方面在智能問答和主動式對話系統的實踐是比較熱點的方向。
個人覺得一套爬蟲系統可以為知識庫提供動態更新的知識來源。
結合知識/常識的對話系統，更具準確性和多樣性，是一個值得研究的方向，可讓機器引導用戶進行話題的交流。如上面比賽２就是這一方向的應用。
自然語言處理/理解目前門檻已經高升到了BERT啦,在絕大數任務中基本都是必提的，基於Transformer做編碼器！如何在模型訓練中融入知識（可以是多模態）已是目前研究的熱點方向，如百度最近提出的ERNIE表示模型就引入這一思想，也在下游任務中取得了不錯的效果。
知識圖譜的表示研究問題（Knowledge Graph Embedding, KGE)是當前的一個研究熱點。
多模態數據知識融合應該是領域性機器智能走向通用知識智能的一個重要探索階段。一是，由於多模態數據自身特點，結構化是非常重要的，結構化後可以極大豐富知識圖譜的知識構成，更具豐富的表達。二是，CV、NLP組件化後的若能打通兩者並協同工作感覺也比較有意思，比如問答場景的回复內容更豐富，和人們更加自然交流等。
<strong>針對文本數據的結構化，除了選用機器學習方法外，也可以結合正則表達式進行數據的抽取、模型建模的中間處理環節等。如：正則表達式結合深度學習</strong>
20230226：NLP的發展從2022年的後半程到2023年又是一次範式的變化，隨著ChatGPT問世，領域內外無人不曉，在各行各業引起了熱列的討論，國內外大廠紛紛跟進。譬如LLM（Large Language Model）、AIGC（AI Generated Content）、NLP部分細分任務因LLM走向大一統，LLM成為各行各業基礎設施等話題層出不窮。 ChatGPT的出現一是給人一種驚喜，二是給人新的探索可能，三是對於AI也算一是普及。
- 從體驗chatgpt來看，基本上是我把前面的思考全部覆蓋了，信息抽取，對話，觀點生成，思維鏈--有推理，可加入新知識進行更新，寫代碼，最為驚喜的是能一本正經的胡說八道，對於邏輯性問題還能羅列步驟。
- 從論文中進一步了解原理。 GPT-1到GPT3的發展，認識Transformer基礎架構。
20230521：國內的LLM跟進速度非常快，發布了自研大語言模型，也有開源的，如清華的ChatGLM-6/130b等。圍繞LLM的生態發展也很快，各類應用，如Chatpdf，插件等，最近OpenAI發布了ChatGpt IOS版本，更是將LLM的落地推進了一大步，可以暢想未來好多應用都會基於LLM的能力。針對如何基於LLM搭建一些應用，開源框架LangChain迭代速度非常快，基本幾行代碼就能讓你快速體驗如基於個人文檔的問答，向量的計算，存儲等，方便快捷，推薦大家學習和使用。針對文本，其實大多數文本是非結構化的，如pdf，word，html等需要基於其他工具結構化，langchain也提供了開源方式。 LLM私有化部署+本地化知識接入+插件化擴展LLM的能力是當前發展的方向。