strwythura

graphgeeks.org談話2024-08-14

如何從非結構化數據源構造知識圖。

• 活動：https：//live.zoho.com/pbob6fvr6c
• 視頻：https：//youtu.be/b6_nfvql-be
• 幻燈片：https：//derwen.ai/s/2njz#1

警告：此存儲庫提供了符合教學教程的源代碼和筆記本；它不打算作為包裝庫或產品。

設定

python3 -m venv venv
source venv/bin/activate
python3 -m pip install -U pip wheel
python3 -m pip install -r requirements.txt 

運行演示

完整的演示應用程序在demo.py中：

python3 demo.py

該演示從有關癡呆症與定期食用的紅肉之間的聯繫的文章中刪除文本源，然後使用NetworkX ，使用LanceDB的文本塊嵌入式矢量數據庫以及使用gensim.Word2Vec實體嵌入模型生成圖：

• data/kg.json NetworkX圖的序列化
• data/lancedb矢量數據庫表
• data/entity.w2v實體嵌入模型
• kg.html PyVis中的交互式圖可視化

探索筆記本

Jupyter筆記本的集合說明了此工作流程中的重要步驟：

./venv/bin/jupyter-lab

• 第1部分： construct.ipynb
• 第2部分： chunk.ipynb如何刮擦和塊文字的簡單示例
• 第3部分： vector.ipynb查詢文本塊嵌入式lancedb表（在運行demo.py之後）
• 第4部分： embed.ipynb查詢實體嵌入模型（運行demo.py之後）

廣義，捆綁的過程

目的：使用開源庫構建知識圖（kg），其中深度學習模型提供了狹窄的點解決方案來生成圖形組件：節點，邊緣，屬性。

這些步驟定義了一個廣義過程，該教程在詞彙圖上拾取：

語義疊加：

1. 將任何預定義的受控詞彙直接加載到kg中

數據圖：

1. 將結構化數據源加載到數據圖中
2. 在從數據圖中提取的PII上執行實體分辨率（ER）
3. 使用ER結果將語義覆蓋作為kg的“骨幹”

詞彙圖：

1. 解析文本塊，使用lemmatization將令牌跨度歸一化
2. 使用TextGraph算法從解析樹構建詞彙圖
3. 分析命名實體識別（NER）從NP跨度提取候選實體
4. 分析關係提取（RE）以提取成對實體之間的關係
5. 執行實體鏈接（EL）利用ER結果
6. 促進提取的實體和關係到語義覆蓋

這種方法與使用大型語言模型（LLM）作為一個尺寸適合所有“黑匣子”方法來自動生成整個圖形。黑匣子方法對於在受監管環境中的KG實踐不佳，需要審核，說明，證據，數據出處等。

更好的是，在每個推理步驟之後，回顧中間結果，以收集人類反饋，以使用Argilla策劃KG組件，例如，例如。

在關鍵任務應用程序（例如調查）中使用的KGS通常依賴於更新，而不是一步施工過程。通過基於上述步驟生產公斤，可以更有效地處理更新。下游應用程序（例如用於接地LLM結果）的圖形抹布也將受益於改進的數據質量。

組件庫

• spaCy ：https：//spacy.io/
• GLiNER ：https：//github.com/urchade/gliner
• GLiREL ：https：//github.com/jackboyla/glirel
• OpenNRE ：https：//github.com/thunlp/opennre
• NetworkX ：https：//networkx.org/
• PyVis ：https：//github.com/westhealth/pyvis
• LanceDB ：https：//github.com/lancedb/lancedb
• gensim ：https：//github.com/piskvorky/gensim
• pandas ：https：//pandas.pydata.org/
• Pydantic ：https：//github.com/pydantic/pydantic
• Pyinstrument ：https：//github.com/joerick/pyinstrument

注意：您必須使用nre.sh腳本在運行opennre.ipynb筆記本之前加載OpenNRE預訓練的模型。

星曆史