strwythura

graphgeeks.org谈话2024-08-14

如何从非结构化数据源构造知识图。

• 活动：https：//live.zoho.com/pbob6fvr6c
• 视频：https：//youtu.be/b6_nfvql-be
• 幻灯片：https：//derwen.ai/s/2njz#1

警告：此存储库提供了符合教学教程的源代码和笔记本；它不打算作为包装库或产品。

设置

python3 -m venv venv
source venv/bin/activate
python3 -m pip install -U pip wheel
python3 -m pip install -r requirements.txt 

运行演示

完整的演示应用程序在demo.py中：

python3 demo.py

该演示从有关痴呆症与定期食用的红肉之间的联系的文章中删除文本源，然后使用NetworkX ，使用LanceDB的文本块嵌入式矢量数据库以及使用gensim.Word2Vec实体嵌入模型生成图：

• data/kg.json NetworkX图的序列化
• data/lancedb矢量数据库表
• data/entity.w2v实体嵌入模型
• kg.html PyVis中的交互式图可视化

探索笔记本

Jupyter笔记本的集合说明了此工作流程中的重要步骤：

./venv/bin/jupyter-lab

• 第1部分： construct.ipynb
• 第2部分： chunk.ipynb如何刮擦和块文字的简单示例
• 第3部分： vector.ipynb查询文本块嵌入式lancedb表（在运行demo.py之后）
• 第4部分： embed.ipynb查询实体嵌入模型（运行demo.py之后）

广义，捆绑的过程

目的：使用开源库构建知识图（kg），其中深度学习模型提供了狭窄的点解决方案来生成图形组件：节点，边缘，属性。

这些步骤定义了一个广义过程，该教程在词汇图上拾取：

语义叠加：

1. 将任何预定义的受控词汇直接加载到kg中

数据图：

1. 将结构化数据源加载到数据图中
2. 在从数据图中提取的PII上执行实体分辨率（ER）
3. 使用ER结果将语义覆盖作为kg的“骨干”

词汇图：

1. 解析文本块，使用lemmatization将令牌跨度归一化
2. 使用TextGraph算法从解析树构建词汇图
3. 分析命名实体识别（NER）从NP跨度提取候选实体
4. 分析关系提取（RE）以提取成对实体之间的关系
5. 执行实体链接（EL）利用ER结果
6. 促进提取的实体和关系到语义覆盖

这种方法与使用大型语言模型（LLM）作为一个尺寸适合所有“黑匣子”方法来自动生成整个图形。黑匣子方法对于在受监管环境中的KG实践不佳，需要审核，说明，证据，数据出处等。

更好的是，在每个推理步骤之后，回顾中间结果，以收集人类反馈，以使用Argilla策划KG组件，例如，例如。

在关键任务应用程序（例如调查）中使用的KGS通常依赖于更新，而不是一步施工过程。通过基于上述步骤生产公斤，可以更有效地处理更新。下游应用程序（例如用于接地LLM结果）的图形抹布也将受益于改进的数据质量。

组件库

• spaCy ：https：//spacy.io/
• GLiNER ：https：//github.com/urchade/gliner
• GLiREL ：https：//github.com/jackboyla/glirel
• OpenNRE ：https：//github.com/thunlp/opennre
• NetworkX ：https：//networkx.org/
• PyVis ：https：//github.com/westhealth/pyvis
• LanceDB ：https：//github.com/lancedb/lancedb
• gensim ：https：//github.com/piskvorky/gensim
• pandas ：https：//pandas.pydata.org/
• Pydantic ：https：//github.com/pydantic/pydantic
• Pyinstrument ：https：//github.com/joerick/pyinstrument

注意：您必须使用nre.sh脚本在运行opennre.ipynb笔记本之前加载OpenNRE预训练的模型。

星历史