หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

graphgeeks.org Talk 2024-08-14

วิธีการสร้าง กราฟความรู้ จากแหล่งข้อมูลที่ไม่มีโครงสร้าง

  • กิจกรรม: https://live.zoho.com/pbob6fvr6c
  • วิดีโอ: https://youtu.be/b6_nfvql-be
  • สไลด์: https://derwen.ai/s/2njz#1

ข้อแม้: repo นี้ให้ซอร์สโค้ดและสมุดบันทึกซึ่งมาพร้อมกับการสอนการเรียนการสอน; มันไม่ได้มีไว้เพื่อเป็นไลบรารีหรือผลิตภัณฑ์แพ็คเกจ

ตั้งค่า 

python3 -m venv venv
source venv/bin/activate
python3 -m pip install -U pip wheel
python3 -m pip install -r requirements.txt

เรียกใช้การสาธิต

แอพสาธิตเต็มรูปแบบอยู่ใน demo.py : 

python3 demo.py

การสาธิตนี้ทำให้แหล่งข้อความจากบทความเกี่ยวกับการเชื่อมโยงระหว่างภาวะสมองเสื่อมและการกินเนื้อแดงที่ผ่านการประมวลผลอย่างสม่ำเสมอจากนั้นสร้างกราฟโดยใช้ NetworkX ฐานข้อมูลเวกเตอร์ของการฝังตัวของข้อความโดยใช้ LanceDB และโมเดลฝังเอนทิตีโดยใช้ gensim.Word2Vec

  • data/kg.json - การทำให้เป็นอนุกรมของกราฟ NetworkX
  • data/lancedb - ตารางฐานข้อมูลเวกเตอร์
  • data/entity.w2v - โมเดลการฝังเอนทิตี
  • kg.html - การสร้างภาพกราฟแบบโต้ตอบใน PyVis

สำรวจสมุดบันทึก

คอลเลกชันของสมุดบันทึก Jupyter แสดงให้เห็นถึงขั้นตอนสำคัญในเวิร์กโฟลว์นี้: 

./venv/bin/jupyter-lab
  • ส่วนที่ 1: construct.ipynb - การก่อสร้าง KG โดยละเอียดโดยใช้กราฟคำศัพท์
  • ส่วนที่ 2: chunk.ipynb - ตัวอย่างง่ายๆของวิธีการขูดและข้อความ
  • ส่วนที่ 3: vector.ipynb - Query lancedb Table สำหรับการฝังตัวของข้อความ (หลังจากเรียกใช้ demo.py )
  • ส่วนที่ 4: embed.ipynb - สอบถามโมเดลการฝังเอนทิตี (หลังจากเรียกใช้ demo.py )

กระบวนการทั่วไปที่ไม่ได้รับการรับรอง

วัตถุประสงค์: สร้าง กราฟความรู้ (กก.) โดยใช้ไลบรารีโอเพ่นซอร์สที่แบบจำลองการเรียนรู้ลึกให้ บริการโซลูชันจุด ที่มุ่งเน้นอย่างแคบ ๆ เพื่อสร้างส่วนประกอบสำหรับกราฟ: โหนด, ขอบ, คุณสมบัติ

ขั้นตอนเหล่านี้กำหนดกระบวนการทั่วไปโดยที่บทช่วยสอนนี้หยิบขึ้นมาที่ กราฟคำศัพท์ :

ซ้อนทับความหมาย:

  1. โหลดคำศัพท์ควบคุมที่กำหนดไว้ล่วงหน้าลงใน KG โดยตรง

กราฟข้อมูล:

  1. โหลดแหล่งข้อมูลที่มีโครงสร้างหรืออัปเดตลงในกราฟข้อมูล
  2. ดำเนินการความละเอียดเอนทิตี (ER) บน PII ที่สกัดจากกราฟข้อมูล
  3. ใช้ผลลัพธ์ ER เพื่อสร้างการซ้อนทับความหมายเป็น "กระดูกสันหลัง" สำหรับ KG

กราฟคำศัพท์:

  1. แยกวิเคราะห์ชิ้นข้อความโดยใช้ lemmatization เพื่อทำให้โทเค็นเป็นปกติ
  2. สร้างกราฟคำศัพท์จากต้นไม้แยกวิเคราะห์เช่นโดยใช้อัลกอริทึม TextGraph
  3. วิเคราะห์ชื่อการรับรู้เอนทิตี (NER) เพื่อแยกเอนทิตีของผู้สมัครจากช่วง NP
  4. วิเคราะห์การสกัดความสัมพันธ์ (RE) เพื่อสกัดความสัมพันธ์ระหว่างเอนทิตีคู่
  5. ดำเนินการเชื่อมโยงเอนทิตี (EL) ใช้ประโยชน์จากผลลัพธ์ ER
  6. ส่งเสริมหน่วยงานที่สกัดและความสัมพันธ์ไปจนถึงการซ้อนทับความหมาย

วิธีการนี้ตรงกันข้ามกับการใช้ โมเดลภาษาขนาดใหญ่ (LLM) เป็น ขนาดเดียวที่เหมาะกับวิธีการ "กล่องดำ" ทั้งหมด เพื่อสร้างกราฟทั้งหมดโดยอัตโนมัติ วิธีการกล่องดำไม่ทำงานได้ดีสำหรับการปฏิบัติ KG ในสภาพแวดล้อมที่มีการควบคุมซึ่งจำเป็นต้องมีการตรวจสอบคำอธิบายหลักฐานการให้ข้อมูลที่มาจากข้อมูล ฯลฯ

ยังดีกว่าตรวจสอบผลลัพธ์ระดับกลางหลังจากขั้นตอนการอนุมานแต่ละขั้นตอนเพื่อรวบรวมความคิดเห็นของมนุษย์สำหรับการดูแลส่วนประกอบ KG เช่นโดยใช้ Argilla

KGs ใช้ในแอพที่มีความสำคัญต่อภารกิจเช่นการตรวจสอบโดยทั่วไปขึ้นอยู่กับการอัปเดตไม่ใช่กระบวนการก่อสร้างขั้นตอนเดียว ด้วยการผลิตกิโลกรัมตามขั้นตอนข้างต้นการอัปเดตสามารถจัดการได้อย่างมีประสิทธิภาพมากขึ้น แอพดาวน์สตรีมเช่น กราฟ RAG สำหรับการลงดินผลลัพธ์ LLM จะได้รับประโยชน์จากคุณภาพข้อมูลที่ดีขึ้น

ไลบรารีส่วนประกอบ

  • spaCy : https://spacy.io/
  • GLiNER : https://github.com/urchade/gliner
  • GLiREL : https://github.com/jackboyla/GliRel
  • OpenNRE : https://github.com/thunlp/opennre
  • NetworkX : https://networkx.org/
  • PyVis : https://github.com/westhealth/pyvis
  • LanceDB : https://github.com/lancnb/lancingb
  • gensim : https://github.com/piskvorky/gensim
  • pandas : https://pandas.pydata.org/
  • Pydantic : https://github.com/pydantic/pydantic
  • Pyinstrument : https://github.com/joerick/pyinstrument

หมายเหตุ: คุณต้องใช้สคริปต์ nre.sh เพื่อโหลดโมเดลที่ได้รับการฝึกอบรมล่วงหน้า OpenNRE ก่อนที่จะเรียกใช้สมุดบันทึก opennre.ipynb

ประวัติดาว

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด