strwythura

Graphgeeks.org bicara 2024-08-14

Cara membangun grafik pengetahuan dari sumber data yang tidak terstruktur.

• Acara: https://live.zoho.com/pbob6fvr6c
• Video: https://youtu.be/b6_nfvql-be
• Slide: https://derwen.ai/s/2njz#1

Peringatan: Repo ini menyediakan kode sumber dan buku catatan yang menyertai tutorial instruksional; Ini tidak dimaksudkan sebagai perpustakaan atau produk paket.

Mendirikan

python3 -m venv venv
source venv/bin/activate
python3 -m pip install -U pip wheel
python3 -m pip install -r requirements.txt 

Jalankan demo

Aplikasi demo lengkap ada di demo.py :

python3 demo.py

Demo ini menggores sumber teks dari artikel tentang hubungan antara demensia dan makan daging merah olahan secara teratur, kemudian menghasilkan grafik menggunakan NetworkX , database vektor embedding chunk teks menggunakan LanceDB , dan model embedding entitas menggunakan gensim.Word2Vec , di mana hasilnya adalah:

• data/kg.json - Serialisasi Grafik NetworkX
• data/lancedb - Tabel Database Vektor
• data/entity.w2v - Model Embedding Entitas
• kg.html - Visualisasi Grafik Interaktif di PyVis

Jelajahi buku catatan

Koleksi buku catatan Jupyter menggambarkan langkah -langkah penting dalam alur kerja ini:

./venv/bin/jupyter-lab

• Bagian 1: construct.ipynb - Konstruksi KG terperinci menggunakan grafik leksikal
• Bagian 2: chunk.ipynb - Contoh sederhana tentang cara mengikis dan memotong teks
• Bagian 3: vector.ipynb - Tabel Landedb kueri untuk embeddings chunk teks (setelah menjalankan demo.py )
• Bagian 4: embed.ipynb - Permintaan Model Embedding Entitas (Setelah Menjalankan demo.py )

Proses umum, tidak terikat

Tujuan: Bangun grafik pengetahuan (kg) Menggunakan pustaka sumber terbuka di mana model pembelajaran mendalam memberikan solusi titik yang berfokus pada secara sempit untuk menghasilkan komponen untuk grafik: node, tepi, properti.

Langkah -langkah ini menentukan proses umum, di mana tutorial ini mengambil grafik leksikal :

Hamparan semantik:

1. Muat apapun kosakata terkontrol yang telah ditentukan sebelumnya ke kg

Grafik Data:

1. Muat sumber data terstruktur atau pembaruan ke dalam grafik data
2. Lakukan Resolusi Entitas (ER) pada PII yang diekstraksi dari grafik data
3. Gunakan hasil ER untuk menghasilkan overlay semantik sebagai "tulang punggung" untuk kg

Grafik Leksikal:

1. Parse potongan teks, menggunakan lemmatisasi untuk menormalkan rentang token
2. Bangun grafik leksikal dari pohon parse, misalnya, menggunakan algoritma TextGraph
3. Analisis Named Entity Recognition (NER) untuk mengekstraksi entitas kandidat dari rentang NP
4. Menganalisis ekstraksi relasi (RE) untuk mengekstraksi hubungan antara entitas berpasangan
5. Lakukan Entitas Linking (EL) Memanfaatkan Hasil ER
6. mempromosikan entitas dan hubungan yang diekstraksi hingga overlay semantik

Pendekatan ini berbeda dengan menggunakan model bahasa besar (LLM) karena satu ukuran cocok untuk semua pendekatan "kotak hitam" untuk menghasilkan seluruh grafik secara otomatis. Pendekatan kotak hitam tidak bekerja dengan baik untuk praktik KG di lingkungan yang diatur, di mana audit, penjelasan, bukti, sumber data, dll., Diperlukan.

Lebih baik lagi, tinjau hasil perantara setelah setiap langkah inferensi untuk mengumpulkan umpan balik manusia untuk membuat komponen KG, misalnya, menggunakan Argilla .

KG yang digunakan dalam aplikasi kritis misi seperti investigasi umumnya bergantung pada pembaruan, bukan proses konstruksi satu langkah. Dengan menghasilkan kg berdasarkan langkah -langkah di atas, pembaruan dapat ditangani secara lebih efektif. Aplikasi hilir seperti grafik kain untuk mendarat hasil LLM juga akan mendapat manfaat dari peningkatan kualitas data.

Perpustakaan Komponen

• spaCy : https://spacy.io/
• GLiNER : https://github.com/urchade/gliner
• GLiREL : https://github.com/jackboyla/glirel
• OpenNRE : https://github.com/thunlp/opennre
• NetworkX : https://networkx.org/
• PyVis : https://github.com/westhealth/pyvis
• LanceDB : https://github.com/lancedb/lancedb
• gensim : https://github.com/piskvorky/gensim
• pandas : https://pandas.pydata.org/
• Pydantic : https://github.com/pydantic/pydantic
• Pyinstrument : https://github.com/joerick/pyinstrument

CATATAN: Anda harus menggunakan skrip nre.sh untuk memuat model OpenNRE pra-terlatih sebelum menjalankan opennre.ipynb Notebook.

Sejarah Bintang