Awesome LLM KG

Awesome-llm-kg

Kumpulan makalah dan sumber daya tentang menyatukan model bahasa besar (LLM) dan grafik pengetahuan (KG).

Model Bahasa Besar (LLM) telah mencapai keberhasilan dan generalisasi yang luar biasa dalam berbagai aplikasi. Namun, mereka sering gagal menangkap dan mengakses pengetahuan faktual. Grafik Pengetahuan (KG) adalah model data terstruktur yang secara eksplisit menyimpan pengetahuan faktual yang kaya. Namun demikian, KG sulit untuk membangun dan metode yang ada dalam KG tidak memadai dalam menangani sifat KG dunia nyata yang tidak lengkap dan berubah secara dinamis. Oleh karena itu, wajar untuk menyatukan LLMS dan KG bersama -sama dan secara bersamaan memanfaatkan keunggulan mereka.

Berita

? Proyek ini sedang dikembangkan. Anda dapat mencapai bintang dan menonton untuk mengikuti pembaruan.

• Pekerjaan terbaru kami tentang kg + llm realing sekarang publik: penalaran yang dibatasi grafik: penalaran setia pada grafik pengetahuan dengan model bahasa besar
• LLM kami untuk pekerjaan penalaran KG temporal: Adaptasi dinamis yang dipandu oleh model bahasa besar untuk penalaran grafik pengetahuan temporal telah diterima oleh Neurips 2024!
• KG kami untuk menganalisis makalah penalaran LLM: Evaluasi langsung rantai-pemikiran dalam penalaran multi-hop dengan grafik pengetahuan telah diterima oleh ACL 2024.
• Kertas peta jalan kami telah diterima oleh TKDE.
• KG kami untuk Makalah Probing LLM: Penilaian sistematis pengetahuan faktual dalam model bahasa besar telah diterima oleh EMNLP 2023.
• Kertas penalaran KG + LLM kami: Penalaran pada grafik: Penalaran model bahasa besar yang setia dan dapat ditafsirkan telah diterima oleh ICLR 2024.
• LLM kami untuk Kertas Penalaran KG: Chatrule: Menambang aturan logis dengan model bahasa besar untuk penalaran grafik pengetahuan sekarang publik.
• Kertas Roadmap kami: Menyatulah model bahasa besar dan grafik pengetahuan: Roadmap sekarang bersifat publik.

Ringkasan

Dalam repositori ini, kami mengumpulkan kemajuan terbaru dalam pemersatu LLM dan KGS. Kami menyajikan peta jalan yang merangkum tiga kerangka kerja umum: 1) kg-enhanced llms , 2) llms-augmented kgs , dan 3) llms + kg sinergik .

Kami juga menggambarkan teknik dan aplikasi yang terlibat.

Kami berharap repositori ini dapat membantu para peneliti dan praktisi untuk mendapatkan pemahaman yang lebih baik tentang bidang yang muncul ini.
Jika repositori ini bermanfaat bagi Anda, plase bantu kami dengan mengutip makalah ini:

@article{llm_kg,
title={Unifying Large Language Models and Knowledge Graphs: A Roadmap},
author={Pan, Shirui and Luo, Linhao and Wang, Yufei and Chen, Chen and Wang, Jiapu and Wu, Xindong},
journal={IEEE Transactions on Knowledge and Data Engineering (TKDE)},
year={2024}
}

Daftar isi

• Awesome-llm-kg
  • Berita
  • Ringkasan
  • Daftar isi
  • Survei Terkait
  • KG-Enhanced LLMS
    • Pra-pelatihan LLM yang ditingkatkan KG
    • Inferensi LLM yang ditingkatkan KG
    • Interpretabilitas LLM yang ditingkatkan KG
  • KGS-Agusted LLM
    • Embedding kg llm-augmented
    • Penyelesaian Kg-Agusted LLM
    • Generasi Kg-to-Text-Augmented LLM
    • Pertanyaan pertanyaan kg llm
  • LLMS + KG yang bersinergisasi
    • Representasi pengetahuan
    • Pemikiran
  • Aplikasi
    • Rekomendasi
    • Analisis kesalahan

Survei Terkait

• Menyatukan model bahasa besar dan grafik pengetahuan: peta jalan (tkde, 2024) [kertas]
• Survei tentang model bahasa pra-terlatih yang ditingkatkan pengetahuan (ARXIV, 2023) [kertas]
• Survei NLP intensif pengetahuan dengan model bahasa pra-terlatih (ARXIV, 2022) [kertas]
• Ulasan tentang model bahasa sebagai basis pengetahuan (Arxiv, 2022) [kertas]
• Konstruksi Grafik Pengetahuan Generatif: Tinjauan (EMNLP, 2022) [Kertas]
• Model Bahasa Pretrained yang Ditingkatkan Pengetahuan: Survei Kompresikan (ARXIV, 2021) [Kertas]
• Penalaran atas berbagai jenis grafik pengetahuan: statis, temporal dan multi-modal (Arxiv, 2022) [kertas] [kode]

KG-Enhanced LLMS

Pra-pelatihan LLM yang ditingkatkan KG

• Ernie: Representasi bahasa yang ditingkatkan dengan entitas informatif (ACL, 2019) [kertas]
• Mengeksploitasi pengetahuan terstruktur dalam teks melalui pembelajaran representasi yang dipandu grafik (EMNLP, 2019) [kertas]
• Skep: Pengetahuan Sentimen Meningkatkan Pra-Pelatihan untuk Analisis Sentimen (ACL, 2020) [Kertas]
• E-BERT: Frasa dan Pengetahuan Produk Model bahasa yang ditingkatkan untuk e-commerce (Arxiv, 2020) [kertas]
• Encyclopedia Pretrained: Model Bahasa Pretrain Pengetahuan yang Diawasi dengan lemah (ICLR, 2020) [Kertas]
• Bert-MK: Mengintegrasikan Grafik Pengetahuan Kontekstualisasikan ke dalam Model Bahasa Pra-Terlatih (EMNLP, 2020) [Kertas]
• K-BERT: Mengaktifkan representasi bahasa dengan grafik pengetahuan (AAAI, 2020) [kertas]
• Colake: Bahasa dan Pengetahuan Pengetahuan yang Dikontekstualisasikan (Coling, 2020) [Kertas]
• Kepler: Model Terpadu untuk Penanaman Pengetahuan dan Representasi Bahasa Pra-Terlatih (TACL, 2021) [Kertas]
• K-Adapter: Mengenakan pengetahuan ke dalam model pra-terlatih dengan adaptor (temuan ACL, 2021) [kertas]
• Cokebert: Pemilihan Pengetahuan Kontekstual dan Tanian Menuju Model Bahasa Pra-Terlatih yang Ditingkatkan (AI Open, 2021) [Kertas]
• Ernie 3.0: Pengetahuan skala besar ditingkatkan pra-pelatihan untuk pemahaman dan generasi bahasa (ARIXV, 2021) [kertas]
• Model bahasa pra-pelatihan dengan pengetahuan faktual deterministik (EMNLP, 2022) [kertas]
• Kala: Adaptasi Model Bahasa-Pengetahuan (NAACL, 2022) [Kertas]
• DKPLM: Model bahasa pra-terlatih yang ditingkatkan pengetahuan yang dapat diuraikan untuk pemahaman bahasa alami (AAAI, 2022) [kertas]
• Dict-Bert: Model Bahasa Peningkatan Pra-Pelatihan dengan Kamus (Temuan ACL, 2022) [Kertas]
• Jaket: Bersama Pra-Pelatihan Grafik Pengetahuan dan Pemahaman Bahasa (Aaai, 2022) [Kertas]
• Tele-Knowledge Pra-Pelatihan untuk Analisis Kesalahan (ICDE, 2023) [Kertas]

Inferensi LLM yang ditingkatkan KG

• Istri Barack Hillary: Menggunakan grafik pengetahuan untuk pemodelan bahasa yang sadar fakta (ACL, 2019) [kertas]
• Retrieval-Agusted Generation untuk tugas NLP intensif pengetahuan (Neurips, 2020) [kertas]
• REALM: MODEL BAHASA AGEGMENTED Model Pra-Pelatihan (ICML, 2020) [Kertas]
• QA-GNN: Penalaran dengan model bahasa dan grafik pengetahuan untuk menjawab pertanyaan (NAACL, 2021) [kertas]
• Memori dan Pengetahuan Augmented Model Bahasa untuk Menyimpulkan Penting dalam cerita panjang (EMNLP, 2021) [Kertas]
• JointLK: Penalaran Bersama dengan Model Bahasa dan Grafik Pengetahuan untuk Penjawaban Pertanyaan Terdiri (NAACL, 2022) [Kertas]
• Pemahaman cerita yang ditingkatkan untuk model bahasa besar melalui grafik pengetahuan berbasis dokumen dinamis (AAAI, 2022) [kertas]
• Greaselm: Grafik Penetapan Model Bahasa yang Ditingkatkan (ICLR, 2022) [Kertas]
• Transformator augmented memori yang efisien untuk tugas NLP yang intensif pengetahuan (EMNLP, 2022) [kertas]
• Model Bahasa Augmented Pengetahuan Meminta untuk menjawab pertanyaan grafik pengetahuan nol-shot (nlrse@acl, 2023) [kertas]
• Pertanyaan multi-hop berbasis LLM menjawab dengan integrasi grafik pengetahuan di lingkungan yang berkembang (temuan EMNLP, 2024) [kertas]

Interpretabilitas LLM yang ditingkatkan KG

• Model Bahasa sebagai Basis Pengetahuan (EMNLP, 2019) [Kertas]
• Kagnet: Jaringan Grafik Aware Pengetahuan untuk Penalaran Advonsense (Arxiv, 2019) [Kertas]
• Autoprompt: Memperoleh pengetahuan dari model bahasa dengan prompt yang dihasilkan secara otomatis (EMNLP, 2020) [kertas]
• Bagaimana kita bisa tahu model bahasa apa yang tahu? (ACL, 2020) [kertas]
• Neuron Pengetahuan dalam Transformer Pretrained (ACL, 2021) [Kertas]
• Bisakah model bahasa menjadi basis pengetahuan biomedis? (EMNLP, 2021) [Kertas]
• Menafsirkan Model Bahasa Melalui Ekstraksi Grafik Pengetahuan (ARXIV, 2021) [Kertas]
• QA-GNN: Penalaran dengan model bahasa dan grafik pengetahuan untuk menjawab pertanyaan (ACL, 2021) [kertas]
• Bagaimana cara meminta model bahasa? (Arxiv, 2021) [kertas]
• Rewire-Then-Probe: Resep kontras untuk menyelidiki pengetahuan biomedis dari model bahasa pra-terlatih (Arxiv, 2021) [kertas]
• Ketika tidak mempercayai model bahasa: menyelidiki efektivitas dan keterbatasan ingatan parametrik dan non-parametrik (ARXIV, 2022) [kertas]
• Bagaimana model bahasa pra-terlatih menangkap pengetahuan faktual? Analisis yang terinspirasi kausal (Arxiv, 2022) [kertas]
• Bisakah grafik pengetahuan menyederhanakan teks? (Cikm, 2023) [Kertas]

KGS-Agusted LLM

Embedding kg llm-augmented

• Penyelarasan entitas dengan anotasi bising dari model bahasa besar (Neurips, 2024) [kertas]
• Lambdakg: Perpustakaan untuk Embeddings Grafik Pengetahuan Berbasis Model Pra-Terlatih (Arxiv, 2023) [Kertas]
• Mengintegrasikan grafik pengetahuan yang menanamkan dan model bahasa pretrained di hypercomplex spaces (Arxiv, 2022) [kertas]
• Model Bahasa yang Menganugerahi Representasi Grafik Pengetahuan Multimodal (ARXIV, 2022) [Kertas]
• Model Bahasa Terpandu Pengetahuan Embeddings (IEEE Access, 2022) [Kertas]
• Model Bahasa sebagai Embeddings Pengetahuan (IJCAI, 2022) [Kertas]
• Pretrain-KGE: Representasi pengetahuan belajar dari model bahasa pretrained (EMNLP, 2020) [kertas]
• Kepler: Model Terpadu untuk Penanaman Pengetahuan dan Representasi Bahasa Pra-Terlatih (TACL, 2020) [Kertas]

Penyelesaian Kg-Agusted LLM

• Peningkatan multi-perspektif penyelesaian grafik pengetahuan dengan model bahasa besar (Coling 2024) [kertas] [kode]
• KG-BERT: Bert untuk penyelesaian grafik pengetahuan (Arxiv, 2019) [kertas]
• Pembelajaran multi-tugas untuk penyelesaian grafik pengetahuan dengan model bahasa pra-terlatih (Coling, 2020) [kertas]
• Apakah model pra-terlatih menguntungkan penyelesaian grafik pengetahuan? Evaluasi yang andal dan pendekatan yang masuk akal (ACL, 2022) [kertas]
• Bahasa bersama semantik dan struktur embedding untuk penyelesaian grafik pengetahuan (Coling, 2022) [kertas]
• MEM-KGC: Model Entitas Bertopeng untuk Penyelesaian Grafik Pengetahuan dengan Model Bahasa Pra-Terlatih (IEEE Access, 2021) [Kertas]
• Ekstensi Grafik Pengetahuan dengan Model Bahasa Pra-Terlatih Melalui Metode Pembelajaran Terpadu (Know. Based Syst., 2023) [Kertas]
• Pembelajaran Representasi Teks-Teks Struktur untuk Penyelesaian Grafik Pengetahuan yang Efisien (www, 2021) [Kertas]
• SimKGC: Penyelesaian Grafik Pengetahuan Kontras Sederhana Dengan Model Bahasa Pra-Terlatih (ACL, 2022) [Kertas]
• LP-BERT: Grafik Pengetahuan Pra-Pelatihan Multi-Task untuk Prediksi Tautan (Arxiv, 2022) [Kertas]
• Dari diskriminasi ke generasi: penyelesaian grafik pengetahuan dengan transformator generatif (www, 2022) [kertas]
• Penyelesaian Grafik Pengetahuan Sequence-to-Sequence dan Jawaban Pertanyaan (ACL, 2022) [Kertas]
• Pengetahuan itu datar: kerangka generatif SEQ2SEQ untuk berbagai penyelesaian grafik pengetahuan (Coling, 2022) [kertas]
• Kerangka kerja untuk mengadaptasi model bahasa pra-terlatih dengan penyelesaian grafik pengetahuan (EMNLP, 2022) [kertas]
• Saus PLM yang mencelupkan: Struktur dan teks yang menjembatani untuk penyelesaian grafik pengetahuan yang efektif melalui permohonan lunak bersyarat (ACL, 2023) [kertas]

Generasi Kg-to-Text-Augmented LLM

• Genwiki: Dataset 1,3 juta teks dan grafik berbagi konten untuk pembuatan grafik-ke-teks yang tidak diawasi (Coling, 2020) [kertas]
• KGPT: Pra-pelatihan yang didasarkan pada pengetahuan untuk pembuatan data-ke-teks (EMNLP 2020) [kertas]
• JointGT: Pembelajaran Representasi Gabungan Grafik untuk Pembuatan Teks dari Grafik Pengetahuan (Temuan ACL, 2021) [Kertas]
• Investigasi model bahasa pretrained untuk pembuatan grafik-ke-teks (NLP4CONVAI, 2021) [kertas]
• Beberapa-shot pengetahuan grafik-ke-teks dengan model bahasa pretrained (ACL, 2021) [kertas]
• EventNarrative: Dataset yang berpusat pada peristiwa besar untuk pembuatan grafik-ke-teks (Neurips, 2021) [kertas]
• GAP: Kerangka model bahasa yang sadar grafik untuk generasi grafik-ke-teks (Coling, 2022) [kertas]

Pertanyaan pertanyaan kg llm

• Unikgqa: Pengambilan Terpadu dan Penalaran untuk Memecahkan Pertanyaan Multi-Hop yang Menjawab Lebih dari Grafik Pengetahuan (ICLR, 2023) [Kertas]
• StructGPT: Kerangka kerja umum untuk model bahasa besar dengan alasan data terstruktur (Arxiv, 2023) [kertas]
• Sebuah studi empiris GPT-3 untuk beberapa shot berbasis VQA (AAAI, 2022) [kertas]
• Sebuah studi empiris model bahasa pra-terlatih dalam penjawab pertanyaan grafik pengetahuan sederhana (World Wide Web Journal, 2023) [kertas]
• Model Bahasa yang Memberdayakan dengan Penalaran Grafik Pengetahuan untuk Penjawab Pertanyaan Domain Terbuka (EMNLP, 2022) [Kertas]
• DRLK: Penalaran hierarkis dinamis dengan model bahasa dan grafik pengetahuan untuk menjawab pertanyaan (EMNLP, 2022) [kertas]
• Subgraph Retrieval Enhanced Model untuk Penjawab Pertanyaan Basis Pengetahuan Multi-Hop (ACL, 2022) [Kertas]
• Greaselm: Penalaran Grafik Model Bahasa yang Ditingkatkan untuk Penjawab Pertanyaan (ICLR, 2022) [Kertas]
• Lako: Pertanyaan visual yang digerakkan oleh pengetahuan melalui injeksi pengetahuan-ke-teks yang terlambat (IJCKG, 2022) [kertas]
• QA-GNN: Penalaran dengan model bahasa dan grafik pengetahuan untuk menjawab pertanyaan (NAACL, 2021) [kertas]

LLMS + KG yang bersinergisasi

Representasi pengetahuan

• Tele-Knowledge Pra-Pelatihan untuk Analisis Kesalahan (ICDE, 2023) [Kertas]
• Model bahasa pra-pelatihan yang menggabungkan pengetahuan heterogen khusus domain ke dalam representasi terpadu (sistem ahli dengan aplikasi, 2023) [kertas]
• Pretraining Grafik Bahasa-Knowledge yang Dalam (NIPS, 2022) [Kertas]
• Kepler: Model Terpadu untuk Penanaman Pengetahuan dan Representasi Bahasa Pra-Terlatih (TACL, 2021) [Kertas]
• JointGT: Pembelajaran Representasi Gabungan Grafik untuk Pembuatan Teks dari Grafik Pengetahuan (ACL 2021) [Kertas]

Pemikiran

• Layanan augmentasi grafik pengetahuan terpadu untuk meningkatkan tugas NLP khusus domain (ARXIV, 2023) [kertas]
• Penalaran Struktur Memersatu dan Model Bahasa Pra-Pelatihan untuk Penalaran Kompleks (Arxiv, 2023) [Kertas]
• Penalaran logis yang kompleks atas grafik pengetahuan menggunakan model bahasa besar (ARXIV, 2023) [kertas]

Aplikasi

Sistem Rekomendasi

• Recindial: Kerangka kerja terpadu untuk rekomendasi percakapan dengan model bahasa pretrained (Arxiv, 2023) [kertas]

Analisis kesalahan

• Tele-Knowledge Pra-Pelatihan untuk Analisis Kesalahan (ICDE, 2023) [Kertas]