굉장한 -lm-kg
대형 언어 모델 (LLM) 및 지식 그래프 (KGS)에 대한 논문 및 자원 모음.
LLM (Large Language Models)은 다양한 응용 프로그램에서 놀라운 성공과 일반화를 달성했습니다. 그러나 그들은 종종 사실 지식을 포착하고 접근하기에 부족합니다. KGS (Knowledge Graphs)는 풍부한 사실 지식을 명시 적으로 저장하는 구조화 된 데이터 모델입니다. 그럼에도 불구하고, KG는 구성하기 어렵고 KG의 기존 방법은 실제 KG의 불완전하고 동적으로 변화하는 특성을 처리하는 데 부적절합니다. 따라서 LLM과 KG를 통합하고 동시에 장점을 활용하는 것은 당연합니다.
소식
? 이 프로젝트는 개발 중입니다. 스타를 때리고 업데이트를 따라갈 수 있습니다.
- KG + LLM Reaosning에 대한 우리의 최신 작업은 이제 공개되었습니다 : 그래프로 제한된 추론 : 큰 언어 모델로 지식 그래프에 대한 충실한 추론
- 시간적 KG 추론 작업에 대한 우리의 LLM : 시간 지식 그래프 추론에 대한 대형 언어 모델 유도 동적 적응은 Neurips 2024에 의해 받아 들여졌다!
- LLM 추론 논문 분석을위한 우리의 KG : 지식 그래프를 사용한 멀티 홉 추론에서 생각한 사슬의 직접 평가는 ACL 2024에 의해 받아 들여졌습니다.
- 우리의 로드맵 용지는 TKDE에 의해 받아 들여졌습니다.
- LLM 조사 용지에 대한 우리의 KG : 대형 언어 모델에서 사실 지식에 대한 체계적인 평가는 EMNLP 2023에 의해 받아 들여졌습니다.
- 우리의 KG + LLM 추론 논문 : 그래프에 대한 추론 : 충실하고 해석 가능한 대형 언어 모델 추론은 ICLR 2024에 의해 받아 들여졌습니다.
- KG 추론 논문에 대한 우리의 LLM : Chatrule : 지식 그래프 추론을위한 큰 언어 모델을 가진 마이닝 논리 규칙이 공개되었습니다.
- 우리의 로드맵 논문 : 대형 언어 모델 및 지식 그래프를 통합 : 로드맵이 공개되었습니다.
개요
이 저장소에서는 LLMS 및 KGS를 통합하는 최근 발전을 수집합니다. 우리는 세 가지 일반적인 프레임 워크를 요약 한 로드맵을 제시합니다 : 1) Kg-enhanced LLM , 2) LLMS-augmented KG 및 3) 상승 된 LLMS + KGS .
또한 관련된 기술과 응용 프로그램도 설명합니다.
우리는이 저장소가 연구원과 실무자 들이이 새로운 분야를 더 잘 이해하도록 도울 수 있기를 바랍니다.
이 저장소가 도움이되면이 논문을 인용하여 우리를 도와주세요.
@article{llm_kg,
title={Unifying Large Language Models and Knowledge Graphs: A Roadmap},
author={Pan, Shirui and Luo, Linhao and Wang, Yufei and Chen, Chen and Wang, Jiapu and Wu, Xindong},
journal={IEEE Transactions on Knowledge and Data Engineering (TKDE)},
year={2024}
}목차
- 굉장한 -lm-kg
- 소식
- 개요
- 목차
- 관련 설문 조사
- KG 강화 LLM
- KG가 강화 된 LLM 사전 훈련
- KG가 강화 된 LLM 추론
- KG가 강화 된 LLM 해석 가능성
- LLM-augmented KG
- LLM-augmented kg 임베딩
- LLM-augmented kg 완료
- LLM-augmented kg-to-text 생성
- LLM-augmented KG 질문 답변
- 시너지 효과 LLMS + kgs
- 응용 프로그램
관련 설문 조사
- 대형 언어 모델 및 지식 그래프 통합 : 로드맵 (TKDE, 2024) [논문]
- 지식이 강화 된 사전 훈련 된 언어 모델에 대한 설문 조사 (ARXIV, 2023) [논문]
- 미리 훈련 된 언어 모델을 사용한 지식 집약적 NLP 설문 조사 (ARXIV, 2022) [논문]
- 지식 기반으로 언어 모델에 대한 검토 (Arxiv, 2022) [논문]
- 생성 지식 그래프 구성 : 검토 (EMNLP, 2022) [논문]
- 지식 향상된 사전 위험 언어 모델 : 구성 설문 조사 (Arxiv, 2021) [논문]
- 다양한 유형의 지식 그래프에 대한 추론 : 정적, 시간 및 다중 모달 (Arxiv, 2022) [논문] [코드]
KG 강화 LLM
KG가 강화 된 LLM 사전 훈련
- Ernie : 유익한 엔티티와의 강화 된 언어 표현 (ACL, 2019) [논문]
- 그래프 유도 표현 학습을 통해 텍스트의 구조화 된 지식 악용 (EMNLP, 2019) [논문]
- SKEP : 감정 지식 감정 분석을위한 사전 훈련 (ACL, 2020) [논문]
- E-Bert : 전자 상거래를위한 문구 및 제품 지식 향상 언어 모델 (Arxiv, 2020) [논문]
- 사전 예방 백과 사전 : 약하게 감독 된 지식이없는 언어 모델 (ICLR, 2020) [논문]
- BERT-MK : 그래프 맥락화 된 지식을 미리 훈련 된 언어 모델에 통합 (EMNLP, 2020) [논문]
- K-Bert : 지식 그래프로 언어 표현 활성화 (AAAI, 2020) [논문]
- Colake : 상황에 맞는 언어 및 지식 임베딩 (Coling, 2020) [논문]
- KEPLER : 지식 임베딩 및 미리 훈련 된 언어 표현을위한 통일 된 모델 (TACL, 2021) [논문]
- K-Adapter : 어댑터가있는 미리 훈련 된 모델에 지식을 주입 (ACL Foundings, 2021) [논문]
- Cokebert : 상황에 맞는 지식 선택 및 향상된 미리 훈련 된 언어 모델에 대한 임베딩 (AI Open, 2021) [논문]
- Ernie 3.0 : 언어 이해 및 세대를위한 대규모 지식 강화 사전 훈련 (ARIXV, 2021) [논문]
- 결정 론적 사실 지식을 가진 사전 훈련 언어 모델 (EMNLP, 2022) [논문]
- KALA : 지식-대기 언어 모델 적응 (NAACL, 2022) [논문]
- DKPLM : 자연 언어 이해를위한 분해 지식이 강화 된 미리 훈련 된 언어 모델 (AAAI, 2022) [논문]
- DICT-BERT : 사전과의 사전 훈련 (ACL 발견, 2022) [논문]
- Jaket : 지식 그래프 및 언어 이해의 공동 훈련 (AAAI, 2022) [논문]
- 결함 분석을위한 Tele-Knowledge 사전 훈련 (ICDE, 2023) [논문]
KG가 강화 된 LLM 추론
- Barack의 아내 Hillary : 사실 인식 언어 모델링을위한 지식 그래프 사용 (ACL, 2019) [논문]
- 지식 집약적 NLP 작업을위한 검색 세대 (Neurips, 2020) [논문]
- 영역 : 검색 언어 모델 사전 훈련 (ICML, 2020) [논문]
- QA-GNN : 질문 답변에 대한 언어 모델 및 지식 그래프에 대한 추론 (Naacl, 2021) [논문]
- 긴 형식의 이야기에서 경의를 유추하기위한 기억과 지식 증강 언어 모델 (EMNLP, 2021) [논문]
- Jointlk : 상식 질문 응답을위한 언어 모델 및 지식 그래프와 공동 추론 (Naacl, 2022) [논문]
- 동적 문서 기반 지식 그래프를 통한 대형 언어 모델에 대한 강화 된 스토리 이해 (AAAI, 2022) [논문]
- Greaselm : 그래프 추론 강화 된 언어 모델 (ICLR, 2022) [논문]
- 지식 집약적 인 NLP 작업을위한 효율적인 메모리 구조 변압기 (EMNLP, 2022) [논문]
- 제로 샷 지식 그래프 질문 응답 (NLRSE@ACL, 2023)에 대한 지식-구분 언어 모델 [논문]
- LLM 기반의 멀티 홉 질문 진화 환경에서 지식 그래프 통합으로 답변 (EMNLP Fodges, 2024) [논문]
KG가 강화 된 LLM 해석 가능성
- 지식 기반으로 언어 모델 (Emnlp, 2019) [논문]
- Kagnet : 상식 추론을위한 지식 인식 그래프 네트워크 (Arxiv, 2019) [논문]
- AutoPrompt : 자동으로 생성 된 프롬프트가있는 언어 모델에서 지식을 유발합니다 (EMNLP, 2020) [논문]
- 언어 모델이 무엇을 알고 있는지 어떻게 알 수 있습니까? (ACL, 2020) [종이]
- 사전 배치 된 변압기의 지식 뉴런 (ACL, 2021) [논문]
- 언어 모델이 생의학 지식 기반이 될 수 있습니까? (Emnlp, 2021) [종이]
- 지식 그래프 추출을 통한 언어 모델 해석 (Arxiv, 2021) [논문]
- QA-GNN : 질문 응답을위한 언어 모델 및 지식 그래프에 대한 추론 (ACL, 2021) [논문]
- 언어 모델을 쿼리하는 방법? (Arxiv, 2021) [종이]
- Rewire-then-Probe : 미리 훈련 된 언어 모델에 대한 생의학 지식을 조사하기위한 대조적 인 레시피 (Arxiv, 2021) [논문]
- 언어 모델을 신뢰하지 않을 때 : 파라 메트릭 및 비모수 적 기억의 효과 및 한계 조사 (Arxiv, 2022) [논문]
- 미리 훈련 된 언어 모델은 어떻게 사실 지식을 포착합니까? 인과 관계 분석 (Arxiv, 2022) [논문]
- 지식 그래프가 텍스트를 단순화 할 수 있습니까? (Cikm, 2023) [종이]
LLM-augmented KG
LLM-augmented kg 임베딩
- 대형 언어 모델의 시끄러운 주석과의 엔터티 정렬 (Neurips, 2024) [논문]
- Lambdakg : 미리 훈련 된 언어 모델 기반 지식 그래프 임베드를위한 도서관 (Arxiv, 2023) [논문]
- 지식 그래프 임베딩 및 사전 법적 언어 모델 통합 Hypercomplex Spaces (Arxiv, 2022) [논문]
- 멀티 모달 지식 그래프 표현을 가진 언어 모델 부여 (Arxiv, 2022) [논문]
- 언어 모델 가이드 지식 그래프 임베드 (IEEE Access, 2022) [논문]
- 지식 임베딩으로서 언어 모델 (IJCAI, 2022) [논문]
- 사전 트레인 -KGE : 사전 법적 언어 모델의 학습 지식 표현 (EMNLP, 2020) [논문]
- KEPLER : 지식 임베딩 및 미리 훈련 된 언어 표현을위한 통일 된 모델 (TACL, 2020) [논문]
LLM-augmented kg 완료
- 대형 언어 모델을 사용한 지식 그래프 완성의 다단사 관점 개선 (Coling 2024) [논문] [코드]
- KG-Bert : 지식 그래프 완성을위한 Bert (Arxiv, 2019) [논문]
- 미리 훈련 된 언어 모델을 사용한 지식 그래프 완성을위한 멀티 태스킹 학습 (Coling, 2020) [논문]
- 미리 훈련 된 모델이 지식 그래프 완성에 도움이됩니까? 신뢰할 수있는 평가 및 합리적인 접근법 (ACL, 2022) [논문]
- 공동 언어 시맨틱 및 지식 그래프 완성을위한 구조 임베딩 (Coling, 2022) [논문]
- MEM-KGC : 미리 훈련 된 언어 모델을 통한 지식 그래프 완성을위한 마스킹 엔티티 모델 (IEEE Access, 2021) [논문]
- 통합 학습 방법을 통한 미리 훈련 된 언어 모델을 사용한 지식 그래프 확장 (Knowl. Based Syst., 2023) [논문]
- 효율적인 지식 그래프 완성을위한 구조-구분 텍스트 표현 학습 (www, 2021) [논문]
- SIMKGC : 미리 훈련 된 언어 모델을 통한 간단한 대조 지식 그래프 완성 (ACL, 2022) [논문]
- LP-Bert : 링크 예측을위한 멀티 태스킹 사전 훈련 지식 그래프 버트 (ARXIV, 2022) [논문]
- 차별에서 생성으로 : 생성 변압기를 사용한 지식 그래프 완성 (www, 2022) [논문]
- 시퀀스-시퀀스 지식 그래프 완성 및 질문 응답 (ACL, 2022) [논문]
- 지식은 평평하다 : 다양한 지식 그래프 완성을위한 seq2Seq 생성 프레임 워크 (Coling, 2022) [논문]
- 미리 훈련 된 언어 모델을 지식 그래프 완성에 적응하기위한 프레임 워크 (EMNLP, 2022) [논문]
- Dipping PLMS 소스 : 조건부 소프트 프롬프트를 통한 효과적인 지식 그래프 완성을위한 브리징 구조 및 텍스트 (ACL, 2023) [논문]
LLM-augmented kg-to-text 생성
- Genwiki : 감독되지 않은 그래프-텍스트 생성을위한 130 만 개의 컨텐츠 공유 텍스트 및 그래프의 데이터 세트 (Coling, 2020) [논문]
- KGPT : 데이터-텍스트 생성을위한 지식 지상 사전 훈련 (EMNLP 2020) [논문]
- JointGT : 지식 그래프에서 텍스트 생성을위한 그래프 텍스트 관절 표현 학습 (ACL Fodges, 2021) [논문]
- 그래프-텍스트 생성에 대한 사전 미세 언어 모델 조사 (NLP4Convai, 2021) [논문]
- 사전에 걸린 언어 모델을 사용한 지식 그래프-텍스트 생성 (ACL, 2021) [논문]
- EventNarriation : 지식 그래프-텍스트 생성을위한 대규모 이벤트 중심 데이터 세트 (Neurips, 2021) [논문]
- GAP : 지식 그래프-텍스트 생성을위한 그래프 인식 언어 모델 프레임 워크 (Coling, 2022) [논문]
LLM-augmented KG 질문 답변
- UNIKGQA : 지식 그래프에 대한 멀티 홉 질문을 해결하기위한 통합 검색 및 추론 (ICLR, 2023) [논문]
- StructGpt : 구조화 된 데이터에 대한 추론을위한 대형 언어 모델의 일반적인 프레임 워크 (Arxiv, 2023) [논문]
- 소수의 지식 기반 VQA에 대한 GPT-3에 대한 경험적 연구 (AAAI, 2022) [논문]
- 간단한 지식 그래프 질문에 대한 미리 훈련 된 언어 모델에 대한 경험적 연구 (World Wide Web Journal, 2023) [논문]
- 오픈 도메인 질문 답변에 대한 지식 그래프 추론으로 언어 모델에 권한을 부여합니다 (EMNLP, 2022) [논문]
- DRLK : 질문 응답을위한 언어 모델 및 지식 그래프를 사용한 동적 계층 적 추론 (Emnlp, 2022) [논문]
- 멀티 홉 지식 기반 질문 응답을위한 서브 그래프 검색 강화 모델 (ACL, 2022) [논문]
- Greaselm : 그래프 추론 질문 응답을위한 강화 된 언어 모델 (ICLR, 2022) [논문]
- Lako : 지식 중심의 시각적 질문이 늦은 지식-텍스트 주입을 통한 답변 (IJCKG, 2022) [논문]
- QA-GNN : 질문 답변에 대한 언어 모델 및 지식 그래프에 대한 추론 (Naacl, 2021) [논문]
시너지 효과 LLMS + kgs
지식 표현
- 결함 분석을위한 Tele-Knowledge 사전 훈련 (ICDE, 2023) [논문]
- 도메인 별 이기종 지식을 통합 된 표현에 통합 한 사전 훈련 언어 모델 (응용 프로그램이있는 전문가 시스템, 2023) [논문]
- 깊은 양방향 언어 지식 그래프 프리 트레인 (NIPS, 2022) [논문]
- KEPLER : 지식 임베딩 및 미리 훈련 된 언어 표현을위한 통일 된 모델 (TACL, 2021) [논문]
- JointGt : 지식 그래프에서 텍스트 생성을위한 그래프 텍스트 관절 표현 학습 (ACL 2021) [논문]
추리
- 도메인 별 NLP 작업을 촉진하기위한 통합 지식 그래프 확대 서비스 (ARXIV, 2023) [논문]
- 복잡한 추론을위한 통일 구조 추론 및 언어 모델 사전 훈련 (Arxiv, 2023) [논문]
- 대형 언어 모델을 사용한 지식 그래프에 대한 복잡한 논리적 추론 (Arxiv, 2023) [논문]
응용 프로그램
추천 시스템
- Recindial : 사전에 걸린 언어 모델을 사용한 대화 추천을위한 통합 프레임 워크 (Arxiv, 2023) [논문]
결함 분석
- 결함 분석을위한 Tele-Knowledge 사전 훈련 (ICDE, 2023) [논문]
