Awesome Language Model on Graphs
1.0.0
설문 조사 논문을 기반으로 한 그래프의 LLM (Lange Language Model)에 관한 용지 및 리소스의 선별 된 목록 : 그래프의 큰 언어 모델 : 포괄적 인 설문 조사.
그래프에 대한 멀티 모달 학습에 대한 멋진 리포는 여기에서 찾을 수 있습니다 .
이 repo는 지속적으로 업데이트됩니다. 그것을 별표하고 계속 조정하는 것을 잊지 마십시오!
연구에 도움이되는 자원이 도움이된다면 논문을 인용하여 인용하십시오. 감사해요!
Chatgpt 및 Llama와 같은 대형 언어 모델 (LLM)은 강력한 텍스트 인코딩/디코딩 능력과 새로 발견 된 출현 능력 (예 : 추론)으로 인해 자연어 처리에 중대한 발전을 만들고 있습니다. LLM은 주로 순수한 텍스트를 처리하도록 설계되었지만 텍스트 데이터가 그래프 형식 (예 : Academic Networks 및 E-Commerce Networks) 또는 그래프 데이터가 풍부한 텍스트 정보 (예 : 설명이있는 분자)로 캡션되는 시나리오의 풍부한 구조 정보와 관련된 실제 시나리오가 많이 있습니다. 게다가, LLM은 순수한 텍스트 기반 추론 능력을 보여 주었지만, 그러한 능력이 시나리오 (즉, 그래프 기반 추론)로 일반화 될 수 있는지 여부는 불충분합니다. 이 논문에서는 그래프의 큰 언어 모델과 관련된 시나리오 및 기술에 대한 포괄적 인 검토를 제공합니다.
작업에 사용 된 변압기 아키텍처 (예를 들어, 인코더로, 디코더로, 인코더 데더).
대형 언어 모델 (예 : 중간)의 크기 (예 : 1B 매개 변수), LLM (즉, 1B 매개 변수 이상).
대형 언어 모델 및 지식 그래프 통합 : 로드맵. preprint
Shirui Pan, Linhao Luo, Yufei Wang, Chen Chen, Jiapu Wang, Xindong Wu [PDF], 2023.6
큰 언어 모델과 그래프 통합 : 방법 및 전망 preprint
Shirui Pan, Yizhen Zheng, Yixin Liu [PDF], 2023.10
그래프 파운데이션 모델로 : 설문 조사 및 그 이상. preprint
Jiawei Liu, Cheng Yang, Zhiyuan Lu, Junze Chen, Yibo Li, Mengmei Zhang, Ting Bai, Yuan Fang, Lichao Sun, Philip S. Yu, Chuan Shi. [PDF], 2023.10
그래프 설문 조사는 큰 언어 모델을 충족합니다 : 진행 및 향후 방향. preprint
Yuhan Li, Zhixun Li, Peisong Wang, Jia Li, Xiangguo Sun, Hong Cheng, Jeffrey Xu Yu. [PDF], 2023.11
표 3 설문 조사 논문의 그래프에 대한 대형 언어 모델 : 포괄적 인 설문 조사.
직접 응답
언어 모델이 자연어로 그래프 문제를 해결할 수 있습니까? preprint
Heng Wang, Shangbin Feng, Tianxing He, Zhaoxuan Tan, Xiaochuang Han, Yulia Tsvetkov. [PDF] [Code], 2023.5,
GPT4GRAPH : 대형 언어 모델이 그래프 구조화 된 데이터를 이해할 수 있습니까? 경험적 평가 및 벤치마킹. preprint
Jiayan Guo, Lun du, Hengyu Liu, Mengyu Zhou, Xinyi He, Shi Han. [PDF], 2023.5,
그래프에서 큰 언어 모델 평가 : 성능 통찰력 및 비교 분석. preprint
Chang Liu, Bo Wu. [PDF] [Code], 2023.8, [PDF], 2023.5,
그래프처럼 이야기하십시오 : 대형 언어 모델의 그래프 인코딩. preprint
Bahare Fatemi, Jonathan Halcrow, Bryan Perozzi. [PDF], 2023.10,
Graphllm : 대형 언어 모델의 그래프 추론 능력 향상. preprint
Ziwei Chai, Tianjie Zhang, Liang Wu, Kaiqiao Han, Xiaohai Hu, Xuanwen Huang, Yang Yang. [PDF] [Code], 2023.10,
llm4dyg : 대형 언어 모델이 동적 그래프에서 문제를 해결할 수 있습니까?. preprint
Zeyang Zhang, Xin Wang, Ziwei Zhang, Haoyang Li, Yijian Qin, Simin Wu, Wenwu Zhu [PDF] [Code], 2023.10,
텍스트, 모티프 또는 이미지를 사용해야합니까? : 큰 언어 모델로 그래프 이해. preprint
Debarati Das, Ishaan Gupta, Jaideep Srivastava, Dongyeop Kang [PDF] [Code], 2023.11,
Grapharena : 그래프 계산 문제에 대한 대형 언어 모델 벤치마킹. preprint
Jianheng Tang, Qifan Zhang, Yuhan Li, Jia Li [PDF] [Code], 2024.7,
LLMS는 그래프를 환각시킵니다. 구조적 관점. preprint
Erwan Le Merrer, Gilles Tredan [PDF], 2024.9,
StructGpt : 구조화 된 데이터에 대한 추론을위한 대형 언어 모델의 일반적인 프레임 워크. preprint
Jinhao Jiang, Kun Zhou, Zican Dong, Keming Ye, Wayne Xin Zhao, Ji-Rong Wen. [PDF] [Code], 2023.5,
사고 : 지식 그래프에서 큰 언어 모델의 깊고 책임있는 추론. preprint
Jiashuo Sun, Chengjin Xu, Lumingyuan Tang, Saizhuo Wang, Chen Lin, Yeyun Gong, Lionel M. NI, Heung-Yeung Shum, Jian Guo. [PDF] [Code], 2023.7,
온라인 작업 권장 사항에서 그래프 데이터 이해를위한 큰 언어 모델 탐색. preprint
Likang Wu, Zhaopeng Qiu, Zhi Zheng, Hengshu Zhu, Engong Chen. [PDF] [Code], 2023.7,
다중 문서 질문 답변에 대한 지식 그래프. AAAI2024
Yu Wang, Nedim Lipka, Ryan Rossi, Alex Siu, Ruiyi Zhang, Tyler Derr. [PDF] [Code], 2023.8,
chatrule : 지식 그래프 추론을위한 큰 언어 모델을 가진 논리적 규칙을 채굴합니다. preprint
Linhao Luo, Jiaxin Ju, Bo Xiong, Yuan-Fang Li, Gholamreza Haffari, Shirui Pan. [PDF] [Code], 2023.9,
그래프에 대한 추론 : 충실하고 해석 가능한 대형 언어 모델 추론. preprint
Linhao Luo, Yuan-Fang Li, Gholamreza Haffari, Shirui 팬. [PDF] [Code], 2023.10,
사고 전파 : 큰 언어 모델을 사용한 복잡한 추론에 대한 비유 적 접근. preprint
Junchi Yu, Ran, Rex Ying. [PDF], 2023.10,
큰 언어 모델은 시간적 추론을 배울 수 있습니다. preprint
Siheng Xiong, Ali Payani, Ramana Kompella, Faramarz Fekri. [PDF], 2024.1,
큰 언어 모델에서 그래프 추론의 한계를 탐색합니다. preprint
Palaash Agrawal, Shavak Vasania, Cheston Tan. [PDF], 2024.2,
멀티 모달 대형 언어 모델에서 그래프 추론을위한 그래프 렌더링 그래프. preprint
Yanbin Wei, Shuai Fu, Weisen Jiang, James T. Kwok, Yu Zhang. [PDF], 2024.2,
비동기 계획 추론에서 그래프가 강화 된 대형 언어 모델. preprint
Fangru Lin, Emanuele La Malfa, Valentin Hofmann, Elle Michelle Yang, Anthony Cohn, Janet B. Pierrehumbert. [PDF], 2024.2,
대형 언어 모델에 의한 그래프 리콜의 미세 구조와 정확성. preprint
Yanbang Wang, Hejie Cui, Jon Kleinberg. [PDF], 2024.2,
구조 안내 프롬프트 : 텍스트의 그래프 구조를 탐색하여 다단계 추론으로 큰 언어 모델을 지시합니다. preprint
Kewei Cheng, Nesreen K. Ahmed, Theodore Willke, Yizhou Sun. [PDF], 2024.2,
Graphinstruct : 그래프 이해 및 추론 능력으로 대형 언어 모델을 강화합니다. preprint
Zihan Luo, Xiran 노래, Hong Huang, Jianxun Lian, Chenhao Zhang, Jinqi Jiang, Xing Xie, Hai Jin. [PDF], 2024.3,
필요할 때 저에게 전화하십시오 : LLM은 구조화 된 환경에 대해 효율적이고 충실하게 추론 할 수 있습니다. preprint
Sitao Cheng, Ziyuan Zhuang, Yong Xu, Fangkai Yang, Chaoyun Zhang, Xiaoting Qin, Xiang Huang, Ling Chen, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang. [PDF], 2024.3,
그래프 생성에서 큰 언어 모델의 잠재력을 탐색합니다. preprint
Yang Yao, Xin Wang, Zeyang Zhang, Yijian Qin, Ziwei Zhang, Xu Chu, Yuekui Yang, Wenwu Zhu, Hong Mei. [PDF], 2024.3,
Graphinsight : 그래프 구조 이해를위한 큰 언어 모델에서 통찰력 잠금을 해제합니다. preprint
Yukun Cao, Shuo Han, Zengyi Gao, Zezhong Ding, Xike Xie, S. Kevin Zhou. [PDF], 2024.5,
대형 언어 모델이 전문가와 같은 그래프를 분석 할 수 있습니까? 벤치 마크, 데이터 세트 및 모델. NeurIPS 2024
Xin Li, Weize Chen, Qizhi Chu, Haopeng Li, Zhaojun Sun, Ran Li, Chen Qian, Yiwei Wei, Zhiyuan Liu, Chuan Shi, Maosong Sun, Cheng Yang. [PDF] [코드] [모델 및 데이터 세트], 2024.9,
큰 언어 모델이있는 그래프에서 추론을위한 그래프 선형화 방법. preprint
Christos Xypolopoulos, Guokan Shang, Xiao Fei, Giannis Nikolentzos, Hadi Abdine, Iakovos Evdaimon, Michail Chatzianastasis, Giorgos Stamou, Michalis Vazirgiannis. [PDF], 2024.10,
GRS-QA- 그래프 추론 구조화 된 질문 응답 데이터 세트. preprint
Anish Pahilajani, Devasha Trivedi, Jincen Shuai, Khin S. Yone, Samyak Rajesh Jain, Namyong Park, Ryan A. Rossi, Nesreen K. Ahmed, Franck Dernoncourt, Yu Wang. [PDF], 2024.11,
Graph-Toolformer : Chatgpt가 보강 한 프롬프트를 통해 그래프 추론 능력으로 LLM을 강화합니다. preprint
Jiawei Zhang. [PDF] [Code], 2023.4,
그래프 체인-생각 : 그래프에 대한 추론으로 대형 언어 모델을 보강합니다. preprint
Bowen Jin, Chulin Xie, Jiawei Zhang, Kashob Kumar Roy, Yu Zhang, Suhang Wang, Yu Meng, Jiawei Han. [PDF] [코드] [데이터], 2024.4,
로컬에서 글로벌로 : 쿼리 중심 요약에 대한 그래프 래그 접근법. preprint
Darren Edge, Ha Trinh, Newman Cheng, Joshua Bradley, Alex Chao, Apurva Mody, Steven Truitt, Jonathan Larson. [PDF], 2024.4,
대규모 모델 그래프 알고리즘 추론자가 있습니까? preprint
Alexander K Taylor, Anthony Cuturrufo, Vishal Yathish, Mingyu Derek Ma, Wei Wang. [PDF] [Code], 2024.10,
표 7 설문 조사 논문의 큰 언어 모델 : 포괄적 인 설문 조사.
예측 변수로서 LLM (노드)
일치 : 큰 계층 구조에서 메타 데이터 인식 텍스트 분류. WWW 2021
Yu Zhang, Zhihong Shen, Yuxiao Dong, Kuansan Wang, Jiawei Han. [PDF] [Code], 2021.2,
QA-GNN : 질문 답변에 대한 언어 모델 및 지식 그래프로 추론. NAACL 2021
Michihiro Yasunaga, Hongyu Ren, Antoine Bosselut, Percy Liang, Jure Leskovec. [PDF] [Code], 2021.4,
자연어는 모두 그래프 요구입니다. preprint
Ruosong Ye, Caiqi Zhang, Runhui Wang, Shuyuan Xu, Yongfeng Zhang. [PDF], 2023.8,
LLM은 그래프 구조 정보를 효과적으로 활용할 수 있습니다. preprint
Jin Huang, Xingjian Zhang, Qiaozhu Mei, Jiaqi MA. [PDF] [Code], 2023.9,
큰 언어 모델로 신경 프롬프트. preprint
Yijun Tian, Huan Song, Zichen Wang, Haozhu Wang, Ziqing Hu, Fang Wang, Nitesh V. Chawla, Panpan Xu. [PDF], 2023.9,
텍스트 부여 그래프에서 소수의 학습을위한 프롬프트 기반 노드 기능 추출기. preprint
Xuanwen Huang, Kaiqiao Han, Dezheng Bao, Quanjin Tao, Zhisheng Zhang, Yang Yang, Qi Zhu. [PDF], 2023.9,
그래프 텍스트 : 텍스트 공간의 그래프 추론. preprint
Jianan Zhao, Le Zhuo, Yikang Shen, Meng Qu, Kai Liu, Michael Bronstein, Zhaocheng Zhu, Jian Tang [PDF], 2023.10,
GraphGpt : 대형 언어 모델에 대한 그래프 명령 튜닝. preprint
Jiabin Tang, Yuhao Yang, Wei Wei, Lei Shi, Lixin SU, Suqi Cheng, Dawei Yin, Chao Huang. [PDF], 2023.10,
하나의 텍스트 인코더가있는 텍스트가 풍부한 네트워크에서 멀티 플렉스 임베딩 학습. preprint
Bowen Jin, Wentao Zhang, Yu Zhang, Yu Meng, Han Zhao, Jiawei Han. [PDF] [Code], 2023.10,
텍스트 부여 된 그래프를위한 큰 언어 모델로 분리 된 표현 학습. preprint
Yijian Qin, Xin Wang, Ziwei Zhang, Wenwu Zhu. [PDF], 2023.10,
추론 : 지식 그래프에 대한 질문에 대답하기 위해 미리 훈련 된 언어 모델에서 구조적 서브 그래프 추론 가능. EMNLP23
Jinhao Jiang, Kun Zhou, Wayne Xin Zhao, Yaliang Li, Ji-Rong Wen. [PDF], 2023.12,
역사 체인 : 시간적 지식 그래프 완성을위한 LLM을 통한 학습 및 예측. preprint
Ruilin Luo, Tianle Gu, Haoling Li, Junzhe Li, Zicheng Lin, Jiayi Li, Yujiu Yang. [PDF] [Code], 2024.1,
대규모 언어 모델을 가진 대규모 이종 그래프에서 확장 가능한 링크 예측. preprint
Baolong Bi, Shenghua Liu, Yiwei Wang, Lingrui Mei, Xueqi Chen. [PDF], 2024.1,
그래프 LLM에 대한 유사성 기반 이웃 선택. preprint
Rui Li, Jiwei Li, Jiawei Han, Guoyin Wang. [PDF], 2024.2,
그래프가 말하기 : LLM에 대한 구조화 된 데이터 인코딩을 수행하십시오. preprint
Bryan Perozzi, Bahare Fatemi, Dustin Zelle, Anton Tsitsulin, Mehran Kazemi, Rami Al-Rfou, Jonathan Halcrow. [PDF], 2024.2,
InstructGraph : 그래프 중심의 명령어 튜닝 및 선호도 정렬을 통해 대형 언어 모델을 강화합니다. preprint
Jianing Wang, Junda Wu, Yupeng Hou, Yao Liu, Ming Gao, Julian McAuley. [PDF], 2024.2,
그래프 신경망 강화 LLM에 대한 질문에 대한 검색. preprint
Zijian Li, Qingyan Guo, Jiawei Shao, Lei Song, Jiang Bian, Jun Zhang, Rui Wang. [PDF], 2024.6,
제로 샷 그래프 학습자로서의 LLM : LLM 토큰 임베드와 GNN 표현의 정렬. preprint
Duo Wang, Yuan Zuo, Fengzhi Li, Junjie Wu. [PDF], 2024.8,
그래프 변압기가있는 지식 그래프에서 텍스트 생성. NAACL 2019
Rik Koncel-Kedziorski, Dhanush Bekal, Yi Luan, Mirella Lapata, Hannaneh Hajishirzi. [PDF] [Code], 2019.4,
GraphFormers : 텍스트 그래프에서 학습을 표현하기위한 GNN-Nested Transformers. NeurIPs 2021
Junhan Yang, Zheng Liu, Shitao Xiao, Chaozhuo Li, Defu Lian, Sanjay Agrawal, Amit Singh, Guangzhong Sun, Xing Xie. [PDF] [Code], 2021.5,
Greaselm : 그래프 추론 질문 답변을위한 강화 된 언어 모델. ICLR 2022
Xikun Zhang, Antoine Bosselut, Michihiro Yasunaga, Hongyu Ren, Percy Liang, Christopher D Manning 및 Jure Leskovec. [PDF] [Code], 2022.1,
Heterformer : 이종 텍스트가 풍부한 네트워크에서 변압기 기반 깊은 노드 표현 학습. KDD 2023
Bowen Jin, Yu Zhang, Qi Zhu, Jiawei Han. [PDF] [Code], 2022.5,
숨겨진 스키마 네트워크. preprint
Ramsés J. Sánchez, Lukas Conrads, Pascal Welke, Kostadin Cvejoski, César Ojeda. [PDF], 2022.7,
드래곤 : 깊은 양방향 언어 지식 그래프 프리 트레인. NeurIPs 2022
Michihiro Yasunaga, Antoine Bosselut, Hongyu Ren, Xikun Zhang, Christopher D. Manning, Percy Liang, Jure Leskovec. [PDF] [Code], 2022.10,
Edgeformers : 텍스트 에지 네트워크에서 학습을 표현하기위한 그래프 로워진 변압기. ICLR 2023
Bowen Jin, Yu Zhang, Yu Meng, Jiawei Han. [PDF] [Code], 2023.1,
PATTON : 텍스트가 풍부한 네트워크에서 언어 모델 사전 조정. ACL 2023
Bowen Jin, Wentao Zhang, Yu Zhang, Yu Meng, Xinyang Zhang, Qi Zhu, Jiawei Han. [PDF] [Code], 2023.5,
그래프 언어 모델. preprint
Moritz Plenz, Anette Frank. [PDF], 2024.1,
텍스트 그래프의 대형 언어 모델에 대한 효율적인 튜닝 및 추론. preprint
Yun Zhu, Yaoke Wang, Haizhou Shi, Siliang Tang. [PDF], 2024.1,
Hyperbert : Hypergraph-Aware 레이어를 텍스트 부여 하이퍼 그래프에서 노드 분류를위한 언어 모델과 혼합합니다. preprint
Adrián Bazaga, Pietro Liò, Gos Micklem. [PDF], 2024.2,
LLM의 전력을 텍스트 및 그래프 구조화 된 데이터를위한 다중 모달 인코더로 방출합니다. preprint
Jiacheng Lin, Kun Qian, Haoyu Han, Nurendra Choudhary, Tianxin Wei, Zhongruo Wang, Sahika Genc, Edward W Huang, Sheng Wang, Karthik Subbian, Danai Koutra, Jimeng Sun. [PDF], 2024.10,
과학 문서 간의 관계 설명. ACL 2021
Kelvin Luu, Xinyi Wu, Rik Koncel-Kedziorski, Kyle Lo, Isabel Cachola, Noah A. Smith. [PDF], 2020.2,
Specter : 인용 정보 변압기를 사용한 문서 수준 표현 학습. ACL 2020
Arman Cohan, Sergey Feldman, IZ Beltagy, Doug Downey, Daniel S. Weld. [PDF], 2020.4,
임시 검색에 대한 사전 훈련 : 하이퍼 링크도 필요합니다. CIKM 2021
Zhengyi MA, Zhicheng Dou, Wei Xu, Xinyu Zhang, Hao Jiang, Zhao Cao, Ji-Rong Wen. [PDF] [Code], 2021.8,
인용 임베딩과 함께 과학 문서 표현에 대한 이웃 대조 학습. EMNLP 2022
Malte Ostendorff, Nils Rethmeier, Isabelle Augenstein, Bela Gipp, Georg Rehm. [PDF] [Code], 2022.2,
제로 샷 멀티 라벨 텍스트 분류에 대한 메타 데이터 유발 대조 학습. WWW 2022
Yu Zhang, Zhihong Shen, Chieh-Han Wu, Boya Xie, Junheng Hao, Ye-Yi Wang, Kuansan Wang, Jiawei Han. [PDF] [Code], 2022.2,
Linkbert : 문서 링크가있는 사전 여신 언어 모델. ACL 2022
Michihiro Yasunaga, Jure Leskovec, Percy Liang. [PDF] [Code], 2022.3,
E2EG : 그래프 토폴로지 및 텍스트 기반 노드 속성을 사용한 엔드 투 엔드 노드 분류. ICDM 2023
Tu Anh Dinh, Jeroen Den Boef, Joran Cornelisse, Paul Groth. [PDF], 2022.8,
Twhin-Bert : Twitter에서 다국어 트윗 표현을위한 사회적으로 풍부한 미리 훈련 된 언어 모델. KDD 2023
Xinyang Zhang, Yury Malkov, Omar Florez, Serim Park, Brian McWilliams, Jiawei Han, Ahmed El-Kishky. [PDF] [Code], 2022.9,
Touchup-G : 그래프 중심의 결합을 통한 기능 표현 향상. preprint
Jing Zhu, Xiang Song, Vassilis N. Ioannidis, Danai Koutra, Christos Faloutsos. [PDF], 2023.9,
Wikiformer : 임시 검색을위한 Wikipedia의 구조적 정보로 사전 훈련. preprint
Weihang SU, Qingyao AI, Xiangsheng Li, Jia Chen, Yiqun Liu, Xiaolong Wu, Shengluan Hou. [PDF], 2023.12,
Walklm : 그래프 임베딩을위한 균일 한 언어 모델 미세 조정 프레임 워크. NeurIPs 2023
Yanchao Tan, Zihao Zhou, Hang LV, Weiming Liu, Carl Yang. [PDF], 2023.12,
GLAM : 이웃 분할 및 생성 서브 그래프 인코딩을 통한 도메인 지식 그래프 정렬에 대한 대형 언어 모델을 미세 조정합니다. AAAI 2024
Stefan Dernbach, Khushbu Agarwal, Alejandro Zuniga, Michael Henry, Sutanay Choudhury. [PDF], 2024.2,
UNIGLM : 텍스트 부여 그래프에 대한 통합 언어 모델을 훈련시킵니다. preprint 2024
Yi Fang, Dongzhe 팬, Sirui Ding, Ninghao Liu, Qiaoyu Tan. [PDF], 2024.6,
GNN-LM : GNN을 통한 글로벌 컨텍스트를 기반으로 한 언어 모델링. ICLR 2022
Yuxian Meng, Shi Zong, Xiaoya Li, Xiaofei Sun, Tianwei Zhang, Fei Wu, Jiwei Li. [PDF] [Code], 2021.10,
자체 감독 된 다중 규모 인근 예측에 의한 노드 기능 추출. ICLR 2022
Eli Chien, Wei-Cheng Chang, Cho-Jui Hsieh, Hsiang-Fu Yu, Jiong Zhang, Olgica Milenkovic, Inderjit S Dhillon. [PDF] [Code], 2021.11,
TextGnn : 스폰서 검색에서 그래프 신경망을 통해 텍스트 인코더 향상. WWW 2021
Jason Yue Zhu, Yanling Cui, Yuming Liu, Hao Sun, Xue Li, Markus Pelger, Tianqi Yang, Liangjie Zhang, Ruofei Zhang, Huasha Zhao. [PDF] [코드], 2022.1
ADSGNN : 스폰서 검색에서 행동 그래프 증강 관련 모델링. SIGIR 2021
Chaozhuo Li, Bochen Pang, Yuming Liu, Hao Sun, Zheng Liu, Xing Xie, Tianqi Yang, Yanling Cui, Liangjie Zhang, Qi Zhang. [PDF] [코드], 2022.4
언어 및 그래프 신경망 모델의 효율적이고 효과적인 교육. AAAI 2023
Vassilis n Ioannidis, Xiang Song, Da Zheng, Houyu Zhang, Jun Ma, Yi Xu, Belinda Zeng, Trishul Chilimbi, George Karypis. [PDF], 2022.6,
큰 그래프 코퍼스에서 그래프 인식 언어 모델 사전 훈련은 여러 그래프 애플리케이션에 도움이 될 수 있습니다. KDD 2023
Han Xie, Da Zheng, Jun Ma, Houyu Zhang, Vassilis N. Ioannidis, Xiang Song, Qing Ping, Sheng Wang, Carl Yang, Yi Xu, Belinda Zeng, Trishul Chilimbi. [PDF], 2023.6,
그래프 학습에서 대형 언어 모델 (LLM)의 잠재력을 탐색합니다. preprint
Zhikai Chen, Haitao Mao, Hang Li, Wei Jin, Hongzhi Wen, Xiaochi Wei, Shuaiqiang Wang, Dawei Yin, Wenqi Fan, Hui Liu, Jiliang Tang. [PDF] [Code], 2023.7,
Simteg : 실망스럽게 간단한 접근 방식은 텍스트 그래프 학습을 향상시킵니다. preprint
Keyu duan, Qian Liu, Tat-Seng Chua, Shuicheng Yan, Wei Tsang Ooi, Qizhe Xie, Junxian HE. [PDF] [Code], 2023.8,
기능으로서의 설명 : 텍스트 부여 그래프에 대한 LLM 기반 기능. preprint
Xiaoxin HE, Xavier Bresson, Thomas Laurent, Adam Perold, Yann Lecun, Bryan Hooi. [PDF] [Code], 2023.5,
LLMS (Lange Language Models)가있는 그래프의 레이블이없는 노드 분류. preprint
Zhikai Chen, Haitao Mao, Hongzhi Wen, Haoyu Han, Wei Jin, Haiyang Zhang, Hui Liu, Jiliang Tang. [PDF], 2023.9,
대형 언어 모델 (LLM)으로 학습하는 텍스트 부여 그래프에 권한을 부여하십시오. preprint
Jianxiang Yu, Yuxiang Ren, Chenghua Gong, Jiaqi Tan, Xiang Li, Xuecang Zhang. [PDF], 2023.10,
텍스트 부여 그래프를위한 토폴로지 구조 인핸서로서 큰 언어 모델. preprint
Shengyin Sun, Yuxiang Ren, Chen MA, Xuecang Zhang. [PDF], 2023.11,
텍스트 부여 된 그래프에 대한 포괄적 인 연구 : 벤치마킹 및 재검토. NeurIPS 2023
Hao Yan, Chaozhuo Li, Ruosong Long, Chao Yan, Jianan Zhao, Wenwen Zhuang, Jun Yin, Peiyan Zhang, Weihao Han, Hao Sun, Weiwei Deng, Qi Zhang, Lichao Sun, Xing Xie, Senzhang Wang [pdf] [Code], 202.11, 203.11,
큰 언어 모델의 증류 사건 시퀀스 지식. preprint
Somin Wadhwa, Oktie Hassanzadeh, Debarun Bhattacharjya, Ken Barker, Jian NI. [PDF], 2024.1,
연결하는 것을 잊지 마십시오! 그래프 기반 재고로 래그 개선. preprint
Jialin Dong, Bahare Fatemi, Bryan Perozzi, Lin F. Yang, Anton Tsitsulin. [PDF], 2024.5,
Gaugllm : 큰 언어 모델을 가진 텍스트 부여 된 그래프에 대한 그래프 개선 KDD 2024
Yi Fang, Dongzhe Fan, Daochen Zha, Qiaoyu Tan. [PDF], 2024.5,
자신의 GNN 교사 교육 : 텍스트 그래프에서 그래프 인식 증류. PKDD 2023
C. Mavromatis, VN Ioannidis, S. Wang, D. Zheng, S. Adeshina, J. Ma, H. Zhao, C. Faloutsos, G. Karypis. [PDF], 2023.4,
효율적인 대형 언어 모델은 그래프에 미세 조정합니다. preprint
Rui Xue, Xipeng Shen, Ruozhou Yu, Xiaorui Liu. [PDF], 2023.12,
텍스트 부여 그래프 학습을위한 큰 언어 모델을 증류합니다. preprint
Bo Pan, Zheng Zhang, Yifei Zhang, Yuntong Hu, Liang Zhao. [PDF], 2024.2,
그래프 표현 학습을위한 매개 변수 효율적인 대형 언어 모델 조정. preprint
Qi Zhu, Da Zheng, Xiang Song, Shichang Zhang, Bowen Jin, Yizhou Sun, George Karypis. [PDF], 2024.4,
텍스트 부여 된 그래프에서 로컬 세부 사항과 글로벌 컨텍스트를 연결합니다. preprint
Yaoke Wang, Yun Zhu, Wenqiao Zhang, Yueting Zhuang, Yunfei Li, Siliang Tang. [PDF], 2024.6,
그래프 언어 모델. ACL 2024
Moritz Plenz, Anette Frank. [PDF] [Code], 2024.1,
텍스트가 풍부한 네트워크에 대한 학습을 통한 최소한으로 감독 된 구조가 풍부한 텍스트 분류. WWW 2021
Xinyang Zhang, Chenwei Zhang, Luna Xin Dong, Jingbo Shang, Jiawei Han. [PDF] [Code], 2021.2,
변형 추론을 통해 대규모 텍스트 부여 그래프에 대한 학습. ICLR 2023
Jianan Zhao, Meng Qu, Chaozhuo Li, Hao Yan, Qian Liu, Rui Li, Xing Xie, Jian Tang. [PDF] [Code], 2023.1,
축하합니다 : 공동 그래프 및 텍스트 임베딩에 대한 자체 감독 대조적 인 사전 조정. preprint
William Brannon, Suyash Fulay, Hang Jiang, Winjune Kang, Brandon Roy, Jad Kabbara, Deb Roy. [PDF] [Code], 2023.5,
그래프 그라운드 사전 훈련 및 프롬프트로 저주적 텍스트 분류를 보강합니다. SIGIR 2023
Zhihao Wen, Yuan Fang. [PDF], 2023.5,
수류탄 : 텍스트 부여 된 그래프에서 자체 감독 대표 학습을위한 그래프 중심 언어 모델. EMNLP 2023
Yichuan Li, Kaize Ding, Kyumin Lee. [PDF] [Code], 2023.10,
텍스트 부여 된 이기종 그래프를 갖춘 사전 연상 언어 모델. preprint
Tao Zou, Le Yu, Yifei Huang, Leilei Sun, Bowen du. [PDF] [Code], 2023.10,
표 8은 그래프에 대한 설문 조사 논문의 큰 언어 모델 : 포괄적 인 설문 조사.
예측 변수로서 LLM (그래프)
SMILES-BERT : 분자 특성 예측에 대한 대규모 감독 사전 훈련 BCB 19
Sheng Wang, Yuzhi Guo, Yuhong Wang, Hongmao Sun, Junzhou Huang [PDF] [Code], 2019.09,
MOLGPT : 변압기 디코더 모델을 사용한 분자 생성. Journal of Chemical Information and Modeling
Viraj Bagal, Rishal Aggarwal, Pk Vinod 및 U. Deva Priyakumar [PDF] [Code], 2021.10,
인간 전문가들과 비교할 수있는 이해력있는 분자 구조와 생물 의학 텍스트 브리징 딥 러닝 시스템. Nature Communications
Zheni Zeng, Yuan Yao, Zhiyuan Liu, Maosong Sun [PDF] [Code], 2022.02,
Chemformer : 전산 화학 기계 학습을위한 미리 훈련 된 변압기 Machine Learning: Science and Technology
Ross Irwin, Spyridon Dimitriadis, Jiazhen HE 및 Esben Jannik Bjerrum [PDF] [Code], 2022.02,
화학 지문을위한 대규모 분산 트랜스포머 교육. Journal of Chemical Information and Modeling
Hisham Abdel-Aty, Ian R. Gould [PDF] [Code], 2022.06,
Galactica : 과학 Preprint 를위한 큰 언어 모델
Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, Robert Stojnic [PDF] [Code], 2022.11,
분자와 자연어 사이의 번역. EMNLP 2022
Carl Edwards, Tuan Lai, Kevin Ros, Garrett Honke, Kyunghyun Cho, Heng Ji. [PDF] [Code], 2022.12,
멀티 태스킹 언어 모델링 ICML 2023 통한 분자 및 텍스트 표현을 통일
Dimitrios Christofidellis, Giorgio Giannone, Jannis Born, Ole Winther, Teodoro Laino, Matteo Manica [PDF] [Code], 2023.05,
화학에서 큰 언어 모델은 무엇을 할 수 있습니까? 8 개의 작업에 대한 포괄적 인 벤치 마크. NeurIPS 2023
Taicheng Guo, Kehan Guo, Bozhao Nan, Zhenwen Liang, Zhichun Guo, Nitesh V. Chawla, Olaf Wiest, Xiangliang Zhang [pdf] [Code], 2023.9,
molxpt : 생성 사전 훈련을위한 텍스트로 랩핑 분자. ACL 2023
Zequn Liu, Wei Zhang, Yingce Xia, Lijun Wu, Shufang Xie, Tao Qin, Ming Zhang, Tie-Yan Liu. [PDF], 2023.05,
자연 언어 preprint 가진 대화식 분자 발견
Zheni Zeng, Bangchen Yin, Shipeng Wang, Jiarui Liu, Cheng Yang, Haishen Yao, Xingzhi Sun, Maosong Sun, Guotong Xie, Zhiyuan Liu. [PDF] [Code], 2023.06,
큰 언어 모델로 분자-캡션 번역을위한 분자 발견 preprint
Jiatong Li, Yunqing Liu, Wenqi Fan, Xiao-Yong Wei, Hui Liu, Jiliang Tang, Qing Li. [PDF], 2023.06, [코드],
회귀 변압기는 분자 언어 모델링 Nature Machine Intelligence 위한 동시 시퀀스 회귀 및 생성을 가능하게합니다.
Jannis Born, Matteo Manica [PDF] [Code], 2023.6,
대형 언어 모델이 분자 특성 예측을 강화할 수 있습니까? preprint
Chen Qian, Huayi Tang, Zhirui Yang, Hong Liang, Yong Liu. [PDF] [Code], 2023.7,
Mol-Instructions : 대형 언어 모델을위한 대규모 생체 분자 지시 데이터 세트 preprint
Yin Fang, Xiaozhuan Liang, Ningyu Zhang, Kangwei Liu, Rui Huang, Zhuo Chen, Xiaohui Fan, Huajun Chen [PDF], 2023.07, 2023.07,
GPT-Molberta : GPT 분자 특징 분자 특성 예측을위한 언어 모델. preprint
Balaji, Suryanarayanan, Rishikesh Magar 및 Yayati Jadhav. [PDF], 2023.10,
과학적 발견에 대한 대형 언어 모델의 영향 : GPT-4를 사용한 예비 연구. preprint
Microsoft Research AI4Science, Microsoft Azure Quantum [PDF], 2023.11,
언어 모델 ICLR 2024 에서 3D 분자 텍스트 해석으로
Sihang Li, Zhiyuan Liu, Yanchen Luo, Xiang Wang, Xiangnan HE, Kenji Kawaguchi, Tat-Seng Chua, Qi Tian. [PDF], 2024.1,
MOLTC : 언어 모델 preprint 의 분자 관계 모델링을 향해
Junfeng Fang, Shuai Zhang, Chang Wu, Zhengyi Yang, Zhiyuan Liu, Sihang Li, Kun Wang, Wenjie du, Xiang Wang. [PDF], 2024.2,
대형 언어 모델은 텍스트 내 분자 학습자 preprint 입니다
Jiatong Li, Wei Liu, Zhihao Ding, Wenqi Fan, Yuqiang Li, Qing Li. [PDF], 2024.3,
Hight : 그래프 언어 정렬 preprint 를위한 계층 적 그래프 토큰 화
Yongqiang Chen, Quanming Yao, Juzheng Zhang, James Cheng, Yatao Bian. [PDF], 2024.6,
MOLECULARGPT : 소수의 분자 특성 예측 preprint 인자에 대한 큰 언어 모델 (LLM) 개방
Yuyan Liu, Sirui Ding, Sheng Zhou, Wenqi Fan, Qiaoyu Tan [PDF], 2024.6,
Text2mol : 자연 언어 쿼리를 가진 교차 모달 분자 검색. EMNLP 2021
Carl Edwards, Chengxiang Zhai, Heng Ji. [PDF] [Code], 2021.10,
Gimlet : 지시 기반 분자 제로 샷 학습을위한 통합 그래프 텍스트 모델. preprint
Haiteng Zhao, Shengchao Liu, Chang MA, Hannan Xu, Jie Fu, Zhi-Hong Deng, Lingpeng Kong, Qi Liu. [PDF] [Code], 2023.6,
PROT2TEXT : GNN 및 변압기 preprint 사용한 멀티 모달 단백질의 기능 생성
Hadi Abdine, Michail Chatzianastasis, Costas Bouyioukos, Michalis Vazirgiannis [PDF], 2023.07,
RELM : 향상된 화학 반응 예측을 위해 언어 모델을 활용합니다. EMNLP 2023
Yaorui Shi, Zhang, Enzhi Zhang, Zhiyuan Liu, Xiang Wang. [PDF] [Code], 2023.10,
큰 언어 모델을위한 생의학 지식 그래프 강화 신속한 생성 preprint
Karthik Soman, Peter W Rose, John H Morris, Rabia e Akbas, Brett Smith, Braian Peetoom, Catalina Villouta-Reyes, Gabriel Cerono, Yongmei Shi, Angela Rizk-Jackson, Sharat Israni, Charlotte A Nelson, Sui Huang, Sergio e Baranzini [Code]
L + M-24 : 언어 + 분자 @ ACL 2024 preprint 데이터 세트 구축
Carl Edwards, Qingyun Wang, Lawrence Zhao, Heng Ji [pdf] [Code], 2024.2,
분자 멀티 모달 기초 모델은 분자 그래프를 자연 언어와 연관시킵니다. preprint
Bing Su, Dazhao du, Zhao Yang, Yujie Zhou, Jiangmeng Li, Anyi Rao, Hao Sun, Zhiwu Lu, Ji-Rong Wen [pdf] [Code], 2022.09, 2022.09,
텍스트 기반 검색 및 편집을위한 멀티 모달 분자 구조 텍스트 모델. preprint
Shengchao Liu, Weili Nie, Chengpeng Wang, Jiarui Lu, Zhuoran Qiao, Ling Liu, Jian Tang, Chaowei Xiao, Anima Anandkumar [PDF], 2022.10,
복합 ICML 2023 Workshop on Computational Biology 으로 자연 언어에서 분자 특성 추출
Romain Lacombe, Andrew Gaut, Jeff HE, David Lüdeke, Kateryna Pistunova [PDF], 2023.07,
PROTST : 단백질 서열 및 생물 의학 텍스트의 다중 양식 학습. ICML 2023
Minghao Xu, Xinyu Yuan, Santiago Miret, Jian Tang. [PDF] [Code], 2023.1,
인간 언어를 이해하는 능력으로 약물 발견에서 활동 예측 모델 향상. ICML 2023
Philipp Seidl, Andreu Vall, Sepp Hochreiter, Günter Klambauer. [PDF] [Code], 2023.5,
MOLFM : 멀티 모달 분자 기초 모델. Preprint
Yizhen Luo, Kai Yang, Massimo Hong, Xing Yi Liu, Zaiqing Nie. [PDF] [Code], 2023.7,
git-mol : 그래프, 이미지 및 텍스트 Preprint 있는 분자 과학을위한 다중 모달 대형 언어 모델
Pengfei Liu, Yiming Ren, Zhixiang Ren [PDF], 2023.08,
MOLCA : 교차 모달 프로젝터 및 유니 모달 어댑터를 사용한 분자 그래프 언어 모델링. EMNLP 2023
Zhiyuan Liu, Sihang Li, Yanchen Luo, Hao Fei, Yixin Cao, Kenji Kawaguchi, Xiang Wang, Tat-Seng Chua. [PDF] [Code], 2023.10,
Chemreasoner : 양자 화학 피드백을 사용하여 대형 언어 모델의 지식 공간에 대한 휴리스틱 검색. preprint
Henry W. Sprueill, Carl Edwards, Khushbu Agarwal, Mariefel V. Olarte, Udishnu Sanyal, Conrad Johnston, Hongbin Liu, Heng JI, Sutanay Choudhury. [PDF], 2024.2,
대형 언어 모델의 시끄러운 주석과 엔터티 정렬. NeurIPS 2024
Shengyuan Chen, Qinggang Zhang, Junnan Dong, Wen Hua, Qing Li, Xiao Huang. [PDF] [Code], 2024.9,
반복 그래프 정렬. preprint
Fangyuan Yu, Hardeep Singh Arora, Matt Johnson. [PDF], 2024.8,
그래프 학습이 LLM 기반 에이전트의 계획을 향상시킬 수 있습니까? NeurIPS 2024
Xixi Wu, Yifei Shen, Caihua Shan, Kaitao Song, Siwei Wang, Bohang Zhang, Jiarui Feng, Hong Cheng, Wei Chen, Yun Xiong, Dongsheng Li. [PDF] [Code], 2024.5,
GraphTeam : 다중 에이전트 공동 작업 preprint 통한 대형 언어 모델 기반 그래프 분석 촉진
Xin Li, Qizhi Chu, Yubin Chen, Yang Liu, Yaoqi Liu, Zekai Yu, Weize Chen, Chen Qian, Chuan Shi, Cheng Yang. [PDF] [Code], 2024.10,
GCODER : 일반화 된 그래프 문제 해결 preprint 용 대형 언어 모델 향상
Qifan Zhang, Xiaobin Hong, Jianheng Tang, Nuo Chen, Yuhan Li, Wenzhong Li, Jing Tang, Jia Li. [PDF] [Code], 2024.10,
장식 언어 모델 출력에 대한 그래프 기반 불확실성 메트릭 NeurIPs 2024
Mingjian Jiang, Yangjun Ruan, Prasanna Sattigeri, Salim Roukos, Tatsunori Hashimoto. [PDF], 2024.10
이 저장소에 대한 기여를 환영합니다!
오류가 있거나 관련 리소스가 있으면 문제 또는 풀 요청을 자유롭게 열어주십시오.
종이 형식 :
1. **[paper title].** `[]`
*[authors].* [[PDF]([pdf link])] [[Code]([code link])], published time,  
리소스가 연구에 도움이되는 경우 다음 논문을 인용하십시오.
@article{jin@llmgraph,
title={Large Language Models on Graphs: A Comprehensive Survey},
author={Jin, Bowen and Liu, Gang and Han, Chi and Jiang, Meng and Ji, Heng and Han, Jiawei},
journal={arXiv preprint arXiv:2312.02783},
year={2023}
}
