Awesome LLM KG

Awesome-llm-kg

Сборник документов и ресурсов об объединении крупных языковых моделей (LLMS) и графиков знаний (KG).

Большие языковые модели (LLMS) достигли замечательного успеха и обобщения в различных приложениях. Тем не менее, они часто не допускают захвата и доступа к фактическим знаниям. Графики знаний (KG) являются структурированными моделями данных, которые явно хранят богатые фактические знания. Тем не менее, KG трудно построить, и существующие методы в KG не являются неадекватными при обработке неполной и динамически меняющейся природы реальных KG. Следовательно, естественно объединить LLMS и KGS вместе и одновременно использовать их преимущества.

Новости

? Этот проект находится в стадии разработки. Вы можете попасть в звезду и посмотреть , чтобы следовать обновлениям.

• Наша последняя работа по KG + LLM ReAoSning теперь является общедоступной: рассуждения с ограниченным графиком: верные рассуждения о графах знаний с большими языковыми моделями
• Наша LLM для временных рассуждений KG.
• Наш KG для анализа документа по рассуждениям LLM: прямая оценка цепочки мыслей в мульти-хоп-рассуждениях с графиками знаний была принята ACL 2024.
• Наша бумага для дорожной карты была принята TKDE.
• Наш KG для зондирующей статьи LLM: систематическая оценка фактических знаний в моделях крупных языков была принята EMNLP 2023.
• Наша документ для рассуждений KG + LLM: рассуждения о графиках: Верные и интерпретируемые рассуждения о большой языке были приняты в ICLR 2024.
• Наша LLM для KG Daseing Paper: Chatrule: Логические правила добычи с большими языковыми моделями для рассуждения о графе знаний теперь являются публичными.
• Наша бумага для дорожной карты: объединение крупных языковых моделей и графиков знаний: дорожная карта теперь общедоступна.

Обзор

В этом репозитории мы собираем последние достижения в объединении LLMS и KGS. Мы представляем дорожную карту, которая суммирует три общих рамках: 1) KG LLMS , 2) KG , а также синергированные LLMS + KGS .

Мы также иллюстрируем вовлеченные методы и приложения.

Мы надеемся, что этот репозиторий может помочь исследователям и практикующим, чтобы лучше понять эту новую область.
Если этот репозиторий полезен для вас, Plase поможет нам, ссылаясь на эту статью:

@article{llm_kg,
title={Unifying Large Language Models and Knowledge Graphs: A Roadmap},
author={Pan, Shirui and Luo, Linhao and Wang, Yufei and Chen, Chen and Wang, Jiapu and Wu, Xindong},
journal={IEEE Transactions on Knowledge and Data Engineering (TKDE)},
year={2024}
}

Оглавление

• Awesome-llm-kg
  • Новости
  • Обзор
  • Оглавление
  • Связанные опросы
  • KG-усиленные LLMS
    • KG с усиленным LLM перед тренировкой
    • КГ, усиленный вывод LLM
    • КГ, усиленный интерпретацией LLM
  • LLM-Augmented KGS
    • LLM-Augmented KG Enlceding
    • LLM-Augmented KG завершение
    • LLM-Augmented Kg-Text Generation
    • Ответ на вопрос к KG
  • Синергированный LLMS + KGS
    • Представление знаний
    • Рассуждение
  • Приложения
    • Рекомендация
    • Анализ неисправности

Связанные опросы

• Объединение крупных языковых моделей и графиков знаний: дорожная карта (TKDE, 2024) [Paper]
• Опрос о предварительно обученных языковых моделях с повышенными знаниями (Arxiv, 2023) [Paper]
• Обследование интенсивного знания NLP с предварительно обученными языковыми моделями (Arxiv, 2022) [Paper]
• Обзор языковых моделей как базы знаний (Arxiv, 2022) [Paper]
• Конструкция графа генеративных знаний: обзор (EMNLP, 2022) [Paper]
• Знания Увеличны предварительно проведенные языковые модели: обследование CORCESHENSION (ARXIV, 2021) [Paper]
• Рассуждение о различных типах графиков знаний: статический, временный и мультимодальный (Arxiv, 2022) [Paper] [Code]

KG-усиленные LLMS

KG с усиленным LLM перед тренировкой

• Эрни: улучшенное представление языка с информативными организациями (ACL, 2019) [Paper]
• Использование структурированных знаний в тексте с помощью графического представления
• SKEP: Знание настроения усиливает предварительное обучение для анализа настроений (ACL, 2020) [Paper]
• E-Bert: фраза и знания продукта улучшены языковая модель для электронной коммерции (Arxiv, 2020) [Paper]
• Предварительная энциклопедия: слабо контролируемая языковая модель, представленная на знаниях (ICLR, 2020) [Paper]
• BERT-MK: Интеграция контекстуализированных знаний графика в предварительно обученные языковые модели (EMNLP, 2020) [Paper]
• K-Bert: включение языкового представления с графом знаний (AAAI, 2020) [Paper]
• COLAKE: контекстуализированный язык и встраивание знаний (Colg, 2020) [Paper]
• Кеплер: унифицированная модель для встраивания знаний и предварительно обученного языкового представления (TACL, 2021) [Paper]
• K-адаптер: внедрение знаний в предварительно обученные модели с адаптерами (результаты ACL, 2021) [Paper]
• Cokebert: Отбор контекстуальных знаний и внедрение на улучшенные предварительно обученные языковые модели (AI Open, 2021) [Paper]
• Ernie 3.0: крупномасштабные знания улучшены перед тренировкой для понимания языка и поколения (Arixv, 2021) [Paper]
• Языковые модели предварительного обучения с детерминированными фактическими знаниями (EMNLP, 2022) [Paper]
• Кала: Адаптация к модели языка с известными языками (NAACL, 2022) [Paper]
• DKPLM: Разкомпанный предварительно обученная языковая модель, обеспеченная для понимания естественного языка (AAAI, 2022) [Paper]
• DICT-BERT: улучшение языковой модели предварительной тренировки с помощью словаря (выводы ACL, 2022) [Paper]
• Jaket: совместное предварительное обучение графа знаний и понимания языка (AAAI, 2022) [Paper]
• До тренировки до тренировок для анализа неисправностей (ICDE, 2023) [Paper]

КГ, усиленный вывод LLM

• Жена Барака Хиллари: Использование графов знаний для языкового моделирования с учетом фактов (ACL, 2019) [Paper]
• Поизводимый поколение для задач NLP, интенсивных, интенсивных знаний (Neurips, 2020) [Paper]
• Царство: до тренировки языковой модели поиска-августа (ICML, 2020) [Paper]
• QA-GNN: Рассуждение языковыми моделями и графами знаний для ответа на вопросы (NAACL, 2021) [Paper]
• Память и знания дополненные языковые модели для вывода значимости в длинных историях (EMNLP, 2021) [Paper]
• Совместный: совместные рассуждения с языковыми моделями и графами знаний для ответа на вопрос об здравом смысле (NAACL, 2022) [Paper]
• Усовершенствованное понимание истории для моделей крупных языков с помощью динамических графиков знаний на основе документов (AAAI, 2022) [Paper]
• Greaselm: рассуждения графиков Усовершенствованные языковые модели (ICLR, 2022) [Paper]
• Эффективный трансформатор с аугированным на память для задач NLP с интенсивными знаниями (EMNLP, 2022) [Paper]
• Ответ на график знаний о знании
• Ответ на основе LLM с интеграцией графа знаний в развивающихся средах (выводы EMNLP, 2024) [Paper]

КГ, усиленный интерпретацией LLM

• Языковые модели как базы знаний (Emnlp, 2019) [Paper]
• Kagnet: Графические сети, осведомленные о знаниях для здравых рассуждений (Arxiv, 2019) [Paper]
• Автопромпт: выявление знаний из языковых моделей с автоматически сгенерированными подсказками (EMNLP, 2020) [Paper]
• Как мы можем узнать, какие языковые модели знают? (ACL, 2020) [бумага]
• Нейроны знаний в предварительно проведенных трансформаторах (ACL, 2021) [Paper]
• Могут ли языковые модели быть биомедицинскими базами знаний? (EMNLP, 2021) [бумага]
• Интерпретация языковых моделей с помощью извлечения графа знаний (Arxiv, 2021) [Paper]
• QA-GNN: рассуждение языковыми моделями и графами знаний для ответа на вопросы (ACL, 2021) [Paper]
• Как запросить языковые модели? (Arxiv, 2021) [Paper]
• Rewire-Then-Spece: контрастный рецепт для исследования биомедицинских знаний о предварительно обученных языковых моделях (Arxiv, 2021) [Paper]
• Когда не доверять языковым моделям: исследование эффективности и ограничений параметрических и непараметрических воспоминаний (Arxiv, 2022) [Paper]
• Как предварительно обученные языковые модели отражают фактические знания? Анализ, вдохновленный причиной (Arxiv, 2022) [Paper]
• Могут ли графики знаний упростить текст? (CIKM, 2023) [бумага]

LLM-Augmented KGS

LLM-Augmented KG Enlceding

• Выравнивание сущности с шумными аннотациями из крупных языковых моделей (Neurips, 2024) [Paper]
• Lambdakg: библиотека для предварительно обученного языкового графа знаний на основе модели (Arxiv, 2023) [Paper]
• Интеграция графа знаний внедряет и предварительно проведенные языковые модели в гиперкомплексные пространства (Arxiv, 2022) [Paper]
• Обоснование языковых моделей с помощью мультимодальных представлений о графе знаний (Arxiv, 2022) [Paper]
• Языковая модель Графа знаний внедрения (IEEE Access, 2022) [Paper]
• Языковые модели как встраивание знаний (IJCAI, 2022) [Paper]
• Pretrain-Kge: представление знаний в обучении из предварительных языковых моделей (EMNLP, 2020) [Paper]
• Кеплер: унифицированная модель для встраивания знаний и предварительно обученного языкового представления (TACL, 2020) [Paper]

LLM-Augmented KG завершение

• Многоперсперспективное улучшение завершения графа знаний с большими языковыми моделями (Coling 2024) [Paper] [Code]
• KG-Bert: Bert для завершения графа знаний (Arxiv, 2019) [Paper]
• Многозадачное обучение для завершения графа знаний с предварительно обученными языковыми моделями (Coling, 2020) [Paper]
• Получают ли предварительно обученные модели завершение графа знаний? Надежная оценка и разумный подход (ACL, 2022) [Paper]
• Совместный язык семантический и структура внедрения для завершения графа знаний (Colg, 2022) [Paper]
• MEM-KGC: модель сущности в масках для завершения графа знаний с предварительно обученной языковой моделью (IEEE Access, 2021) [Paper]
• Расширение графа знаний с предварительно обученной языковой моделью с помощью унифицированного метода обучения (Sound. Syst., 2023) [Paper]
• Структурное авторское обучение
• SIMKGC: простое завершение графа знаний с предварительно обученными языковыми моделями (ACL, 2022) [Paper]
• LP-BERT: многозадачный график знаний до обучения BERT для прогнозирования ссылок (ARXIV, 2022) [Paper]
• От дискриминации к поколению: завершение графа знаний с генеративным трансформатором (www, 2022) [Paper]
• Завершение графа знаний и ответа на последовательность и ответа на вопросы (ACL, 2022) [Paper]
• Знание является плоским: генеративная структура SEQ2SEQ для различного завершения графа знаний (Coling, 2022) [Paper]
• Структура для адаптации предварительно обученных языковых моделей к завершению графа знаний (EMNLP, 2022) [Paper]
• Погружение соуса PLMS: мостовая структура и текст для эффективного завершения графа знаний посредством условного мягкого подсказки (ACL, 2023) [Paper]

LLM-Augmented Kg-Text Generation

• Genwiki: набор данных из 1,3 миллиона текстов обмена контентом и графиков для неконтролируемого генерации графика в тексте (Coling, 2020) [Paper]
• KGPT: Знание предварительное обучение для генерации данных в тексте (EMNLP 2020) [Paper]
• Совместный: График-текстовый совместный репрезентация обучения для генерации текста из графиков знаний (выводы ACL, 2021) [Paper]
• Исследование предварительно проведенных языковых моделей для генерации графа в тексте (NLP4Convai, 2021) [Paper]
• Генерация графика в тексте с несколькими выстрелами с предварительно проведенными языковыми моделями (ACL, 2021) [Paper]
• EventNarrative: крупномасштабный набор данных, ориентированный на события для получения знаний График-текста (Neurips, 2021) [Paper]
• GAP: структура модели с авансом с графом для получения знаний График-текста (Colg, 2022) [Paper]

Ответ на вопрос к KG

• Unikgqa: единый поиск и рассуждение для решения вопросов, отвечающих на несколько хоп, ответа на график знаний (ICLR, 2023) [Paper]
• StructGPT: общая структура для модели крупного языка для разумного разума по структурированным данным (Arxiv, 2023) [Paper]
• Эмпирическое исследование GPT-3 для нескольких выстрелов, основанных на знаниях VQA (AAAI, 2022) [Paper]
• Эмпирическое исследование предварительно обученных языковых моделей в простом ответе на график знаний (World Wide Web Journal, 2023) [Paper]
• Расширение языковых моделей с рассуждением графа знаний для ответа на вопрос о открытой области (EMNLP, 2022) [Paper]
• DRLK: Динамические иерархические рассуждения с языковой моделью и графом знаний для ответа на вопросы (EMNLP, 2022) [Paper]
• Усовершенствованная модель поиска подграфа для ответа на вопрос о базе знаний с несколькими хоп (ACL, 2022) [Paper]
• GreSelm: Рассуждение графика улучшенные языковые модели для ответа на вопросы (ICLR, 2022) [Paper]
• LAKO: визуальный вопрос, управляемый знаниями, отвечающий на позднее инъекцию знаний в тексте (IJCKG, 2022) [Paper]
• QA-GNN: Рассуждение языковыми моделями и графами знаний для ответа на вопросы (NAACL, 2021) [Paper]

Синергированный LLMS + KGS

Представление знаний

• До тренировки до тренировок для анализа неисправностей (ICDE, 2023) [Paper]
• Языковая модель предварительного обучения включает в себя специфичные для домена гетерогенные знания в единое представление (экспертные системы с приложениями, 2023) [Paper]
• Глубокий двунаправленный язык знание
• Кеплер: унифицированная модель для встраивания знаний и предварительно обученного языкового представления (TACL, 2021) [Paper]
• Совместный:

Рассуждение

• Объединенная служба увеличения графа знаний для повышения задач NLP-конкретных доменов (Arxiv, 2023) [Paper]
• Объединяющая структура рассуждения и языковая модель предварительную тренировку для сложных рассуждений (Arxiv, 2023) [Paper]
• Сложные логические рассуждения по графам знаний с использованием больших языковых моделей (Arxiv, 2023) [Paper]

Приложения

Рекомендованная система

• Recindial: унифицированная структура для разговорной рекомендации с предварительными языковыми моделями (Arxiv, 2023) [Paper]

Анализ неисправности

• До тренировки до тренировок для анализа неисправностей (ICDE, 2023) [Paper]