Awesome LLM KG Descargar - Awesome LLM KG Código fuente de descarga

Awesome LLM KG

Otro código fuente

1.0.0

Descargar

Impresionante-llm-kg

Una colección de documentos y recursos sobre unificar modelos de idiomas grandes (LLM) y gráficos de conocimiento (KG).

Los modelos de idiomas grandes (LLM) han logrado un notable éxito y generalización en diversas aplicaciones. Sin embargo, a menudo no alcanzan y acceden al conocimiento fáctico. Los gráficos de conocimiento (KGS) son modelos de datos estructurados que almacenan explícitamente un conocimiento de hecho rico. Sin embargo, los KG son difíciles de construir y los métodos existentes en KG son inadecuados en el manejo de la naturaleza incompleta y dinámicamente cambiante de KG del mundo real. Por lo tanto, es natural unificar LLM y KG juntos y aprovechar simultáneamente sus ventajas.

Noticias

? Este proyecto está en desarrollo. Puedes golpear la estrella y ver para seguir las actualizaciones.

Nuestro último trabajo en KG + LLM Reaosning ahora es público: Razonamiento con limitación gráfica: razonamiento fiel sobre gráficos de conocimiento con modelos de idiomas grandes
Nuestro LLM para el trabajo de razonamiento temporal de KG: la adaptación dinámica guiada por modelos de lenguaje grande para el razonamiento del gráfico de conocimiento temporal ha sido aceptado por Neurips 2024!
Nuestro KG para analizar el documento de razonamiento de LLM: la evaluación directa de la cadena de pensamiento en el razonamiento de múltiples saltos con gráficos de conocimiento ha sido aceptada por ACL 2024.
Nuestro papel de hoja de ruta ha sido aceptado por TKDE.
Nuestro KG para Documento de sondeo LLM: EMNLP 2023 ha aceptado la evaluación sistemática del conocimiento fáctico en modelos de idiomas grandes.
Nuestro documento de razonamiento de KG + LLM: Razonamiento sobre gráficos: Modelo de lenguaje grande fiel e interpretable El razonamiento ha sido aceptado por ICLR 2024.
Nuestro LLM para KG Razoning Paper: Chatrule: Minería de reglas lógicas con grandes modelos de idiomas para el razonamiento del gráfico de conocimiento ahora es pública.
Nuestro documento de hoja de ruta: unificar modelos de idiomas grandes y gráficos de conocimiento: una hoja de ruta ahora es pública.

Descripción general

En este repositorio, recopilamos avances recientes en unificaciones de LLM y KG. Presentamos una hoja de ruta que resume tres marcos generales: 1) LLMS mejorados de kg , 2) Kgs acuáticos de LLMS y 3) LLMS sinergizados + kgs .

También ilustramos las técnicas y aplicaciones involucradas.

Esperamos que este repositorio pueda ayudar a los investigadores y profesionales a comprender mejor este campo emergente.
Si este repositorio es útil para usted, por favor ayúdenos citando este documento:

@article{llm_kg,
title={Unifying Large Language Models and Knowledge Graphs: A Roadmap},
author={Pan, Shirui and Luo, Linhao and Wang, Yufei and Chen, Chen and Wang, Jiapu and Wu, Xindong},
journal={IEEE Transactions on Knowledge and Data Engineering (TKDE)},
year={2024}
}

Tabla de contenido

Impresionante-llm-kg
- Noticias
- Descripción general
- Tabla de contenido
- Encuestas relacionadas
- LLMS mejorados de KG
  - KG-mejorado LLM previa al entrenamiento
  - Inferencia LLM mejorada de KG
  - Interpretabilidad de LLM mejorada de KG
- Kgs sugenciados por LLM
  - LLM-AGUNTADO KG INCRECTACIÓN
  - LLM-AGUNTADO KG FINTERION
  - Generación de KG-to-Text augmentada con LLM
  - Respuesta de preguntas de KG de KG de LLM
- LLMS sinergizados + kgs
  - Representación del conocimiento
  - Razonamiento
- Aplicaciones
  - Recomendación
  - Análisis de fallas

Encuestas relacionadas

Unificación de modelos de idiomas grandes y gráficos de conocimiento: una hoja de ruta (TKDE, 2024) [Documento]
Una encuesta sobre modelos de lenguaje previamente capacitados mejorados por el conocimiento (ARXIV, 2023) [documento]
Una encuesta de PNL intensiva en conocimiento con modelos de lenguaje previamente capacitados (ARXIV, 2022) [documento]
Una revisión sobre modelos de idiomas como bases de conocimiento (ARXIV, 2022) [Documento]
Construcción de gráficos de conocimiento generativo: una revisión (EMNLP, 2022) [documento]
Modelos de lenguaje prenario mejorados del conocimiento: una encuesta compresión (ARXIV, 2021) [documento]
Razonamiento sobre diferentes tipos de gráficos de conocimiento: estática, temporal y multimodal (ARXIV, 2022) [Documento] [Código]

LLMS mejorados de KG

KG-mejorado LLM previa al entrenamiento

Ernie: representación del lenguaje mejorado con entidades informativas (ACL, 2019) [documento]
Explotación del conocimiento estructurado en el texto a través del aprendizaje de representación guiada por gráficos (EMNLP, 2019) [documento]
SKEP: Conocimiento de sentimiento mejorado Pre-Entrenamiento para el análisis de sentimientos (ACL, 2020) [documento]
E-Bert: un modelo de lenguaje mejorado por el conocimiento de la frase y el producto para el comercio electrónico (ARXIV, 2020) [documento]
Enciclopedia previa a la aparición: modelo de lenguaje de pretrada de conocimiento débilmente supervisado (ICLR, 2020) [documento]
Bert-MK: Integración del conocimiento contextualizado en gráfico en modelos de lenguaje previamente capacitados (EMNLP, 2020) [documento]
K-Bert: habilitando la representación del lenguaje con el gráfico de conocimiento (AAAI, 2020) [Documento]
COLAKE: Lenguaje y conocimiento contextualizado (Coling, 2020) [Documento]
Kepler: un modelo unificado para la incrustación del conocimiento y la representación del lenguaje previamente capacitado (TACL, 2021) [documento]
K-Adapter: Infundir el conocimiento en modelos previamente capacitados con adaptadores (Hallazgos de ACL, 2021) [documento]
Cokebert: selección de conocimiento contextual e incrustación hacia modelos de lenguaje pre-capacitados mejorados (AI Open, 2021) [documento]
Ernie 3.0: El conocimiento mejorado a gran escala para el entrenamiento para la comprensión y generación del lenguaje (ARIXV, 2021) [Documento]
Modelos de lenguaje previo a la capacitación con conocimiento fáctico determinista (EMNLP, 2022) [documento]
Kala: Adaptación del modelo de lenguaje acuático de conocimiento (NAACL, 2022) [Documento]
DKPLM: Modelo de lenguaje previamente capacitado mejorado por el conocimiento descomponible para la comprensión del lenguaje natural (AAAI, 2022) [Documento]
DICT-Bert: Mejora del modelo de lenguaje pretruado con diccionario (Hallazgos de ACL, 2022) [documento]
JAKET: Prioridad conjunta del gráfico de conocimiento y comprensión del lenguaje (AAAI, 2022) [Documento]
Prerrevenimiento de tele-conocimiento para el análisis de fallas (ICDE, 2023) [documento]

Inferencia LLM mejorada de KG

Barack's Wife Hillary: Uso de gráficos de conocimiento para modelado de idiomas consciente de hechos (ACL, 2019) [documento]
Generación de recuperación de la generación de PNL intensivas en conocimiento (Neurips, 2020) [documento]
Reino: pre-entrenamiento del modelo de lenguaje de recuperación de recuperación (ICML, 2020) [documento]
QA-GNN: Razonamiento con modelos de idiomas y gráficos de conocimiento para la respuesta a las preguntas (NAACL, 2021) [Documento]
MECHO Y CONOCIMIENTO Modelos de lenguaje aumentado para inferir la prominencia en historias de forma larga (EMNLP, 2021) [Documento]
Conjunta: razonamiento conjunto con modelos de idiomas y gráficos de conocimiento para la respuesta de preguntas de sentido común (NAACL, 2022) [Documento]
Comprensión de la historia mejorada para modelos de idiomas grandes a través de gráficos dinámicos de conocimiento basados en documentos (AAAI, 2022) [documento]
Graselm: Modelos de lenguaje mejorado de razonamiento gráfico (ICLR, 2022) [Paper]
Un transformador eficiente de memoria para la memoria para tareas de PNL intensivas en conocimiento (EMNLP, 2022) [documento]
Modelo de lenguaje de conocimiento de conocimiento solicitando la respuesta del gráfico de conocimiento de cero shot (nlrse@acl, 2023) [documento]
Respuesta de preguntas múltiples basadas en LLM con integración de gráficos de conocimiento en entornos evolucionadores (Hallazgos de EMNLP, 2024) [documento]

Interpretabilidad de LLM mejorada de KG

Modelos de idiomas como bases de conocimiento (EMNLP, 2019) [Documento]
Kagnet: Redes de gráficos con conocimiento de conocimiento para razonamiento de sentido común (Arxiv, 2019) [Documento]
Autoprompt: obteniendo el conocimiento de los modelos de idiomas con indicaciones generadas automáticamente (EMNLP, 2020) [documento]
¿Cómo podemos saber lo que saben los modelos de idiomas? (ACL, 2020) [papel]
Neuronas de conocimiento en transformadores previos a la aparición (ACL, 2021) [documento]
¿Pueden los modelos de idiomas ser bases de conocimiento biomédico? (EMNLP, 2021) [Documento]
Interpretación de modelos de lenguaje a través de la extracción de gráficos de conocimiento (ARXIV, 2021) [Paper]
QA-GNN: Razonamiento con modelos de idiomas y gráficos de conocimiento para la respuesta de preguntas (ACL, 2021) [Documento]
¿Cómo consultar modelos de idiomas? (ARXIV, 2021) [Documento]
Rewire-Then-sonda: una receta contrastante para sondear el conocimiento biomédico de los modelos de lenguaje pretrados (ARXIV, 2021) [documento]
Cuando no confiará en los modelos de idiomas: investigar la efectividad y las limitaciones de las recuerdos paramétricos y no paramétricos (ARXIV, 2022) [documento]
¿Cómo capturan los modelos de idiomas previamente capacitados el conocimiento fáctico? Un análisis de inspiración causal (ARXIV, 2022) [documento]
¿Pueden los gráficos de conocimiento simplificar el texto? (CIKM, 2023) [Documento]

KG de LLM

LLM-AGUNTADO KG INCRECTACIÓN

Alineación de entidades con anotaciones ruidosas de modelos de idiomas grandes (Neurips, 2024) [documento]
Lambdakg: una biblioteca para incrustaciones de gráficos de conocimiento basados en modelos de lenguaje previamente capacitados (ARXIV, 2023) [Documento]
Integración de los modelos de lenguaje de incrustación de gráficos de conocimiento y pretrados
Modelos de lenguaje endowing con representaciones de gráficos de conocimiento multimodal (ARXIV, 2022) [Documento]
Modelo de lenguaje Incrustaciones de gráficos de conocimiento guiado (IEEE Access, 2022) [Documento]
Modelos de idiomas como incrustaciones de conocimiento (IJCAI, 2022) [Documento]
Pretrain-KGE: Representación del conocimiento de aprendizaje de los modelos de lenguaje previo a la aparición (EMNLP, 2020) [documento]
Kepler: un modelo unificado para la incrustación del conocimiento y la representación del lenguaje previamente capacitado (TACL, 2020) [documento]

LLM-AGUNTADO KG FINTERION

Mejora multiperspectiva de la finalización del gráfico de conocimiento con modelos de idiomas grandes (Coling 2024) [documento] [Código]
KG-Bert: Bert para la finalización del gráfico de conocimiento (ARXIV, 2019) [Documento]
Aprendizaje de varias tareas para completar el gráfico de conocimiento con modelos de idiomas previamente capacitados (Coling, 2020) [documento]
¿Los modelos previamente capacitados benefician la finalización del gráfico de conocimiento? Una evaluación confiable y un enfoque razonable (ACL, 2022) [documento]
Lengua conjunta Semántica e incrustación de estructura para la finalización del gráfico de conocimiento (Coling, 2022) [Documento]
MEM-KGC: Modelo de entidad enmascarado para finalización del gráfico de conocimiento con modelo de lenguaje previamente capacitado (IEEE Access, 2021) [Paper]
Extensión del gráfico de conocimiento con un modelo de lenguaje previamente capacitado a través del método de aprendizaje unificado (Knowl. Syst., 2023) [documento]
Aprendizaje de representación de texto de estructura auge para completar el gráfico de conocimiento eficiente (www, 2021) [documento]
SIMKGC: Finalización del gráfico de conocimiento contrastante simple con modelos de lenguaje previamente capacitados (ACL, 2022) [documento]
LP-Bert: Gráfico de conocimiento de prioridad de tareas múltiples Bert para la predicción de enlaces (ARXIV, 2022) [Documento]
De la discriminación a la generación: finalización del gráfico de conocimiento con transformador generativo (www, 2022) [documento]
Secuestro a secuencia de la finalización del gráfico y respuesta de preguntas (ACL, 2022) [documento]
El conocimiento es plano: un marco generativo SEQ2SEQ para la finalización del gráfico de conocimientos (Coling, 2022) [documento]
Un marco para adaptar modelos de lenguaje previamente capacitados a la finalización del gráfico de conocimiento (EMNLP, 2022) [Documento]
Salsa PLMS de inmersión: estructura de puente y texto para completar el gráfico de conocimiento efectivo a través de la solicitud de suave condicional (ACL, 2023) [papel]

Generación de KG-to-Text augmentada con LLM

Genwiki: un conjunto de datos de 1.3 millones de texto y gráficos para compartir contenido para la generación de gráficos a texto no supervisados (Coling, 2020) [documento]
KGPT: Pre-Training de conocimiento para la generación de datos a texto (EMNLP 2020) [documento]
JUNTGT: Graph-Text Representation Learning para generación de texto a partir de gráficos de conocimiento (Hallazgos de ACL, 2021) [Paper]
Investigación de modelos de lenguaje previos a la generación de gráficos a texto (NLP4Convai, 2021) [documento]
Generación de gráficos a texto de conocimiento de pocos disparos con modelos de lenguaje previos a la aparición (ACL, 2021) [documento]
EventNarrative: un conjunto de datos centrado en el evento a gran escala para la generación de gráficos a texto de conocimiento (Neurips, 2021) [documento]
GAP: un marco de modelo de lenguaje consciente de gráfico para la generación de gráficos a texto de conocimiento (Coling, 2022) [documento]

Respuesta de preguntas de KG de KG de LLM

UNIKGQA: Recuperación unificada y razonamiento para resolver la respuesta de preguntas de múltiples saltos sobre el gráfico de conocimiento (ICLR, 2023) [Documento]
StructGPT: un marco general para el modelo de lenguaje grande para razonar sobre datos estructurados (ARXIV, 2023) [documento]
Un estudio empírico de GPT-3 para VQA basado en el conocimiento de pocos disparos (AAAI, 2022) [documento]
Un estudio empírico de modelos de idiomas previamente capacitados en el conocimiento de conocimiento simple Respuesta de preguntas (World Wide Web Journal, 2023) [Documento]
Modelos de lenguaje de empoderamiento con razonamiento del gráfico de conocimiento para la respuesta de preguntas abiertas (EMNLP, 2022) [Documento]
DRLK: razonamiento jerárquico dinámico con modelo de lenguaje y gráfico de conocimiento para la respuesta de preguntas (EMNLP, 2022) [Paper]
Modelo mejorado de recuperación de subgraph para la respuesta de la base de conocimiento de múltiples saltos (ACL, 2022) [documento]
GREASELM: Razonamiento de gráfico Modelos de lenguaje mejorado para la respuesta de preguntas (ICLR, 2022) [Paper]
LAKO: Respuesta de preguntas visuales impulsadas por el conocimiento a través de la inyección de conocimiento a texto tardío (IJCKG, 2022) [Documento]
QA-GNN: Razonamiento con modelos de idiomas y gráficos de conocimiento para la respuesta a las preguntas (NAACL, 2021) [Documento]

LLMS sinergizados + kgs

Representación del conocimiento

Prerrevenimiento de tele-conocimiento para el análisis de fallas (ICDE, 2023) [documento]
Modelo de lenguaje previo a la capacitación que incorpora conocimiento heterogéneo específico de dominio en una representación unificada (Sistemas expertos con aplicaciones, 2023) [documento]
Profección de gráfico de conocimiento bidireccional profundo (NIPS, 2022) [Documento]
Kepler: un modelo unificado para la incrustación del conocimiento y la representación del lenguaje previamente capacitado (TACL, 2021) [documento]
JUNTGT: Graph-Text Representation Learning para generación de texto a partir de gráficos de conocimiento (ACL 2021) [documento]

Razonamiento

Un servicio de aumento de gráfico de conocimiento unificado para aumentar las tareas de PNL específicas del dominio (ARXIV, 2023) [Documento]
Razonamiento de la estructura unificadora y pretruento del modelo de lenguaje para razonamiento complejo (ARXIV, 2023) [Documento]
Razonamiento lógico complejo sobre gráficos de conocimiento utilizando modelos de lenguaje grandes (ARXIV, 2023) [Documento]