AlignLLMHumanSurvey

Impresionante-align-llm-human

Una colección de documentos y recursos sobre la alineación de modelos de idiomas grandes (LLM) con humanos.

Los modelos de idiomas grandes (LLM) capacitados en corpus textuales extensos han surgido como soluciones líderes para una amplia gama de tareas de procesamiento del lenguaje natural (PNL). A pesar de su rendimiento notable, estos modelos son propensos a ciertas limitaciones, como malentendiendo las instrucciones humanas, generando contenido potencialmente sesgado o información objetualmente incorrecta (alucinada). Por lo tanto, la alineación de LLM con las expectativas humanas se ha convertido en un área activa de interés dentro de la comunidad de investigación. Esta encuesta presenta una descripción completa de estas tecnologías de alineación, incluidos los siguientes aspectos. (1) Recopilación de datos (2) Metodologías de capacitación (3) Evaluación del modelo. En conclusión, recopilamos y destilamos nuestros hallazgos, arrojando luz sobre varias vías de investigación futuras prometedoras en el campo. Esta encuesta, por lo tanto, sirve como un recurso valioso para cualquier persona invertida en comprender y avanzar en la alineación de los LLM para adaptarse mejor a las tareas y expectativas orientadas a los humanos.

Esperamos que este repositorio pueda ayudar a los investigadores y profesionales a comprender mejor este campo emergente. Si este repositorio es útil para usted, ayúdanos citando este documento:

@article{aligning_llm_human,
    title={Aligning Large Language Models with Human: A Survey},
    author={Yufei Wang and Wanjun Zhong and Liangyou Li and Fei Mi and Xingshan Zeng and Wenyong Huang and Lifeng Shang and Xin Jiang and Qun Liu},
    journal={arXiv preprint arXiv:2307.12966},
    year={2023}
}

Noticias

? Este proyecto está en desarrollo. Puedes golpear la estrella y ver para seguir las actualizaciones.

• 2023/07/31: Nuestro documento de encuesta se pone en [Podcast @ Papersread.ai]
• 2023/07/25: Nuestro documento de encuesta inicial alineando modelos de lenguaje grande con humanos: hay una encuesta disponible.

Tabla de contenido

• Noticias
• Impresionante alineación-llm-human
  • Encuestas relacionadas
  • Datos de alineación
    • Datos del humano
    • Datos de LLMS fuertes
    • Gestión de instrucciones
  • Capacitación de alineación
    • Alineación humana en línea
    • Alineación humana fuera de línea
    • Capacitación de los parámetros eficientes
  • Evaluación de alineación
    • Principios de diseño de evaluación
    • Puntos de referencia de evaluación
    • Paradigmas de evaluación
  • Kits de herramientas de alineación

Encuestas relacionadas

• Una encuesta de modelos de idiomas grandes [documento]
• Una encuesta sobre modelos de idiomas grandes multimodales [papel]
• Una encuesta sobre evaluación de modelos de idiomas grandes [documento]
• Desafíos y aplicaciones de modelos de idiomas grandes [papel]
• Aprovechando el poder de las LLM en la práctica: una encuesta sobre chatgpt y más allá [papel]
• Especialización de dominio como la clave para hacer que los modelos de idiomas grandes sean disruptivos: una encuesta integral [documento]
• Una encuesta de seguridad y confiabilidad de modelos de idiomas grandes a través de la lente de verificación y validación [documento]
• Unificar modelos de idiomas grandes y gráficos de conocimiento: una hoja de ruta [papel]
• Aprendizaje de herramientas con modelos de base [papel]
• Ocho cosas que debe saber sobre modelos de idiomas grandes [papel]
• Problemas abiertos y limitaciones fundamentales del aprendizaje de refuerzo de la retroalimentación humana [documento]
• Una revisión en el escenario del ajuste de instrucciones [Blog]

Datos de alineación

Datos del humano

Puntos de referencia de PNL

• PromotSource: un entorno de desarrollo integrado y un repositorio de indicaciones de lenguaje natural [documento]
• Super NaturalInstrucciones: Generalización a través de instrucciones declarativas en más de 1600 tareas de PNL [documento]
• La recopilación de flan: diseño de datos y métodos para un ajuste de instrucciones efectivo [papel]
• El conjunto de datos OIG [Blog]
• Chatplug: sistema de diálogo generativo de dominio abierto con ajuste de instrucciones augsados ​​por Internet para humanos digitales [documento]
• La alineación del texto es un modelo unificado eficiente para tareas masivas de PNL [papel]
• OPT-IML: Meta de aprendizaje de instrucción del modelo de lenguaje de escala a través de la lente de generalización [documento]
• Instructo-FingPT: Análisis de sentimientos financieros mediante ajuste de instrucciones de modelos de idiomas grandes de uso general [papel]

Conocimiento del dominio

• Aprender un modelo de lenguaje de base para la comprensión y utilización del conocimiento de la geociencia [documento]
• Informe técnico de Lawyer Llama [documento]
• Huatuo: Modelo Tuning Llama con conocimiento médico chino [documento]
• PMC-LLAMA: Finetuning Llama en documentos médicos [papel]
• Autorización fino de los parámetros de la llama para el dominio clínico [documento]

Instrucciones hechas a mano

• Free Dolly: Presentación de la primera LLM de instrucciones verdaderamente abierta del mundo [blog]
• Conversaciones de OpenSistant: democratizando la alineación del modelo de idioma grande [documento]
• Generalista de instrucción abierta china: un lanzamiento preliminar [documento]
• ShareGPT [Blog]
• Verifiquemos paso a paso [papel]
• Beaverails: Hacia una mejor alineación de seguridad de LLM a través de un conjunto de datos de preferencia humana [documento]
• La importancia de los datos marcados con humanos en la era de LLMS [documento]

Datos de preferencias humanas

• Modelos de lenguaje de capacitación para seguir instrucciones con retroalimentación humana [documento]
• Mejora de la alineación de los agentes del diálogo a través de juicios humanos dirigidos [documento]
• Modelos lingüísticos de ajuste de preferencia humana [documento]
• Enseñanza de modelos de idiomas para admitir respuestas con citas verificadas [documento]
• WebGPT: Respuesta de pregunta asistida por el navegador con comentarios humanos [documento]

Datos de LLMS fuertes

Instrucciones generales

Mejora de la calidad de entrada

• Autoestructo: alineando modelos de lenguaje con instrucciones autogeneradas [papel]
• Lamini-LM: una manada diversa de modelos destilados de instrucciones a gran escala [papel]
• Baize: un modelo de chat de código abierto con ajuste de los parámetros en los datos de auto-chat [papel]
• Modelo de lenguaje grande como generador de datos de capacitación atribuido: una historia de diversidad y sesgo [papel]
• Wizardlm: empoderar a los modelos de idiomas grandes para seguir instrucciones complejas [papel]
• Instrucciones antinaturales: ajuste de modelos de lenguaje con (casi) sin trabajo humano [papel]
• Dynosaur: un paradigma de crecimiento dinámico para la curación de datos de ajuste de instrucciones [documento]
• Explorando la consistencia del formato para el ajuste de instrucciones [papel]

Mejora de la calidad de la salida

• La incrustación de la cadena de pensamiento provoca un razonamiento en modelos de idiomas grandes [papel]
• Orca: aprendizaje progresivo de los rastros de explicación compleja de GPT-4 [documento]
• León: destilación adversaria del modelo de lenguaje grande de código cerrado [papel]
• Autoalineación de los modelos lingüísticos impulsados ​​por los principios desde cero con supervisión humana mínima [documento]
• Expertprompting: instruyendo a los grandes modelos de idiomas a ser expertos distinguidos [papel]
• PHOENIX: Democratizando el chatgpt en todos los idiomas [papel]
• Mejora de la generalización de la tarea cruzada con instrucciones paso a paso [papel]
• La colección COT: Mejora de los modelos de lingües de disparo cero y pocos disparos a través de la cadena de pensamiento [papel]

Instrucciones de razonamiento

Razonamiento general

• Especialización de modelos de idiomas más pequeños para razonamiento de varios pasos [papel]
• ¡Destilar paso a paso! Superar modelos de lenguaje más grandes con menos datos de capacitación y tamaños de modelo más pequeños [papel]
• Destilación de razonamiento de conocimiento para los modelos de lenguaje pequeños en tareas intensivas en conocimiento [documento]
• Pad: la destilación asistida por el programa especializa modelos grandes en razonamiento [papel]

Código

• Los libros de texto son todo lo que necesitas [papel]
• WizardCoder: Código de empoderamiento de modelos de lenguaje grande con Evol-Instructo [Paper]
• Código Alpaca: un modelo de LLAMA con instrucciones para la generación de códigos [GitHub]
• CODET5+: Open Code Modelos de lenguaje grande para la comprensión y generación del código [documento]
• Pangu-coder2: aumentando los modelos de idiomas grandes para el código con retroalimentación de clasificación [documento]

Matemáticas

• Menta: impulsar la generalización en el razonamiento matemático a través de múltiples vistas, ajuste [papel]
• Cabra: Llama ajustado supera a GPT-4 en tareas aritméticas [papel]
• Relación de escala en el aprendizaje de razonamiento matemático con modelos de idiomas grandes [papel]

Instrucciones de conversación

• Vicuna: un chatbot de código abierto que impresiona a GPT-4 con 90%* CALIDAD DE CHATGPT [Blog]
• Baize: un modelo de chat de código abierto con ajuste de los parámetros en los datos de auto-chat [papel]
• Mejora de los modelos de lenguaje de chat escalando conversaciones de instrucción de alta calidad [papel]
• Camel: agentes comunicativos para la exploración de "mente" de la sociedad de modelos de lenguaje a gran escala [documento]
• Selfee: iterativo Autorevisaje LLM Empoderado por la generación de autocuración [Blog]
• Una canalización efectiva de creación de datos para generar datos de instrucción financiera de alta calidad para un modelo de lenguaje grande [documento]

Instrucciones multilingües

• PHOENIX: Democratizando el chatgpt en todos los idiomas [papel]
• Bayling: puente de alineación e instrucción interactual siguiendo a través de la traducción interactiva para modelos de idiomas grandes [papel]
• BACTRIAN-X: un modelo multilingüe de instrucciones replicables con adaptación de bajo rango [papel]
• Instruct-Align: Enseñanza de idiomas novedosos con LLM a través de la instrucción interlingüística basada en la alineación [documento]

Gestión de instrucciones

Implicaciones de la instrucción

• ¿Qué tan lejos pueden llegar los camellos? Explorando el estado de la sintonización de instrucciones en recursos abiertos [papel]
• Flacuna: desatando el poder de resolución de problemas de Vicuna usando Flan ajustado [papel]
• Escala de modelos de lenguaje con datos limitados [papel]
• Hacia una mejor instrucción siguiendo modelos de idiomas para chino: investigar el impacto de los datos de capacitación y la evaluación [documento]
• La falsa promesa de imitar LLMS propietarios [documento]
• Limitaciones fundamentales de la alineación en modelos de idiomas grandes [papel]

Cantidad de instrucción

• Convertirse en autoestructura: introducción de criterios de detención temprana para una instrucción mínima de ajuste [papel]
• Lima: menos es más para la alineación [papel]
• Minería de instrucciones: selección de datos de instrucciones de alta calidad para modelos de idiomas grandes [papel]
• Alpagasus: capacitación de una mejor alpaca con menos datos [documento]
• Tal vez solo se necesitan 0.5% de datos: una exploración preliminar de bajo ajuste de instrucción de datos de entrenamiento [documento]

Capacitación de alineación

Alineación humana en línea

• Modelos de lenguaje de capacitación para seguir instrucciones con retroalimentación humana [documento]
• Raft: recompensa clasificada Finetuning para la alineación del modelo de base generativa [documento]
• AI constitucional: inofensiva de la retroalimentación de IA [[documento]] (IA constitucional: inofensiva de la retroalimentación de la IA)
• RLCD: Aprendizaje de refuerzo de la destilación de contraste para la alineación del modelo de idioma [documento]

Alineación humana fuera de línea

Capacitación basada en rango

• Optimización de preferencias directas: su modelo de idioma es secretamente un modelo de recompensa [documento]
• Optimización de clasificación de preferencias para la alineación humana [documento]
• RRHF: respuestas de rango para alinear los modelos de lenguaje con la retroalimentación humana sin lágrimas [papel]
• Pangu-coder2: aumentando los modelos de idiomas grandes para el código con retroalimentación de clasificación [documento]
• La probabilidad de la secuencia de calibración mejora la generación de idiomas condicionales [documento]
• Hacer grandes modelos de idiomas mejores razonadores con alineación [papel]

Capacitación basada en el lenguaje

• OpenChat: menos es más para los modelos de código abierto [GitHub]
• Los idiomas son recompensas: retrospectiva Finetuning usando retroalimentación humana [documento]
• Segundos pensamientos son las mejores: aprender a realinearse con los valores humanos de las ediciones de texto [papel]
• Capacitación de modelos lingüísticos alineados socialmente en la sociedad humana simulada [documento]
• Selfee: iterativo Autorevisaje LLM Empoderado por la generación de autocuración [Blog]
• La retroalimentación humana de grano fino ofrece mejores recompensas para la capacitación del modelo de idioma [documento]

Capacitación de los parámetros eficientes

• Lora: adaptación de bajo rango de modelos de idiomas grandes [papel]
• Qlora: Fineting eficiente de LLM cuantificados [papel]
• Ajuste de prefijo: optimización de indicaciones continuas para la generación [documento]
• El poder de la escala para la ajuste de inmediato de los parámetros [papel]
• Asignación de presupuesto adaptativo para el ajuste fino de los parámetros [papel]
• Espacios de diseño de ajuste fino de los parámetros [papel]
• Sugerencia: ajuste de instrucciones de hipernetwork para generalización eficiente de cero y pocas disparos [papel]

Diseño de arquitectura de modelo

• La mezcla de expertos cumple con el ajuste de instrucciones: una combinación ganadora para modelos de idiomas grandes [papel]
• Lamini-LM: una manada diversa de modelos destilados de instrucciones a gran escala [papel]

Evaluación de alineación

Principios de diseño de evaluación

• Chispas de inteligencia general artificial: experimentos tempranos con GPT-4 [papel]
• Medición eficiente de la capacidad cognitiva de LLM: una perspectiva de prueba adaptativa [papel]
• Evaluación holística de modelos de idiomas [papel]

Puntos de referencia de evaluación

Puntos de referencia de conjunto cerrado

Conocimiento general

• Medición de la comprensión de lenguaje multitarea masiva [documento]
• CMMLU: Medición de la comprensión masiva de lenguaje multitarea en chino [documento]
• C-EVAL: un conjunto de evaluación chino multidisciplina multidisciplina múltiple para modelos de base [papel]
• Kola: Benchmarking Benchmarking World Knowledge of Boor Language Models [Paper]
• M3KE: un enorme punto de referencia de evaluación de conocimiento de múltiples sujetos múltiples para modelos chinos de idiomas grandes [documento]
• Agieval: un punto de referencia centrado en el ser humano para evaluar los modelos de base [documento]
• Medición de la comprensión china multitarea masiva [documento]
• XIEZHI: Un punto de referencia siempre actualizado para la evaluación del conocimiento del dominio holístico [documento]
• Tableta: Aprendiendo de las instrucciones de datos tabulares [papel]
• ¿Pueden los modelos de idiomas comprender los conceptos físicos? [Papel]

Razonamiento

• VERIFICADORES DE CONSEJO para resolver problemas de palabras matemáticas [papel]
• Medición de la comprensión de lenguaje multitarea masiva [documento]
• Commonsenseqa: un desafío de respuesta a la pregunta dirigida al conocimiento de sentido común [documento]
• ¿Aristóteles usó una computadora portátil? Una pregunta que responde a Benchmark con estrategias de razonamiento implícitas [documento]
• La incrustación de la cadena de pensamiento provoca un razonamiento en modelos de idiomas grandes [papel]
• Desafiando las tareas de Big Bench y si la cadena de pensamiento puede resolverlas [papel]
• Síntesis de programa con modelos de idiomas grandes [documento]
• DS-1000: un punto de referencia natural y confiable para la generación de código de ciencia de datos [documento]
• Evaluación de modelos de idiomas grandes capacitados en el código [papel]
• ¿Es realmente correcto su código generado por ChatGPT? Evaluación rigurosa de modelos de idiomas grandes para la generación de código [documento]
• Repobench: Benchmarking Código de nivel de repositorio Sistemas de combustión automática [papel]
• Classeval: un punto de referencia elaborado manualmente para evaluar LLM en la generación de código a nivel de clase [documento]
• StudentEval: un punto de referencia de las indicaciones escritas por estudiantes para grandes modelos de código de código [papel]

Puntos de referencia abiertos

Chat general

• Vicuna: un chatbot de código abierto que impresiona a GPT-4 con 90%* CALIDAD DE CHATGPT [Blog]
• Autoestructo: alineando modelos de lenguaje con instrucciones autogeneradas [papel]
• Conversaciones de OpenSistant: democratizando la alineación del modelo de idioma grande [documento]
• Frasco: evaluación del modelo de lenguaje de grano fino basada en conjuntos de habilidades de alineación [papel]
• Juzgar LLM-as-a-Judge con Mt Bench y Chatbot Arena [Paper]
• Alpacafarm: un marco de simulación para métodos que aprenden de la retroalimentación humana [documento]

Seguridad

• Evaluación de seguridad de los modelos chinos de idiomas grandes [documento]
• Valoras: Medición de los valores de los modelos de lenguaje grande chino desde la seguridad hasta la responsabilidad [documento]
• Jailbreak latente: un punto de referencia para evaluar la seguridad del texto y la robustez de salida de los modelos de idiomas grandes [papel]
• TrustGPT: un punto de referencia para modelos de idiomas grandes confiables y responsables [documento]

Contexto largo

• L-EVAL: Instituyendo una evaluación estandarizada para modelos de lenguaje de contexto largo [documento]

Paradigmas de evaluación

Evaluación basada en humanos

• Autoestructo: alineando modelos de lenguaje con instrucciones autogeneradas [papel]
• Lamini-LM: una manada diversa de modelos destilados de instrucciones a gran escala [papel]
• Modelos de lenguaje de capacitación para seguir instrucciones con retroalimentación humana [documento]
• Juzgar LLM-as-a-Judge con Mt Bench y Chatbot Arena [Paper]

Evaluación basada en LLMS

LLMS para la evaluación

• G-EVAL: Evaluación de NLG utilizando GPT-4 con mejor alineación humana [documento]
• GPTSCORE: Evalúe como desee [papel]
• Explorando el uso de modelos de idiomas grandes para la evaluación de calidad de texto sin referencia: un estudio empírico preliminar [documento]
• ¿Pueden los modelos de lenguaje grande ser una alternativa a las evaluaciones humanas? [Papel]
• FactScore: evaluación atómica de grano fino de la precisión fáctica en la generación de texto de forma larga [documento]
• AlignScore: Evaluación de la consistencia fáctica con una función de alineación unificada [documento]
• El análisis de análisis de errores permite la evaluación de traducción de tipo humano en modelos de idiomas grandes: un estudio de caso en ChatGPT [documento]
• Evaluación de resumen de forma humana con chatgpt [papel]
• Los modelos de idiomas grandes son evaluadores de vanguardia de la generación de códigos [documento]
• Benchmarking Foundation Models con lenguaje-modelo como examinador [papel]
• LLM-EVAL: Evaluación automática multidimensional unificada para conversaciones de dominio abierto con grandes modelos de idioma [papel]
• LLMS como razonadores de hechos: información de los puntos de referencia existentes y más allá [papel]

Sesgo de LLMS en la evaluación

• Los modelos de idiomas grandes no son evaluadores justos [documento]
• Estilo sobre sustancia: sesgos de evaluación para modelos de idiomas grandes [papel]
• Juzgar LLM-as-a-Judge con Mt Bench y Chatbot Arena [Paper]

LLMS específicos de evaluación

• Pandalm: un punto de referencia de evaluación automática para la optimización de ajuste de instrucciones de LLM [papel]
• Las redes LLM más amplias y más profundas son evaluadores de LLM más justos [documento]
• Pastor: un crítico para la generación de modelos de idiomas [documento]

Kits de herramientas de alineación

• Llama V1 y V2 [GitHub] [Paper V1] [Paper V2]
• Llama-X: Investigación académica abierta sobre la mejora de Llama a Sota LLM [Github]
• Llama2-Chinese [Github]
• Colossal-AI: hacer grandes modelos de IA más baratos, más rápidos y más accesibles. [Github]
• Entrenamiento y servicio de redes neuronales a gran escala con paralelización automática. [Github]
• Fastchat [Github]
• LMFLOW [GITHUB]
• Llama2-Accessory: un kit de herramientas de código abierto para el desarrollo de LLM [GitHub]