AlignLLMHumanSurvey

Génial-aligne-llm-humain

Une collection d'articles et de ressources sur l'alignement de grands modèles de langue (LLM) avec humain.

Les modèles de grandes langues (LLM) formés sur de vastes corpus textuels sont devenus des solutions principales pour un large éventail de tâches de traitement du langage naturel (PNL). Malgré leurs performances notables, ces modèles sont sujets à certaines limitations telles que les incompréhensions des instructions humaines, la génération de contenu potentiellement biaisé ou des informations factuellement incorrectes (hallucinées). Par conséquent, l'alignement des LLM avec les attentes humaines est devenu un domaine d'intérêt actif au sein de la communauté de recherche. Cette enquête présente un aperçu complet de ces technologies d'alignement, y compris les aspects suivants. (1) Collecte de données (2) Méthodologies de formation (3) Évaluation du modèle. En conclusion, nous rassemblons et distillons nos résultats, mettant en lumière plusieurs avenues de recherche futures prometteuses dans le domaine. Cette enquête est donc une ressource précieuse pour toute personne investie dans la compréhension et la progression de l'alignement des LLM pour mieux adapter les tâches et les attentes axées sur l'homme.

Nous espérons que ce référentiel peut aider les chercheurs et les praticiens à mieux comprendre ce domaine émergent. Si ce référentiel vous est utile, veuillez nous aider en citant cet article:

@article{aligning_llm_human,
    title={Aligning Large Language Models with Human: A Survey},
    author={Yufei Wang and Wanjun Zhong and Liangyou Li and Fei Mi and Xingshan Zeng and Wenyong Huang and Lifeng Shang and Xin Jiang and Qun Liu},
    journal={arXiv preprint arXiv:2307.12966},
    year={2023}
}

Nouvelles

? Ce projet est en cours de développement. Vous pouvez frapper l' étoile et regarder pour suivre les mises à jour.

• 2023/07/31: Notre document d'enquête est mis dans [podcast @ papersread.ai]
• 2023/07/25: Notre document d'enquête initial alignant des modèles de gros langues avec l'homme: une enquête devient disponible.

Table des matières

• Nouvelles
• Génial-alignement-llm-humain
  • Enquêtes connexes
  • Données d'alignement
    • Données de l'homme
    • Données de LLMS solides
    • Gestion des instructions
  • Formation d'alignement
    • Alignement humain en ligne
    • Alignement humain hors ligne
    • Formation économe en paramètres
  • Évaluation d'alignement
    • Principes de conception d'évaluation
    • Repères d'évaluation
    • Paradigmes d'évaluation
  • Boupées d'outils d'alignement

Enquêtes connexes

• Une étude des modèles de grandes langues [document]
• Une enquête sur les modèles multimodaux de grande langue [document]
• Une enquête sur l'évaluation des grands modèles de langue [document]
• Défis et applications des modèles de grande langue [document]
• Exploiter la puissance des LLM dans la pratique: une enquête sur le chatgpt et au-delà de [papier]
• La spécialisation du domaine comme clé pour rendre les modèles de langue importants perturbateurs: une enquête complète [document]
• Une étude de la sécurité et de la fiabilité des modèles de grands langues à travers l'objectif de la vérification et de la validation [document]
• Modèles de grande langue unificateurs et graphiques de connaissances: une feuille de route [papier]
• Apprentissage d'outils avec des modèles de fondation [papier]
• Huit choses à savoir sur les grands modèles de langue [papier]
• Problèmes ouverts et limites fondamentales de l'apprentissage du renforcement de la rétroaction humaine [document]
• Une revue sur scène du réglage des instructions [blog]

Données d'alignement

Données de l'homme

Benchmarks PNL

• InviteSource: un environnement de développement intégré et un référentiel pour le langage naturel invite [papier]
• INSTRUCTIONS SUPER-Naturaline: Généralisation via des instructions déclaratives sur plus de 1600 tâches NLP [papier]
• The Flan Collection: Concevoir des données et des méthodes pour un réglage des instructions efficace [papier]
• L'ensemble de données OIG [blog]
• ChatPlug: Système de dialogue génératif à domaine ouvert avec réglage d'instructions sur Internet pour le numérique humain [papier]
• L'alignement du texte est un modèle unifié efficace pour les tâches de PNL massives [papier]
• OPT-IML: Échelle du modèle de langue Instruction Meta Apprentissage à travers la lentille de la généralisation [document]
• Instruct-Fingpt: Analyse des sentiments financiers par réglage des instructions des modèles de langue générale à usage général [Papier]

Connaissance du domaine

• Apprendre un modèle de langue de base pour la compréhension et l'utilisation des connaissances géoscientes [document]
• Rapport technique de l'avocat LLAMA [document]
• Huatuo: Tuning Llama modèle avec des connaissances médicales chinoises [document]
• PMC-LALAMA: Plus de Finetuning Llama sur les papiers médicaux [papier]
• Fonction d'adaptation économe en paramètres du lama pour le domaine clinique [document]

Instructions fabriquées à la main

• Free Dolly: Présentation du premier LLM du monde à l'enseignement vraiment ouvert [Blog]
• Conversations ouvertes - démocratiser l'alignement du modèle de grande langue [document]
• Généraliste de l'instruction ouverte chinoise: une libération préliminaire [document]
• Sharegpt [blog]
• Vérinons étape par étape [papier]
• BEAVERTAILS: Vers l'amélioration de l'alignement de sécurité de LLM via un ensemble de données de réflexion humaine [papier]
• L'importance des données marquées par l'homme à l'ère des LLM [papier]

Données de préférence humaine

• Modèles de langue de formation pour suivre les instructions avec les commentaires humains [papier]
• Amélioration de l'alignement des agents de dialogue via des jugements humains ciblés [document]
• Modèles de langage affinés de la préférence humaine [papier]
• Enseigner des modèles de langue pour soutenir les réponses avec des citations vérifiées [papier]
• WebGPT: Assaiant de questions assisté par le navigateur avec commentaires humains [papier]

Données de LLMS solides

Instructions générales

Améliorer la qualité des entrées

• Auto-instruction: Alignez les modèles de langage avec des instructions auto-générées [papier]
• Lamini-LM: un troupeau diversifié de modèles distillés à partir d'instructions à grande échelle [papier]
• Baize: un modèle de chat open source avec un réglage économe en paramètres sur les données d'auto-chat [papier]
• Modèle grand langage en tant que générateur de données de formation attribué: une histoire de diversité et de biais [document]
• Wizardlm: autonomisation de grands modèles de langue pour suivre les instructions complexes [papier]
• Instructions contre nature: réglage des modèles de langue avec (presque) pas de travail humain [papier]
• Dynosaur: un paradigme de croissance dynamique pour la conservation des données de réglage de l'instruction [papier]
• Exploration de la cohérence du format pour le réglage des instructions [papier]

Amélioration de la qualité de sortie

• L'incitation de la chaîne de pensées suscite un raisonnement dans des modèles de grande langue [papier]
• ORCA: Apprentissage progressif à partir de traces d'explication complexes de GPT-4 [papier]
• Lion: distillation adversaire du modèle de grande langue à source fermée [papier]
• Auto-alignement axé sur les principes des modèles de langage à partir de zéro avec une supervision humaine minimale [papier]
• Experte-PROMPTION: Instruire des modèles de grande langue comme des experts distingués [document]
• Phoenix: démocratiser le chatpt à travers les langues [papier]
• Amélioration de la généralisation des tâches croisées avec des instructions étape par étape [papier]
• La collection de COT: Amélioration de l'apprentissage zéro et à quelques coups de modèles de langue via un réglage fin de la chaîne de pensées [papier]

Instructions de raisonnement

Raisonnement général

• Spécialiser des modèles de langue plus petits vers le raisonnement en plusieurs étapes [papier]
• Distillant étape par étape! Surperformant des modèles de langage plus grands avec moins de données d'entraînement et des tailles de modèles plus petites [papier]
• Distillation du raisonnement auprès de la connaissance pour les modèles de petits langues dans les tâches à forte intensité de connaissances [papier]
• PAD: La distillation assistée par le programme spécialise les grands modèles dans le raisonnement [papier]

Code

• Les manuels sont tout ce dont vous avez besoin [papier]
• WizardCoder: Autonomiser le code de grande langue des grands linguistes avec un Instructe EVOL [papier]
• CODE ALPACA: un modèle LLAMA suivant les instructions pour la génération de code [GitHub]
• CODET5 +: Open Code Modèles de grande langue pour la compréhension et la génération du code [Papier]
• Pangu-coder2: boosting de grands modèles de langage pour le code avec commentaires de classement [papier]

Maths

• MINT: Boosting Généralisation dans le raisonnement mathématique via le réglage fin de la vue multi-visualités [document]
• Chèvre: le lama fini fin surpasse GPT-4 sur les tâches arithmétiques [papier]
• Échelle de la relation sur l'apprentissage du raisonnement mathématique avec des modèles de gros langues [papier]

Instructions de conversation

• Vicuna: un chatbot open source impressiant GPT-4 avec 90% * Chatgpt Quality [Blog]
• Baize: un modèle de chat open source avec un réglage économe en paramètres sur les données d'auto-chat [papier]
• Améliorer les modèles de langage de chat en élargissant les conversations pédagogiques de haute qualité [papier]
• Camel: Agents communicatifs pour l'exploration de «l'esprit» de la société du modèle de langue à grande échelle [document]
• Selfee: Iterative AutoVising LLM autonomisé par la génération d'auto-alimentation [blog]
• Un pipeline de création de données efficace pour générer des données d'instruction financière de haute qualité pour un modèle de grande langue [document]

Instructions multilingues

• Phoenix: démocratiser le chatpt à travers les langues [papier]
• Bayling: Bridging Cross-Lingual Alignement and Instruction Suivre par la traduction interactive pour les modèles de grands langues [Papier]
• Bactrian-X: un modèle de suivi des instructions multi-gilingues avec une adaptation de faible rang [papier]
• Instruct-Align: Enseigner de nouvelles langues avec les LLM par l'instruction inter-lingue basée sur l'alignement [Papier]

Gestion des instructions

Implications de l'instruction

• Jusqu'où les chameaux peuvent-ils aller? Exploration de l'état de réglage des instructions sur les ressources ouvertes [papier]
• Flacuna: libérer le pouvoir de résolution de problèmes de vicuna à l'aide de flan-réglage fin [papier]
• Mise à l'échelle des modèles de langage limité aux données [Papier]
• Vers une meilleure instruction suivant les modèles de langue pour le chinois: enquêter sur l'impact des données de formation et de l'évaluation [document]
• La fausse promesse d'imiter les LLMS propriétaires [papier]
• Limites fondamentales de l'alignement dans les modèles de grande langue [Papier]

Quantité d'instructions

• Devenir auto-instruit: introduire des critères d'arrêt anticipés pour un réglage minimal des instructions [papier]
• Lima: moins c'est plus pour l'alignement [papier]
• Exploitation d'instructions: sélection de données d'instructions de haute qualité pour les modèles de gros langues [papier]
• Alpagasus: former un meilleur alpaga avec moins de données [papier]
• Peut-être que seulement 0,5% de données sont nécessaires: une exploration préliminaire du réglage de l'enseignement des données de formation faible [papier]

Formation d'alignement

Alignement humain en ligne

• Modèles de langue de formation pour suivre les instructions avec les commentaires humains [papier]
• RAFE: RÉCOMPENDRE FINETUNAGE CASSÉ POUR L'ALIGNAGE DE MODÈLE DE FOURES GÉNÉRATIVES [PAPIER]
• IA constitutionnelle: insigne de la rétroaction de l'IAI [[document]] (IA constitutionnel: injoint de la rétroaction de l'IA)
• RLCD: apprentissage du renforcement de la distillation de contraste pour l'alignement du modèle linguistique [document]

Alignement humain hors ligne

Formation basée sur le rang

• Optimisation directe des préférences: votre modèle de langue est secrètement un modèle de récompense [papier]
• Optimisation de classement des préférences pour l'alignement humain [document]
• RRHF: classez les réponses à aligner les modèles de langue avec la rétroaction humaine sans larmes [papier]
• Pangu-coder2: boosting de grands modèles de langage pour le code avec commentaires de classement [papier]
• La probabilité de séquence d'étalonnage améliore la génération de langage conditionnel [papier]
• Faire de grands modèles de langage de meilleurs raisonneurs avec l'alignement [papier]

Formation basée sur la langue

• OpenChat: moins c'est plus pour les modèles open source [github]
• Les langues sont des récompenses: le recul de la finetun utilisant la rétroaction humaine [papier]
• Les deuxièmes pensées sont les meilleures: apprendre à réaligner avec les valeurs humaines des modifications de texte [papier]
• Formation de modèles de langage alignés socialement dans la société humaine simulée [document]
• Selfee: Iterative AutoVising LLM autonomisé par la génération d'auto-alimentation [blog]
• La rétroaction humaine à grain fin donne de meilleures récompenses pour la formation du modèle de langue [document]

Formation économe en paramètres

• LORA: Adaptation de faible rang des modèles de grands langues [papier]
• Qlora: Finetuning efficace des LLMs quantifiés [papier]
• Préfixe-réglage: optimisation des invites continues pour la génération [papier]
• La puissance de l'échelle pour le réglage rapide économe en paramètres [papier]
• Attribution du budget adaptatif pour le réglage fin et économe en paramètres [papier]
• Espaces de conception de réglage des paramètres économes par les paramètres [papier]
• Astuce: réglage des instructions hypernet pour une généralisation efficace de généralisation zéro et à quelques coups [papier]

Conception d'architecture modèle

• Mélange des experts rencontre le réglage des instructions: une combinaison gagnante pour les modèles de grande langue [papier]
• Lamini-LM: un troupeau diversifié de modèles distillés à partir d'instructions à grande échelle [papier]

Évaluation d'alignement

Principes de conception d'évaluation

• Sparks of Artificiel General Intelligence: Early Experiments with GPT-4 [Paper]
• Mesurer efficacement la capacité cognitive des LLM: une perspective de test adaptative [papier]
• Évaluation holistique des modèles de langue [papier]

Repères d'évaluation

Benchmarks

Connaissances générales

• Mesurer une compréhension massive du langage multitâche [document]
• CMMLU: Mesurer la compréhension massive du langage multitâche en chinois [papier]
• C-Eval: une suite d'évaluation chinoise multi-discipline à plusieurs niveaux pour les modèles de fondation [papier]
• KOLA: Connaissance du monde en analyse réalisée soigneusement des modèles de gros langues [document]
• M3KE: Une référence d'évaluation des connaissances multi-sujets multiples massive pour les modèles chinois de grande langue [papier]
• AGEVAL: une référence centrée sur l'homme pour évaluer les modèles de fondation [document]
• Mesurer une compréhension chinoise multi-tâches massive [papier]
• XIEZHI: Une référence en constante mise à jour pour l'évaluation des connaissances du domaine holistique [document]
• Tablette: apprendre des instructions pour les données tabulaires [papier]
• Les modèles de langue peuvent-ils comprendre les concepts physiques? [Papier]

Raisonnement

• Formation des vérificateurs pour résoudre les problèmes de mots mathématiques [papier]
• Mesurer une compréhension massive du langage multitâche [document]
• CommonSenSEQA: une question répondant au défi ciblant les connaissances de la commandes [document]
• Aristote a-t-il utilisé un ordinateur portable? Une question répondant à une référence avec des stratégies de raisonnement implicites [document]
• L'incitation de la chaîne de pensées suscite un raisonnement dans des modèles de grande langue [papier]
• Déterper les tâches de gros banc et si la chaîne de pensées peut les résoudre [papier]
• Synthèse du programme avec des modèles de grandes langues [papier]
• DS-1000: une référence naturelle et fiable pour la génération de code scientifique des données [document]
• Évaluation de grands modèles de langue formés sur le code [papier]
• Votre code généré par Chatgpt est-il vraiment correct? Évaluation rigoureuse des modèles de grande langue pour la génération de code [document]
• Repobench: Benchmarking Repository Code Code Auto-Completion Systems [Paper]
• CLASSEVAL: Une référence fabriquée manuellement pour évaluer les LLM sur la génération de code au niveau de la classe [Papier]
• StudentEval: une référence de l'invite des modèles de code à grande langue [papier]

Benchmarks

Chat général

• Vicuna: un chatbot open source impressiant GPT-4 avec 90% * Chatgpt Quality [Blog]
• Auto-instruction: Alignez les modèles de langage avec des instructions auto-générées [papier]
• Conversations ouvertes - démocratiser l'alignement du modèle de grande langue [document]
• FLASK: Évaluation du modèle de langue à grain fin basée sur des ensembles de compétences d'alignement [papier]
• Juger LLM-AS-A-A-Judge avec MT-Bench et Chatbot Arena [Paper]
• Alpacafarm: un cadre de simulation pour les méthodes qui apprennent de la rétroaction humaine [document]

Sécurité

• Évaluation de la sécurité des modèles chinois de grande langue [document]
• CVALUES: Mesurer les valeurs des modèles chinois de grande langue de la sécurité à la responsabilité [papier]
• Jailbreak latent: une référence pour évaluer la sécurité des textes et la robustesse des sorties des modèles de gros langues [papier]
• Trustgpt: une référence pour les modèles de grande langue dignes de confiance et responsables [document]

Contexte long

• L-Eval: Instituer une évaluation standardisée pour les modèles de langage de contexte long [document]

Paradigmes d'évaluation

Évaluation humaine

• Auto-instruction: Alignez les modèles de langage avec des instructions auto-générées [papier]
• Lamini-LM: un troupeau diversifié de modèles distillés à partir d'instructions à grande échelle [papier]
• Modèles de langue de formation pour suivre les instructions avec les commentaires humains [papier]
• Juger LLM-AS-A-A-Judge avec MT-Bench et Chatbot Arena [Paper]

Évaluation basée sur les LLM

LLMS pour l'évaluation

• G-EVAL: Évaluation NLG utilisant GPT-4 avec un meilleur alignement humain [papier]
• GPTSCORE: Évaluez comme vous le souhaitez [papier]
• Explorer l'utilisation de modèles de gros langues pour une évaluation de la qualité du texte sans référence: une étude empirique préliminaire [document]
• Les modèles de grands langues peuvent-ils être une alternative aux évaluations humaines? [Papier]
• FactsCore: Évaluation atomique à grain fin de la précision factuelle dans la génération de texte en longue forme [document]
• ALIGNSCORE: Évaluation de la cohérence factuelle avec une fonction d'alignement unifiée [document]
• Analyse des erreurs L'incitation permet une évaluation de la traduction de type humain dans des modèles de grands langues: une étude de cas sur le chatppt [document]
• Évaluation de résumé de type humain avec Chatgpt [papier]
• Les grands modèles de langue sont des évaluateurs de pointe de la génération de code [document]
• Benchmarking Foundation Modèles avec modélisation du langage comme-un-examen [papier]
• LLM-EVAL: Évaluation automatique multidimensionnelle unifiée pour les conversations dans le domaine ouvert avec des modèles de grands langues [papier]
• LLMS en tant que raisonneurs factuels: idées des repères existants et au-delà de [papier]

Biais LLMS dans l'évaluation

• Les modèles de grands langues ne sont pas des évaluateurs équitables [papier]
• Style sur la substance: biais d'évaluation pour les grands modèles de langage [papier]
• Juger LLM-AS-A-A-Judge avec MT-Bench et Chatbot Arena [Paper]

LLMS spécifiques à l'évaluation

• Pandalm: une référence d'évaluation automatique pour l'optimisation de réglage des instructions LLM [papier]
• Les réseaux LLM plus larges et plus profonds sont des évaluateurs LLM plus équitables [papier]
• Shepherd: un critique de la génération de modèles de langues [document]

Boupées d'outils d'alignement

• LLAMA V1 & V2 [GitHub] [Paper v1] [Paper V2]
• LLAMA-X: Recherche académique ouverte sur l'amélioration de Llama à Sota LLM [GitHub]
• Llama2-chinois [github]
• Colossal-AI: Rendre de grands modèles d'IA moins chers, plus rapides et plus accessibles. [Github]
• Formation et servant des réseaux de neurones à grande échelle avec parallélisation automatique. [Github]
• FastChat [github]
• Lmflow [github]
• LLAMA2-ACCESSORY: Une boîte à outils open source pour le développement de LLM [GitHub]