DecryptPrompt

Décrypter

Si l'arrivée soudaine de LLM vous fait vous sentir frustré, vous pourriez aussi bien lire, choisissez vos stratégies de survie des armes pour les universitaires d'IA déprimés dans le répertoire domestique. Étoile pour rester à jour ~

Résumé des ressources LLM

• Modèles open source et listes d'examen
• Raisonnement open source, réglage fin, agent, chiffon, frameworks propMT
• Ensembles de données Open Source SFT, RLHF, Pretrain
• Résumé de la demande dans divers domaines de l'AIGC
• Tutoriels rapides, blogs classiques et interviews de conférence sur l'IA

Lire des articles avec votre blog

• Décrypter la série d'invite 1. Invite sans tunning: GPT2 & GPT3 & LAMA & AUTOPROPT
• Décrypter la série invite 2. Freeze invite Fine Tuning LM: T5 & PET & LM-BFF
• Décrypter la série d'invite 3. Freeze LM Invite de réglage fin: préfixe-tun & invite-tun & p-tuning
• Décrypter la série d'invite 4. Ticage d'instructions de mise à niveau: Flan / T0 / InstructGpt / Tkinstruct
• Décrit de la série Propt 5. APE + Self = Instructions automatisées Code de construction Code Implémentation
• Décrypter la série d'invite 6. Détails du bouton de réglage fin de la commande LORA - Veuillez me calmer, 1 heure n'est vraiment pas suffisante ~
• Decrypt invite série 7. Alignement des préférences RLHF-Openai · Deepmind · Analyse comparative anthropique
• Décrypter la série invite 8. Aucune formation requise pour permettre à LLM de prendre en charge l'entrée ultra-longue: Base de connaissances et unlimiformer & PCW & NBCE
• Deccript Invite Series 9. Cot: Modèle Complexe complexe Inférence-Basic Thinking Chain et Advanced Playback
• Décriture de la série invite 10. Cot: Exploration du principe de la chaîne de pensée Cot
• Décrypter la série rapide 11. Cot: Les petits modèles peuvent également COT, et la carence innée est complétée après la naissance
• Décrypter la série invite 12. LLM Agent zéro fine tuning Paradigm React & Self Ask
• Décrypter la série d'invite 13. Solution de réglage fin de l'instruction de l'agent LLM: ToolFormer & Gorilla
• Décript la série d'invite 14. Conception d'application de recherche de l'agent de LLM: webgpt & webglm & webcpm
• Deccript Invite Series 15. Conception d'application de la base de données de l'agent LLM: DIN & C3 & SQL-PALM & BIRD
• Décript la série d'invite 16. Moins de données dans l'expérience d'alignement LLM, mieux c'est? Ltd & Lima & Alpagasus
• Décript la série d'invite 17. Solution d'alignement LLM et mise à niveau de Wizardlm & Backtranslation et auto-alignement
• Décriture de la série rapide 18. Monde de l'agent LLM avec seulement des agents
• Deccript Invite Series 19. Applications dans le domaine de l'analyse des données de l'agent LLM: Data-CoPilot & InsightPilot
• Décriture de la série invite 20. Rechange de Rag sur l'optimisation de la diversité des rappels
• Deccript Invite Series 21. Re-Talk de Rag sur la densité et la qualité des informations de rappel
• Decrypt Invite Series 22. Réflexion de Rag: a-t-il abandonné la compression ou l'intelligence?
• Décrypter la série invite 23. Diagramme complet du cerveau de la classification et de l'attribution et de la détection et de la solution d'atténuation des hallucinations du modèle Big Model
• Décrit la série Propt 24. Stratégies de formation pour les nouvelles solutions RLHF: SLIC-HF & DPO & RRHF & RSO
• Décrypter la série Propt 25. Étiquetage de l'échantillon du schéma d'amélioration RLHF: RLAIF & SALMON
• Décriture de la série invite 26. Pensée humaine VS Modèle Pensée: Réflexion abstraite et divergente
• Décriture de la série Propt 27. Comment réduire la perte générale des capacités dans l'expérience d'alignement LLM
• Décript la série invite 28. Agent financier de l'agent LLM: FinMem et Finagent
• Décrypter la série invite 29. Solutions API réelles de l'agent LLM: Toolllm & Anytool
• Décrypter la série invite 30. Agent de surf sur Internet de l'agent LLM
• Decrypt invite série 31. Apprentissage continu de l'agent de LLM sur l'agilité
• Deccript Invite Series 32. Tâche de compréhension du tableau de LLM - Texte Modal
• Décrit la série d'invites 33. Tâche de compréhension du graphique de LLM - Chapitre multimodal
• Décrypter la Série ProT 34. La formation RLHF adopte une approche différente: pas à pas et au-de
• Décrypter la série Propt 35. La standardisation rapide est en cours! Brochettes en papier dspy et exemples de code
• Décript la série d'invite 36. Algorithme d'écriture et d'optimisation structurée rapide
• Décriture de la série invite 37. STRATÉGIES multiples pour les décisions de prédécision des chiffons quand se connecter à Internet
• Deccripting invite Series 38. Politique de routage multi-agents
• Décriture de la série Propt 39. Rag optimise le processus de scheduling fin à l'aide de LLM
• Décriture de la série Propt Série 40. LLM de la loi d'échelle du raisonnement
• Décrit la série Propt 41. Graphrag est-il vraiment une solution miracle?
• Décriture de la série Propt 42. Path de LLM vers la chaîne de pensée complexe dynamique
• Décrypter la série Propt 43. LLM Self Critics
• Décrypter la série Propt 44. Mode d'exploration de chiffon? Mode de pensée profonde?
• Décrypter la série invite 45. Explorez LLM Scoussable Superight - lequel est le meilleur dans le débat et le jeu
• Décrit la série Propt 46. LLM Exemples de code de sortie structuré et analyse principale
• Décrit la série Propt 47. Une analyse de fonctionnalité de la pensée longue O1

Résumé des articles

liste de papier

• https://github.com/donguanting/in-context-learning_paperlist
• https://github.com/thunlp/promptPapers
• https://github.com/timothyxxx/chain-of-thoughtspapers
• https://github.com/thunlp/toolarningpapers
• https://github.com/mlgroupjlu/llm-eval-survey
• https://github.com/thu-coai/paperforonlg
• https://github.com/khuangaf/awesome-chart-undenspanding

Chaîne de pensée (prompt_chain_of_thought)

• Utilisation de base et avancée
  • 【Zero-Shot-Cot】 Les modèles de gros langues sont des raisonneurs zéro-shot
  • 【COT-CHATE-CHAPE】 Chaîne de pensée invitant suscite un raisonnement dans les modèles de grande langue
  • 【L'auto-cohérence】 améliore le raisonnement de la chaîne de pensée dans les modèles de langue
  • 【Le moins le plus】 l'incitation permet un raisonnement complexe dans les modèles de langue importants
  • 【TOT】 Arbre de pensées: résolution de problèmes délibérée avec de grands modèles de langue
  • 【Plan-et-résolution】 Invitation: Amélioration du raisonnement de chaîne de pensée zéro par des modèles de grande langue
  • 【Vérifier et édition】: un cadre de la chaîne de réflexion amélioré en connaissance
  • 【A obtenu】 au-delà du raisonnement en graphe de pensée efficace et efficace dans les modèles de grande langue
  • 【Tomt】 Tree-of-Mixed-Thought: combinant une réflexion rapide et lente pour le raisonnement visuel multi-HOP
  • 【Lambada】: chaînage arrière pour raisonnement automatisé en langage naturel
  • 【Aot】 Algorithme des pensées: améliorer l'exploration des idées dans les modèles de grande langue
  • 【Got】 graphique des pensées: résoudre des problèmes élaborés avec des modèles de langue importants
  • 【PHP】 L'incitation progressive à l'incitation améliore le raisonnement dans les modèles de grande langue
  • 【HTT】 Les modèles de grande langue peuvent apprendre des règles
  • 【Divse】 La diversité de la pensée améliore les capacités de raisonnement des modèles de grande langue
  • 【Cogtree】 du complexe à simple: démêler l'arbre cognitif pour le raisonnement avec des modèles de petits langues
  • 【Step-back】 prenez un pas en arrière: évoquant le raisonnement via l'abstraction dans les modèles de grande langue
  • 【OPRO】 Modèles de grande langue en tant qu'optimiturs
  • 【Bot】 Tampon de pensées: raisonnement à la pensée avec des modèles de langue importants
  • Le résumé de pensée fait de modèles de langue de meilleurs raisonneurs
  • 【Symbcot】 Raisonnement logique fidèle via la chaîne de pensée symbolique
  • 【Xot】 Tout ce qui est des pensées: déviation de la loi du triangle de Penrose pour la génération de réflexion
  • 【IoT】 itération de la pensée: tirant un dialogue intérieur pour le raisonnement de modèle de grande langue autonome
  • 【Point】 sur le schéma de la pensée
  • 【Rot】 Inversion de la pensée: améliorant les modèles de gros langues avec un réchauffement inverse guidé par les préférences.
  • Penser en avant et en arrière: planification en arrière efficace avec de grands modèles de langue
  • 【Raisonnement de niveau K KR】: établir des croyances d'ordre supérieur dans les modèles de grande langue pour le raisonnement stratégique
  • 【Auto-découverte】 Auto-découverte: les modèles de grande langue
  • 【Théorie de l'esprit】 À quelle distance des modèles de grandes langues sont-ils des agents de théorie de l'esprit?
  • 【PC-Subq】 Inviter des stratégies pour permettre aux modèles de langage de grands
  • La pensée inversée rend les LLMS plus forts
• Directions pour résoudre des problèmes de lit non traditionnel
  • Décomposé provoquant une approche modulaire pour résoudre des tâches complexes
  • Invitation successive pour décomposer des questions complexes
• COT [MATH, CODE, TABULAIRE, QA]
  • Résoudre des problèmes de raisonnement quantitatif avec les modèles de langue
  • Montrez votre travail: ScratchPads pour le calcul intermédiaire avec des modèles de langue
  • Résoudre des problèmes de mots mathématiques avec le processus et les commentaires basés sur les résultats
  • Codel: maîtriser la génération de code à travers des modèles pré-entraînés et un apprentissage en renforcement profond
  • T-SCIQ: Enseignement du raisonnement multimodal de la chaîne de réflexion via des signaux de modèle de grande langue pour la réponse aux questions scientifiques
  • Apprendre les modifications de code d'amélioration des performances
  • Chaîne de code: Raisonnement avec un émulateur de code augmenté modèle de modèle
• Analyse principale
  • La chaîne de pensée permet aux transformateurs de résoudre des problèmes de série intrinsèquement
  • Vers la compréhension de l'incitation à la chaîne de pensées: une étude empirique de ce qui compte
  • Texte et motifs: pour une chaîne de pensée efficace, il faut deux à Tango
  • Vers révéler le mystère derrière la chaîne de pensée: une perspective théoriquement
  • Les modèles de grands langues peuvent être facilement distraits par un contexte non pertinent
  • Raisonnement de la chaîne de pensées sans inciter
  • Inductif ou déductif? Repenser les capacités de raisonnement fondamental des LLM
  • Au-delà de la chaîne de pensées: une enquête sur les paradigmes de la chaîne de X pour les LLM
  • Pour lit ou ne pas lit? La chaîne de pensées aide principalement en mathématiques et en raisonnement symbolique
  • Pourquoi penser étape par étape? Le raisonnement émerge de la localité de l'expérience
  • Cohérence interne et auto-alimentation dans les modèles de grande langue: une enquête
  • Tête d'itération: une étude mécaniste de la chaîne de pensées
  • L'impact de la longueur du pas de raisonnement sur les modèles de grandes langues
  • Les modèles de grande langue effectuent-ils un raisonnement multi-HOP latent sans exploiter les raccourcis?
  • Chaîne de pensée comprimée: raisonnement efficace à travers des représentations denses
  • Les LLMS pensent-ils vraiment étape par étape dans un raisonnement implicite?
• Small modèle Distillation du COT
  • Spécialiser des modèles de langue plus petits vers le raisonnement en plusieurs étapes
  • Enseigner de petits modèles de langue à raisonner
  • Les grands modèles de langue sont des enseignants
  • Capacités de raisonnement distillant en modèles de langue plus petits
  • La collection de COT: Amélioration de l'apprentissage zéro et à quelques coups de modèles de langue via un réglage fin de la chaîne de pensées
  • Système de distillation 2 dans le système 1
• Construction automatique / Sélection d'échantillons de lit
  • Autocot: chaîne de pensée automatique provoquant des modèles de grande langue
  • Invitation active avec la chaîne de pensées pour les modèles de grande langue
  • Invitation basée sur la complexité pour le raisonnement en plusieurs étapes
• Capacité de lit
  • Les modèles de grandes langues peuvent s'auto-impression
  • Formation de la chaîne de pensée via une inférence la latente variable
  • Quiet-Star: les modèles de langue peuvent s'apprendre à réfléchir avant de parler
  • Étoile: le raisonnement du raisonnement autodidacte Raisonnement avec un raisonnement
  • V-Star: Formation des vérificateurs pour les raisonneurs autodidactes
  • Réfléchissez avant de parler: des modèles de langage de formation avec des jetons en pause
  • Dialogues synthétiques et révisions autodirigées Rapport technique
• Autres
  • OLAGPT REMPORTER LLMS avec des capacités de résolution de problèmes de type humain
  • Remettre en question les tâches de gros banc et si la chaîne de pensées peut les résoudre
  • Les modèles de grandes langues sont de meilleurs raisonneurs avec une vérification d'auto-vérification
  • Pensée à un centre central pour les données de raisonnement de modèle de grande langue
  • Deux échecs d'auto-cohérence dans le raisonnement en plusieurs étapes des LLM

Rlhf

• Profondeur
  • Enseigner des modèles de langue pour soutenir les réponses avec des citations vérifiées
  • Sparrow, améliorant l'alignement des agents de dialogue via des jugements humains Targetd
  • L'échantillonnage de rejet statistique améliore l'optimisation des préférences
  • Auto-formation renforcé (reste) pour la modélisation du langage
  • SLIC-HF: Calibration de la vraisemblance des séquences avec rétroaction humaine
  • La probabilité de séquence d'étalonnage améliore la génération de langage conditionnel
  • Récompense avec des modèles de langue
  • RL final RL résolvant les problèmes de mots mathématiques avec le processus et les commentaires basés sur les résultats
  • Résoudre des problèmes de mots mathématiques avec les commentaires basés sur les processus et les résultats
  • Au-delà des données humaines: la mise à l'échelle de l'auto-entraînement pour la résolution de problèmes avec les modèles de langues
  • Bond: alignement LLMS avec la distillation meilleure de N
  • RL sur des données synthétiques incorrectes évolue l'efficacité du raisonnement mathématique LLM par huit fois
  • Vérifiants génératifs: modélisation des récompenses comme prédiction de la prochaine fois
  • Formation des modèles de langue à l'auto-correcte via l'apprentissage du renforcement
• Openai
  • PPO: algorithmes d'optimisation de la politique proximale
  • Apprentissage du renforcement profond pour la préférence humaine
  • Modèles de langage affinés des préférences humaines
  • Apprendre à résumer à partir des commentaires humains
  • InstructGpt: formation de modèles de langue pour suivre les instructions avec commentaires humains
  • Échelle des lois pour le modèle de récompense sur l'optimisation
  • Généralisation faible à forte: susciter de fortes capacités avec une supervision faible
  • PRM: Vérinons étape par étape
  • Formation des vérificateurs pour résoudre les problèmes de mots mathématiques [prédépendance du PRM]
  • Blog Openai Super Alignement
  • Les critiques LLM aident à attraper les bogues LLM
  • Les jeux de prover-verificateur améliorent la lisibilité des sorties LLM
  • Récompenses basées sur les règles pour la sécurité du modèle de langue
  • Modèles d'autocritique pour aider les évaluateurs humains
• Anthropique
  • Un assistant de langue générale en tant que laboratoire pour les alignants
  • Mesurer les progrès sur la surveillance évolutive ou les modèles de langue importants
  • Modèles de langue en équipe rouge pour réduire les méthodes de dommages, les comportements de mise à l'échelle et les leçons apprises
  • Former un assistant utile et inoffensif avec apprentissage du renforcement des commentaires humains
  • INSTANSE Constitutionnel IAdanse de la rétroaction de l'IAI
  • Modèles de langue pré-entraînement avec des préférences humaines
  • La capacité d'auto-correction morale dans les modèles de grande langue
  • Agents dormeurs: entraînement des LLM trompeurs qui persistent dans le train de sécurité
• Allenai, RL4LM: Le renforcement est-il (pas) pour les références de traitement du langage naturel
• Plan d'amélioration
  • RRHF: classez les réponses à aligner les modèles de langue avec la rétroaction humaine sans larmes
  • La chaîne de recul aligne des modèles de langue avec la rétroaction
  • Alpacafarm: un cadre de simulation pour les méthodes qui apprennent de la rétroaction humaine
  • Radeau: récompense Finetuning classée pour l'alignement du modèle de fondation génératif
  • RLAIF: Échelle de renforcement d'apprentissage de la rétroaction humaine avec la rétroaction de l'IA
  • Former des modèles de langage alignés socialement dans la société humaine simulée
  • Pluie: Vos modèles de langue peuvent s'aligner sans Finetuning
  • Juge génératif pour évaluer l'alignement
  • Regarder les préférences: démêler l'acquisition de rétroaction pour aligner les modèles de gros langues
  • Saumon: auto-alignement avec des modèles de récompense de suivi des principes
  • Modèle de grande langue désapprentissage
  • Optimisation des préférences adversaires
  • Optimisation de classement des préférences pour l'alignement humain
  • Très loin à parcourir: enquêter sur les corrélations de longueur dans RLHF
  • Permettre aux modèles linguistiques d'apprendre implicitement l'auto-amélioration à partir des données
  • Les ensembles de modèles de récompense aident à atténuer la suroptimisation
  • Apprendre un avantage optimal des préférences et le confondre avec une récompense
  • Ultrafeedback: boosting des modèles de langage avec une rétroaction de haute qualité
  • Motif: Motivation intrinsèque de la rétroaction de l'intelligence artificielle
  • Stabiliser le RLHF par le modèle d'avantage et la répétition sélective
  • Shepherd: un critique de la génération de modèles de langues
  • Apprendre à générer mieux que votre LLM
  • Les commentaires humains à grains fins donnent de meilleures récompenses pour la formation du modèle de langue
  • Auto-alignement axé sur les principes des modèles de langue à partir de zéro avec une supervision humaine minimale
  • Optimisation directe des préférences: votre modèle de langue est secrètement un modèle de récompense
  • Hir la sagesse du recul fait des modèles de langue de meilleurs adeptes de l'instruction
  • Aligneur: réaliser un alignement efficace par une correction faible à fort
  • Une approche minilaximaliste pour le renforcement de l'apprentissage de la rétroaction humaine
  • PANDA: Adaptation des préférences pour améliorer la capacité spécifique au domaine des LLM
  • Recherche faible à forte: Alignez les modèles de grandes langues via la recherche sur des modèles de petits langues
  • L'extrapolation faible à forte accélère l'alignement
  • DPO est-il supérieur à PPO pour l'alignement LLM? Une étude complète
  • Optimisation des préférences directes au niveau du jeton
  • Simpo: optimisation des préférences simples avec une récompense sans référence
  • AutoDeTected: Vers un cadre unifié pour la détection de faiblesse automatisée dans les modèles de grande langue
  • Modèles de langage méta-récompense: Alignement auto-amélioré avec LLM-As-A-Meta-Judge
  • Helpsteer: ensemble de données multi-attributs pour une steerlm
  • Introspection récursive: enseigner les agents du modèle de langue comment s'auto-impression
  • Amélioration des capacités de raisonnement en plusieurs étapes des modèles de langage grâce à l'optimisation directe de la fonction Q
  • Deepseekmath: repousser les limites du raisonnement mathématique dans les modèles en langue ouverte
  • Glore: quand, où et comment améliorer le raisonnement LLM via des raffinements mondiaux et locaux
  • Reft: raisonnement avec un réglage fin renforcé
  • SCPO: optimisation des préférences d'auto-cohérence
• Exploration RL
  • Comprendre les effets du RLHF sur la généralisation et la diversité LLM
  • Très loin à parcourir: enquêter sur les corrélations de longueur dans RLHF
  • L'impact de la récompense de la récompense (in-) cohérence sur RLHF
  • Problèmes ouverts et limites fondamentales de l'apprentissage du renforcement de la rétroaction humaine
  • La rétroaction humaine n'est pas une étalon-or
  • Modèles de grande langue post-entraînement contrastives sur le programme de données
  • Les modèles de langue résistent à l'alignement

Post Train (avec Cot, RL)

• Mise à l'échelle des inférences
  • Une analyse empirique de l'inférence optimale du calcul pour la résolution de problèmes avec les modèles de langue
  • Les appels plus LM ont-ils tout ce dont vous avez besoin? Vers les propriétés d'échelle des systèmes d'IA composés
  • Singes de grande langue: la mise à l'échelle de l'inférence calcule avec un échantillonnage répété
  • La mise à l'échelle du temps de test LLM Le calcul de manière optimale peut être plus efficace que les paramètres du modèle d'échelle
  • Q *: Amélioration du raisonnement en plusieurs étapes pour les LLM avec une planification délibérative
  • La planification en langage naturel améliore la recherche de la génération de code LLM
  • REST-MCTS ∗: LLM s'auto-s'entraîner via la recherche d'arbre guidée de récompense de processus
  • La recherche d'arbres de type Alphazero peut guider le décodage et la formation du modèle de langue grande
  • Plus petit, plus faible, mais mieux: des raisonneurs LLM de formation via un échantillonnage de calcul optimal
  • L'efficacité surprenante de la formation en temps de test pour le raisonnement abstrait
  • Échelle d'inférence pour la génération augmentée de récupération de contexte à long contexte
  • Vers l'auto-amélioration des LLM via l'imagination, la recherche et la critique
• Cot de pensée lente
  • O1 Journey de réplication: un rapport d'étape stratégique - Partie 1
  • Marco-O1: Vers des modèles de raisonnement ouvert pour les solutions ouvertes
  • Une étude comparative sur les modèles de raisonnement du modèle O1 d'OpenAI
  • Imiter, explorer et s'auto-impression: un rapport de reproduction sur les systèmes de raisonnement lentement
  • DualFormer: une pensée rapide et lente contrôlable en apprenant avec des traces de raisonnement randomisées
  • Formation de grands modèles de langue à raisonner dans un espace latent continu
  • Au-delà d'un ∗: meilleure planification avec Transformers via la dynamique de recherche Bootstrapage
  • CODER O1: une réplication O1 pour le codage
  • Mise à l'échelle de la recherche et de l'apprentissage: une feuille de route pour reproduire l'O1 du point de vue d'apprentissage du renforcement
  • Sky-T1: Formez votre propre modèle d'aperçu O1 à moins de 450 $
  • Vers le raisonnement du système 2 dans les LLM: apprendre à penser avec la méta-chaîne de pensée

Instruction Fine Tuning & Alignment (Instruction_Tunning)

• Solution classique
  • Flan: Les modèles de langage à finetumé sont des apprenants à tirs zéro
  • Flan-T5: Mise à l'échelle des modèles de langue-fintuned
  • Ext5: Vers une échelle extrême multi-tâches pour l'apprentissage du transfert
  • Instruct-gpt: formation de modèles de langue pour suivre les instructions avec les commentaires humains
  • T0: La formation invitée multitâche permet une généralisation des tâches zéro-shot
  • Instructions naturelles: Généralisation de la tâche croisée via des instructions de crowdsourcing en langage naturel
  • TK-INSTRUCT: Super-Naturalin Inscriptions: Généralisation via des instructions déclaratives sur plus de 1600 tâches NLP
  • Zeroprorout: la mise à l'échelle de la pré-formation à 1 000 tâches améliore la généralisation de zéro
  • Instructions contre nature: régler les modèles de langue avec (presque) pas de travail humain
  • Instructevale vers une évaluation holistique des modèles de grande langue réglés par instrucons
• Loi d'échelle de données SFT
  • Lima: moins c'est plus pour l'alignement
  • Peut-être que seulement 0,5% de données sont nécessaires: une exploration préliminaire du réglage de l'enseignement des données de formation faible
  • Alpagasus: former un meilleur alpaga avec moins de données
  • InstructionGPT-4: un paradigme de 200-instructions pour un minigpt-4 au réglage fin
  • Exploitation d'instructions: sélection de données d'instructions de haute qualité pour les modèles de grande langue
  • Réglage de l'instruction visuelle avec le flamant poli
  • Explorer l'impact de l'échelle des données d'instruction sur les modèles de grands langues: une étude empirique sur les cas d'utilisation du monde réel
  • Échelle de la relation sur l'apprentissage du raisonnement mathématique avec de grands modèles de langue
  • Lorsque la mise à l'échelle rencontre LLM Finetuning: l'effet des données, du modèle et de la méthode de la finetuning
• Nouveau système d'alignement / réglage fin
  • Wizardlm: autonomiser les modèles de grande langue pour suivre les instructions complexes
  • Devenir auto-instruit: introduire des critères d'arrêt anticipé pour un réglage minimal des instructions
  • Auto-alignement avec une backtranslation de l'instruction
  • Mélange des experts rencontre le réglage des instructions: une combinaison gagnante pour les modèles de grande langue
  • Chèvre: Llama affiné le GPT-4 sur les tâches arithmétiques
  • Prompt2Model: Génération de modèles déployables à partir d'instructions en langue naturelle
  • OpinionGPT: Modélisation des biais explicites dans les LLMs réglés par l'instruction
  • Améliorer la négociation du modèle de langue avec l'apprentissage de l'auto-play et du contexte à partir de la rétroaction de l'IA
  • Généralisation systématique de type humain à travers un réseau neuronal de méta-apprentissage
  • MagicOder: le code source est tout ce dont vous avez besoin
  • Au-delà des données humaines: la mise à l'échelle de l'auto-entraînement pour la résolution de problèmes avec les modèles de langues
  • Réglage de l'instruction de représentation générative
  • INSCL: un paradigme d'apprentissage continu économe en données pour les modèles de grande langue affinés avec des instructions
  • La hiérarchie d'instructions: Training LLMS pour hiérarchiser les instructions privilégiées
  • Magpie: Aligner la synthèse des données à partir de zéro en invitant les LLMS alignés avec rien
• Génération de données d'instructions
  • APE: Les modèles de grands langues sont des ingénieurs rapides au niveau de l'homme
  • Auto-instruction: Alignez le modèle de langue avec des instructions auto-générées
  • IPROPT: Expliquer les modèles de données en langage naturel via une autopropie interprétable
  • Apprentissage inversé: devinez l'instruction! L'apprentissage inversé rend les modèles de langue plus forts des apprenants zéro
  • Invitation à quelques coups guidés pour l'équité pour les modèles de grandes langues
  • Induction de l'instruction: de quelques exemples aux descriptions de tâches en langage naturel.
  • Auto-QA des connaissances non supervisées Alignement guidé.
  • GPT Self-Supervision pour un meilleur annotateur de données
  • La collecte de flan concevant des données et des méthodes
  • Les modèles génératifs autonomes deviennent fous
  • Instructive: évaluation systématique des méthodes de sélection des instructions
  • Écraser des biais pré-entraînés avec des données de finetuning
  • Amélioration des intérêts de texte avec de grands modèles de langue
  • Magpie: Aligner la synthèse des données à partir de zéro en invitant les LLMS alignés avec rien
  • Échelle de la création de données synthétiques avec 1 000 000 000 de personnages
  • Lifère la capacité de raisonnement des LLM via la synthèse de questions évolutives à partir de zéro
  • Une enquête sur la synthèse des données et l'augmentation des modèles de grande langue
  • AgentInstruct: vers un enseignement génératif avec des flux agentiques
  • Dévoiler les défauts: explorer les imperfections dans les données synthétiques et les stratégies d'atténuation pour les modèles de grands langues
• Comment réduire la perte de capacité générale
  • Comment la capacité dans les modèles de gros langues est affectée par la composition de données à réglage fin supervisé
  • Finage LLM à deux étages avec moins de spécialisation et plus de généralisation
• Expérience de réglage fin / rapport expérimental
  • Belle: Explorer l'impact de l'échelle des données d'instruction sur les modèles de grands langues: une étude empirique sur les cas d'utilisation du monde réel
  • Baize: Baize: un modèle de chat open source avec un réglage économe en paramètres sur les données d'auto-chat
  • Une étude comparative entre le paramètre complet et le réglage fin basé sur LORA sur les données d'instruction chinoise pour un grand LM
  • Explorer la capacité de Chatgpt à classer le contenu: une étude préliminaire sur la cohérence avec les préférences humaines
  • Vers une meilleure instruction suivant les modèles de langue pour le chinois: étudier l'impact des données de formation et de l'évaluation
  • Fine Tuning LLMS for Enterprise: Lignes directrices et recommandations pratiques
• Autres
  • Généralisation croisée par le biais de finetuning multitastiques
  • Généralisation de la tâche croisée via des instructions de crowdsourcing en langage naturel
  • UnifiedSkg: Unifier et multitâche des connaissances structurées mise à la terre avec des modèles de langage text-to-texte
  • InviteSource: un environnement de développement intégré et un référentiel pour les invites en langage naturel
  • Rolellm: analyse comparative, suscitant et améliorant les capacités de jeu de rôles des modèles de grande langue

LLM Agent Laissez le modèle utiliser l'outil (LLM_AGENT)

• Agent AI: Arpentage des horizons de l'interaction multimodale
• Une enquête sur les agents autonomes basés sur un modèle de grande langue
• Agents LLM personnels: idées et enquête sur la capacité, l'efficacité et la sécurité
• Solution générale basée sur Propt
  • React: Synergie Raisonnement et Agissant dans les modèles de langues
  • Autochance: mesurer et rétrécir l'écart de compositionnalité dans les modèles de langue
  • MRKL Systemsa modulaire, architecture neuro-symbolique qui combine de grands modèles de langage, des sources de connaissances externes et un raisonnement discret
  • PAL: Modèles linguistiques assistés par le programme
  • Art: raisonnement automatique en plusieurs étapes et utilisation d'outils pour les modèles de grande langue
  • Rewoo: Découplage du raisonnement des observations pour des modèles de langage augmentés efficaces
  • Récupération entrelacée avec raisonnement de la chaîne de pensées pour les questions en plusieurs étapes à forte intensité de connaissances
  • Chameleon: raisonnement de composition plug-and-play avec de grands modèles de langue
  • Raisonnement fidèle de la chaîne de pensée
  • Réflexion: agents linguistiques avec apprentissage du renforcement verbal
  • Vérification et édition: un cadre de chaîne de pensées amélioré en connaissance
  • RESTGPT: Connexion de grands modèles de langue avec des API RESTful du monde réel
  • Chatcot: raisonnement de chaîne de pensée à l'outil sur les modèles de grande langue basés sur le chat
  • InstructTods: Modèles de grande langue pour les systèmes de dialogue orientés vers les tâches de bout en bout
  • TPTU: planification des tâches et utilisation des outils des agents d'IA basés sur un modèle de grande langue
  • CONTROLLM: Augmenter les modèles de langue avec des outils en recherchant des graphiques
  • Réflexion: un agent autonome avec mémoire dynamique et auto-réflexion
  • AutoAgents: un cadre pour la génération automatique des agents
  • Gitagent: faciliter l'agent autonome avec github par extension de l'outil
  • Preact: prédire l'avenir de React améliore la capacité de planification de l'agent
  • TOOLLLM: faciliter les modèles de grande langue pour maîtriser 16000+ API réels -anytool: Agents hiérarchiques auto-réflexits pour les appels API à grande échelle
  • AIOS: Système d'exploitation d'agent LLM
  • Compilateur LLM un compilateur LLM pour l'appel de fonction parallèle
  • Re-invoke: réécriture d'invocation des outils pour la récupération d'outils à tirs zéro
• Solution générale basée sur le réglage fin
  • TALM: Modèles de langue augmentée de l'outil
  • ToolFormer: les modèles de langue peuvent s'apprendre à utiliser des outils
  • Apprentissage d'outils avec des modèles de fondation
  • Maker d'outils: Modèles de grande langue en tant que fabricant d'outils
  • TaskMatrix.ai: tâches terminées en connectant les modèles de fondation avec des millions d'API
  • Agenttuning: activer les AAPILITÉS d'agent généralisés pour LLMS
  • Swiftsage: un agent génératif avec une réflexion rapide et lente pour des tâches interactives complexes
  • Fireact: Vers l'agent linguistique ajusté
  • Pangu-agent: un agent généraliste finable avec raisonnement structuré
  • REST rencontre React: Auto-amélioration pour le raisonnement en plusieurs étapes LLM Agent
  • Utilisation efficace des outils avec raisonnement de la chaîne d'abstraction
  • Agent-FLAN: Concevoir des données et des méthodes de réglage efficace des agents pour les modèles de grande langue
  • AgentOHANA: Concevoir des données unifiées et un pipeline de formation pour l'apprentissage efficace des agents
  • Agent Lumos: formation unifiée et modulaire pour les agents de langue open source
  • ToolGen: Unified Tool Retrieval and Calling via Generation
• Appeler le schéma de modèle
  • HuggingGpt: résoudre des tâches AI avec Chatgpt et ses amis dans HuggingFace
  • Gorille: modèle de grande langue lié à des API massives
  • OpenAgi: Lorsque LLM rencontre des experts du domaine
• Champ vertical
  • Analyse des données
    • DS-Agent: Science automatisée des données en autonomisant les modèles de grande langue avec un raisonnement basé sur des cas
    • InsightLens: Découvrir et explorer les informations à partir de contextes conversationnels dans l'analyse des données à modélisation à grande langue
    • Data-Copilot: Bridgering des milliards de données et humains avec un flux de travail autonome
    • Démonstration de InsightPilot: un système d'exploration automatisé de données autonomisée LLM
    • Taskweaver: un cadre d'agent de code First
    • Sciences sociales automatisées: modèles linguistiques en tant que scientifique et sujets
    • Interprète de données: un agent LLM pour la science des données
  • finance
    • Weaverbird: autonomiser la prise de décision financière avec un modèle de langue, une base de connaissances et un moteur de recherche
    • Fingpt: Modèles de grande langue financière open source
    • FinMem: un agent de trading LLM amélioré par les performances avec mémoire en couches et conception de personnages
    • Alphafine: analyse financière d'analyse comparative utilisant le cadre de la chaîne de bourses améliorée par la recherche
    • Un agent de la fondation multimodale pour le commerce financier: outil auprès, diversifié et généraliste
    • Les modèles de grandes langues peuvent-ils battre Wall Street? Dévoiler le potentiel de l'IA dans la sélection des stocks
    • Amélioration de la détection des anomalies sur les marchés financiers avec un cadre multi-agent basé sur LLM
    • TradingGpt: Système multi-agent avec mémoire en couches et caractères distincts pour des performances de trading financier améliorées
    • FinRobot: une plate-forme d'agent d'aide à source open-open pour les applications financières à l'aide de modèles de langues importants
    • LLMFACTOR: Extraction de facteurs rentables grâce à des invites à une prédiction de mouvement des stocks explicable
    • Alpha-GPT: exploitation alpha interactive humaine pour l'investissement quantitatif
    • Détection d'avancement des anomalies: codage de données financières non sémantiques avec LLMS
    • Tradexpert: révolutionner le trading avec le mélange de LLM experts
    • FinVision: un cadre multi-agents pour la prédiction des marchés boursiers
    • IA dans l'analyse des investissements: LLMS pour les cotes d'actions en actions
    • AAPM: Modèles de tarification des actifs basés sur un modèle de grande langue
  • Biomédecine
    • Genegpt: Augmenter les modèles de gros langues avec des outils de domaine pour améliorer l'accès aux informations biomédicales
    • ChemCrow augmente les modèles de grands langues avec des outils de chimie
    • Génération d'explications dans les questions de question médicale par les attentes de maximisation inférence sur les preuves
    • Hôpital d'agent: un simulacre d'hôpital avec des agents médicaux évolutifs
    • Intégrer les connaissances en chimie dans les modèles de grande langue via l'ingénierie rapide
  • agent Web / mobile
    • AutoweBGlm: bootstrap et renforcez un agent de navigation Web basé sur un modèle de langue
    • Un webagent réel avec la planification, la compréhension du contexte long et la synthèse du programme
    • Mind2Web: vers un agent généraliste pour le Web
    • MINIWOB ++ Apprentissage du renforcement sur les interfaces Web à l'aide de l'exploration guidée par le flux de travail
    • Webarena: un environnement Web réaliste interdisant les agents autonomes
    • AutoCrawler: un agent Web de compréhension progressive pour la génération de robots Web Web
    • Weblinx: Navigation du site Web réel avec dialogue multi-tour
    • WebVoyager: construire un agent Web de bout en bout avec de grands modèles multimodaux
    • Cogagent: un modèle de langage visuel pour les agents GUI
    • Mobile-Agent-V2: Assistant de fonctionnement de l'appareil mobile avec une navigation efficace via une collaboration multi-agents
    • Webcanvas: comparaison d'agents Web dans des environnements en ligne
    • L'agent Dawn of GUI: une étude de cas préliminaire avec Claude 3.5 Utilisation de l'ordinateur
  • ingénieur logiciel
  • Agents en génie logiciel: enquête, paysage et vision
  • Chatdev: agents communicatifs pour le développement de logiciels
  • autre
    • Laboratoire d'agent: utilisant des agents LLM comme assistants de recherche
    • ResearchAgent: Génération d'idées de recherche itérative sur la littérature scientifique avec de grands modèles de langue
    • Webshop: vers une interaction Web réelle évolutive avec des agents linguistiques ancrés
    • Toolkengpt: augmenter les modèles de langage gelé avec des outils massifs via des incorporations d'outils
    • Pointllm: autonomiser les modèles de gros langues pour comprendre les nuages ​​ponctuels
    • Question juridique longue forme interprétable Répondre à la récupération des modèles de grande langue auprès de la récupération
    • CareXpert: tirant parti des modèles de gros langues pour la réponse à la question de la voiture dans la voiture
    • SCIAGENTS: Automatisation de la découverte scientifique à travers un raisonnement de graphe intelligent multi-agents
• Évaluer
  • Evaluating Verifiability in Generative Search Engines
  • Auto-GPT for Online Decision Making: Benchmarks and Additional Opinions
  • API-Bank: A Benchmark for Tool-Augmented LLMs
  • ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
  • Automatic Evaluation of Attribution by Large Language Models
  • Benchmarking Large Language Models in Retrieval-Augmented Generation
  • ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems
  • Agent-as-a-Judge: Evaluate Agents with Agents
• MultiAgent
  • GENERATIVE AGENTS
  • LET MODELS SPEAK CIPHERS: MULTIAGENT DEBATE THROUGH EMBEDDINGS
  • War and Peace (WarAgent): Large Language Model-based Multi-Agent Simulation of World Wars
  • Small LLMs Are Weak Tool Learners: A Multi-LLM Agent
  • Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models
  • Generative Agents: Interactive Simulacra of Human Behavior
  • AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors in Agents
  • System-1.x: Learning to Balance Fast and Slow Planning with Language Models
  • Agents Thinking Fast and Slow:A Talker-Reasoner Architecture
  • Generative Agent Simulations of 1,000 People
  • Advanced Reasoning and Learning for Autonomous AI Agents
  • 多智能体系统
    • Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence
    • MULTI-AGENT COLLABORATION: HARNESSING THE POWER OF INTELLIGENT LLM AGENTS
    • Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks
• 任务型智能体协作
  • METAAGENTS: SIMULATING INTERACTIONS OF HUMAN BEHAVIORS FOR LLM-BASED TASK-ORIENTED COORDINATION VIA COLLABORATIVE
  • CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society
  • Exploring Large Language Models for Communication Games: An Empirical Study on Werewolf
  • Communicative Agents for Software Development
  • MedAgents: Large Language Models as Collaborators for Zero-shot Medical Reasoning
  • METAGPT: META PROGRAMMING FOR A MULTI-AGENT COLLABORATIVE FRAMEWORK
• 智能体路由
  • One Agent To Rule Them All: Towards Multi-agent Conversational AI
  • A Multi-Agent Conversational Recommender System
• 基座模型路由&Ensemble
  • Large Language Model Routing with Benchmark Datasets
  • LLM-BL ENDER: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion
  • RouteLLM: Learning to Route LLMs with Preference Data
  • More Agents Is All You Need
  • Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models
• 自主学习和探索进化
  • AppAgent: Multimodal Agents as Smartphone Users
  • Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
  • LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error
  • Empowering Large Language Model Agents through Action Learning
  • Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents
  • OS-COPILOT: TOWARDS GENERALIST COMPUTER AGENTS WITH SELF-IMPROVEMENT
  • LLAMA RIDER: SPURRING LARGE LANGUAGE MODELS TO EXPLORE THE OPEN WORLD
  • PAST AS A GUIDE: LEVERAGING RETROSPECTIVE LEARNING FOR PYTHON CODE COMPLETION
  • AutoGuide: Automated Generation and Selection of State-Aware Guidelines for Large Language Model Agents
  • A Survey on Self-Evolution of Large Language Models
  • ExpeL: LLM Agents Are Experiential Learners
  • ReAct Meets ActRe: When Language Agents Enjoy Training Data Autonomy
  • PROACTIVE AGENT: SHIFTING LLM AGENTS FROM REACTIVE RESPONSES TO ACTIVE ASSISTANCE
  • From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning
• autre
  • LLM+P: Empowering Large Language Models with Optimal Planning Proficiency
  • Inference with Reference: Lossless Acceleration of Large Language Models
  • RecallM: An Architecture for Temporal Context Understanding and Question Answering
  • LLaMA Rider: Spurring Large Language Models to Explore the Open World
  • LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks

CHIFFON

• 经典论文
  • WebGPT：Browser-assisted question-answering with human feedback
  • WebGLM: Towards An Efficient Web-Enhanced Question Answering System with Human Preferences
  • WebCPM: Interactive Web Search for Chinese Long-form Question Answering
  • REPLUG: Retrieval-Augmented Black-Box Language Models
  • RETA-LLM: A Retrieval-Augmented Large Language Model Toolkit
  • Atlas: Few-shot Learning with Retrieval Augmented Language Models
  • RRAML: Reinforced Retrieval Augmented Machine Learning
  • FRESHLLMS: REFRESHING LARGE LANGUAGE MODELS WITH SEARCH ENGINE AUGMENTATION
• Ajustement fin
  • RLCF：Aligning the Capabilities of Large Language Models with the Context of Information Retrieval via Contrastive Feedback
  • RA-DIT: RETRIEVAL-AUGMENTED DUAL INSTRUCTION TUNING
  • CHAIN-OF-NOTE: ENHANCING ROBUSTNESS IN RETRIEVAL-AUGMENTED LANGUAGE MODELS
  • RAFT: Adapting Language Model to Domain Specific RAG
  • Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence
• 其他论文
  • Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation
  • PDFTriage: Question Answering over Long, Structured Documents
  • Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading
  • Active Retrieval Augmented Generation
  • kNN-LM Does Not Improve Open-ended Text Generation
  • Can Retriever-Augmented Language Models Reason? The Blame Game Between the Retriever and the Language Model
  • DORIS-MAE: Scientific Document Retrieval using Multi-level Aspect-based Queries
  • Factuality Enhanced Language Models for Open-Ended Text Generation
  • KwaiAgents: Generalized Information-seeking Agent System with Large Language Models
  • Complex Claim Verification with Evidence Retrieved in the Wild
  • Retrieval-Augmented Generation for Large Language Models: A Survey
  • ChatQA: Building GPT-4 Level Conversational QA Models
  • RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture
  • Benchmarking Large Language Models in Retrieval-Augmented Generation
  • T-RAG: Lessons from the LLM Trenches
  • ARAGOG: Advanced RAG Output Grading
  • ActiveRAG: Revealing the Treasures of Knowledge via Active Learning
  • OpenResearcher: Unleashing AI for Accelerated Scientific Research
  • Contextual.ai-RAG2.0
  • Mindful-RAG: A Study of Points of Failure in Retrieval Augmented Generation
  • Memory3 : Language Modeling with Explicit Memory
• 优化检索
  • IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions
  • HyDE：Precise Zero-Shot Dense Retrieval without Relevance Labels
  • PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES
  • Query Rewriting for Retrieval-Augmented Large Language Models
  • Query2doc: Query Expansion with Large Language Models
  • Query Expansion by Prompting Large Language Models
  • Anthropic Contextual Retrieval
  • Multi-Level Querying using A Knowledge Pyramid
  • A Survey of Query Optimization in Large Language Models
• Classement
  • A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models
  • RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models
  • Improving Passage Retrieval with Zero-Shot Question Generation
  • Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
  • RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
  • Ranking Manipulation for Conversational Search Engines
  • Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents
  • Opensource Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
  • T2Ranking: A large-scale Chinese Benchmark for Passage Ranking
  • Learning to Filter Context for Retrieval-Augmented Generation
• 传统搜索方案
  • ASK THE RIGHT QUESTIONS:ACTIVE QUESTION REFORMULATION WITH REINFORCEMENT LEARNING
  • Query Expansion Techniques for Information Retrieval a Survey
  • Learning to Rewrite Queries
  • Managing Diversity in Airbnb Search
• 新向量模型用于Recall和Ranking
  • Augmented Embeddings for Custom Retrievals
  • BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
  • 网易为RAG设计的BCE Embedding技术报告
  • BGE Landmark Embedding: A Chunking-Free Embedding Method For Retrieval Augmented Long-Context Large Language Models
  • D2LLM: Decomposed and Distilled Large Language Models for Semantic Search
  • Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training
• 优化推理结果
  • Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting
• 动态RAG（When to Search & Search Plan）
  • SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION
  • Self-Knowledge Guided Retrieval Augmentation for Large Language Models
  • Self-DC: When to retrieve and When to generate Self Divide-and-Conquer for Compositional Unknown Questions
  • Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs
  • Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
  • REAPER: Reasoning based Retrieval Planning for Complex RAG Systems
  • When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively
  • PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers
  • ONEGEN: EFFICIENT ONE-PASS UNIFIED GENERATION AND RETRIEVAL FOR LLMS
  • Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval
• Graph RAG
  • GRAPH Retrieval-Augmented Generation: A Survey
  • From Local to Global: A Graph RAG Approach to Query-Focused Summarization
  • GRAG: Graph Retrieval-Augmented Generation
  • GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
  • THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH
  • LightRAG: Simple and Fast Retrieval-Augmented Generation
  • THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASON- ING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH
  • StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization
• Multistep RAG
  • SYNERGISTIC INTERPLAY BETWEEN SEARCH AND LARGE LANGUAGE MODELS FOR INFORMATION RETRIEVAL
  • Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions
  • Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy
  • RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
  • IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues
  • Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP
  • Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks
  • MindSearch 思·索: Mimicking Human Minds Elicits Deep AI Searcher
  • RQ-RAG: LEARNING TO REFINE QUERIES FOR RETRIEVAL AUGMENTED GENERATION
  • AutoPRM: Automating Procedural Supervision for Multi-Step Reasoning via Controllable Question Decomposition
• Timeline RAG
  • Unfolding the Headline: Iterative Self-Questioning for News Retrieval and Timeline Summarization

Other Prompt Engineer(prompt_engineer)

• Calibrate Before Use: Improving Few-Shot Performance of Language Models
• In-Context Instruction Learning
• LEARNING PERFORMANCE-IMPROVING CODE EDITS
• Boosting Theory-of-Mind Performance in Large Language Models via Prompting
• Generated Knowledge Prompting for Commonsense Reasoning
• RECITATION-AUGMENTED LANGUAGE MODELS
• kNN PROMPTING: BEYOND-CONTEXT LEARNING WITH CALIBRATION-FREE NEAREST NEIGHBOR INFERENCE
• EmotionPrompt: Leveraging Psychology for Large Language Models Enhancement via Emotional Stimulus
• Causality-aware Concept Extraction based on Knowledge-guided Prompting
• LARGE LANGUAGE MODELS AS OPTIMIZERS
• Prompts As Programs: A Structure-Aware Approach to Efficient Compile-Time Prompt Optimization
• Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V
• RePrompt: Automatic Prompt Editing to Refine AI-Generative Art Towards Precise Expressions
• MedPrompt: Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
• DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines
• Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels
• In-Context Learning for Extreme Multi-Label Classification
• Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs
• DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines
• CONNECTING LARGE LANGUAGE MODELS WITH EVOLUTIONARY ALGORITHMS YIELDS POWERFUL PROMP OPTIMIZERS
• TextGrad: Automatic "Differentiation" via Text
• Task Facet Learning: A Structured Approach to Prompt Optimization
• LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming Language
• PAS: Data-Efficient Plug-and-Play Prompt Augmentation System
• Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models
• From Pen to Prompt: How Creative Writers Integrate AI into their Writing Practice
• Does Prompt Formatting Have Any Impact on LLM Performance?
• AUTO-DEMO PROMPTING: LEVERAGING GENERATED OUTPUTS AS DEMONSTRATIONS FOR ENHANCED BATCH PROMPTING
• PROMPTBREEDER: SELF-REFERENTIAL SELF-IMPROVEMENT VIA PROMPT EVOLUTION

大模型图表理解和生成

• Enquête
  • Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study
  • Large Language Models(LLMs) on Tabular Data: Prediction, Generation, and Understanding - A Survey
  • Exploring the Numerical Reasoning Capabilities of Language Models: A Comprehensive Analysis on Tabular Data
• rapide
  • Large Language Models are Versatile Decomposers: Decompose Evidence and Questions for Table-based Reasoning
  • Tab-CoT: Zero-shot Tabular Chain of Thought
  • Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding
• fintuning
  • TableLlama: Towards Open Large Generalist Models for Tables
  • TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios
• multimodal
  • MMC: Advancing Multimodal Chart Understanding with Large-scale Instruction Tuning
  • ChartLlama: A Multimodal LLM for Chart Understanding and Generation
  • ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning
  • ChartInstruct: Instruction Tuning for Chart Comprehension and Reasoning
  • ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning
  • MATCHA : Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering
  • UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning
  • TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning
  • Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs
  • TableVQA-Bench: A Visual Question Answering Benchmark on Multiple Table Domains
  • TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy

LLM+KG

• Aperçu
  • Unifying Large Language Models and Knowledge Graphs: A Roadmap
  • Large Language Models and Knowledge Graphs: Opportunities and Challenges
  • 知识图谱与大模型融合实践研究报告2023
• KG用于大模型推理
  • Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs
  • MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models
  • Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering
  • Domain Specific Question Answering Over Knowledge Graphs Using Logical Programming and Large Language Models
  • BRING YOUR OWN KG: Self-Supervised Program Synthesis for Zero-Shot KGQA
  • StructGPT: A General Framework for Large Language Model to Reason over Structured Data
• 大模型用于KG构建
  • Enhancing Knowledge Graph Construction Using Large Language Models
  • LLM-assisted Knowledge Graph Engineering: Experiments with ChatGPT
  • ITERATIVE ZERO-SHOT LLM PROMPTING FOR KNOWLEDGE GRAPH CONSTRUCTION
  • Exploring Large Language Models for Knowledge Graph Completion

Humanoid Agents

• HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS AND ROBOTS
• Humanoid Agents: Platform for Simulating Human-like Generative Agents
• Voyager: An Open-Ended Embodied Agent with Large Language Models
• Shaping the future of advanced robotics
• AUTORT: EMBODIED FOUNDATION MODELS FOR LARGE SCALE ORCHESTRATION OF ROBOTIC AGENTS
• ROBOTIC TASK GENERALIZATION VIA HINDSIGHT TRAJECTORY SKETCHES
• ALFWORLD: ALIGNING TEXT AND EMBODIED ENVIRONMENTS FOR INTERACTIVE LEARNING
• MINEDOJO: Building Open-Ended Embodied Agents with Internet-Scale Knowledge
• LEGENT: Open Platform for Embodied Agents

pretrain_data & pretrain

• DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
• The Pile: An 800GB Dataset of Diverse Text for Language Modeling
• CCNet: Extracting High Quality Monolingual Datasets fromWeb Crawl Data
• WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models
• CLUECorpus2020: A Large-scale Chinese Corpus for Pre-training Language Model
• In-Context Pretraining: Language Modeling Beyond Document Boundaries
• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
• Zyda: A 1.3T Dataset for Open Language Modeling
• Entropy Law: The Story Behind Data Compression and LLM Performance
• Data, Data Everywhere: A Guide for Pretraining Dataset Construction
• Data curation via joint example selection further accelerates multimodal learning
• IMPROVING PRETRAINING DATA USING PERPLEXITY CORRELATIONS
• AI models collapse when trained on recursively generated data

领域模型SFT(domain_llms)

• finance
  • BloombergGPT： A Large Language Model for Finance
  • FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis
  • CFGPT: Chinese Financial Assistant with Large Language Model
  • CFBenchmark: Chinese Financial Assistant Benchmark for Large Language Model
  • InvestLM: A Large Language Model for Investment using Financial Domain Instruction Tuning
  • BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark
  • PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance
  • The FinBen: An Holistic Financial Benchmark for Large Language Models
  • XuanYuan 2.0: A Large Chinese Financial Chat Model with Hundreds of Billions Parameters
  • Towards Trustworthy Large Language Models in Industry Domains
  • When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments
  • A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges
• 生物医疗
  • MedGPT: Medical Concept Prediction from Clinical Narratives
  • BioGPT：Generative Pre-trained Transformer for Biomedical Text Generation and Mining
  • PubMed GPT: A Domain-specific large language model for biomedical text
  • ChatDoctor：Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge
  • Med-PaLM：Large Language Models Encode Clinical Knowledge[V1,V2]
  • SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support
  • Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue
• autre
  • Galactia：A Large Language Model for Science
  • Augmented Large Language Models with Parametric Knowledge Guiding
  • ChatLaw Open-Source Legal Large Language Model
  • MediaGPT : A Large Language Model For Chinese Media
  • KITLM: Domain-Specific Knowledge InTegration into Language Models for Question Answering
  • EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce
  • TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT
  • LLEMMA: AN OPEN LANGUAGE MODEL FOR MATHEMATICS
  • MEDITAB: SCALING MEDICAL TABULAR DATA PREDICTORS VIA DATA CONSOLIDATION, ENRICHMENT, AND REFINEMENT
  • PLLaMa: An Open-source Large Language Model for Plant Science
  • ADAPTING LARGE LANGUAGE MODELS VIA READING COMPREHENSION

LLM超长文本处理(long_input)

• 位置编码、注意力机制优化
  • Unlimiformer: Long-Range Transformers with Unlimited Length Input
  • Parallel Context Windows for Large Language Models
  • 苏剑林, NBCE：使用朴素贝叶斯扩展LLM的Context处理长度
  • Structured Prompting: Scaling In-Context Learning to 1,000 Examples
  • Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens
  • Scaling Transformer to 1M tokens and beyond with RMT
  • TRAIN SHORT, TEST LONG: ATTENTION WITH LINEAR BIASES ENABLES INPUT LENGTH EXTRAPOLATION
  • Extending Context Window of Large Language Models via Positional Interpolation
  • LongNet: Scaling Transformers to 1,000,000,000 Tokens
  • https://kaiokendev.github.io/til#extending-context-to-8k
  • 苏剑林,Transformer升级之路：10、RoPE是一种β进制编码
  • 苏剑林,Transformer升级之路：11、将β进制位置进行到底
  • 苏剑林,Transformer升级之路：12、无限外推的ReRoPE？
  • 苏剑林,Transformer升级之路：15、Key归一化助力长度外推
  • EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS
  • Ring Attention with Blockwise Transformers for Near-Infinite Context
  • YaRN: Efficient Context Window Extension of Large Language Models
  • LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS
  • EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS
• 上文压缩排序方案
  • Lost in the Middle: How Language Models Use Long Contexts
  • LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models
  • LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
  • Learning to Compress Prompts with Gist Tokens
  • Unlocking Context Constraints of LLMs: Enhancing Context Efficiency of LLMs with Self-Information-Based Content Filtering
  • LongAgent: Scaling Language Models to 128k Context through Multi-Agent Collaboration
  • PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models
  • Are Long-LLMs A Necessity For Long-Context Tasks?
• 训练和模型架构方案
  • Never Train from Scratch: FAIR COMPARISON OF LONGSEQUENCE MODELS REQUIRES DATA-DRIVEN PRIORS
  • Soaring from 4K to 400K: Extending LLM's Context with Activation Beacon
  • Never Lost in the Middle: Improving Large Language Models via Attention Strengthening Question Answering
  • Focused Transformer: Contrastive Training for Context Scaling
  • Effective Long-Context Scaling of Foundation Models
  • ON THE LONG RANGE ABILITIES OF TRANSFORMERS
  • Efficient Long-Range Transformers: You Need to Attend More, but Not Necessarily at Every Layer
  • POSE: EFFICIENT CONTEXT WINDOW EXTENSION OF LLMS VIA POSITIONAL SKIP-WISE TRAINING
  • LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS
  • LongAlign: A Recipe for Long Context Alignment of Large Language Models
  • Data Engineering for Scaling Language Models to 128K Context
  • MEGALODON: Efficient LLM Pretraining and Inference with Unlimited Context Length
  • Make Your LLM Fully Utilize the Context
  • Untie the Knots: An Efficient Data Augmentation Strategy for Long-Context Pre-Training in Language Models
• Optimisation de l'efficacité
  • Efficient Attention: Attention with Linear Complexities
  • Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
  • HyperAttention: Long-context Attention in Near-Linear Time
  • FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
  • With Greater Text Comes Greater Necessity: Inference-Time Training Helps Long Text Generation

LLM长文本生成（long_output）

• Re3 : Generating Longer Stories With Recursive Reprompting and Revision
• RECURRENTGPT: Interactive Generation of (Arbitrarily) Long Text
• DOC: Improving Long Story Coherence With Detailed Outline Control
• Weaver: Foundation Models for Creative Writing
• Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models
• Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations

NL2SQL

• 大模型方案
  • DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction
  • C3: Zero-shot Text-to-SQL with ChatGPT
  • SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL
  • BIRD Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQL
  • A Case-Based Reasoning Framework for Adaptive Prompting in Cross-Domain Text-to-SQL
  • ChatDB: AUGMENTING LLMS WITH DATABASES AS THEIR SYMBOLIC MEMORY
  • A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability
  • Few-shot Text-to-SQL Translation using Structure and Content Prompt Learning
  • Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
• Domain Knowledge Intensive
  • Towards Knowledge-Intensive Text-to-SQL Semantic Parsing with Formulaic Knowledge
  • Bridging the Generalization Gap in Text-to-SQL Parsing with Schema Expansion
  • Towards Robustness of Text-to-SQL Models against Synonym Substitution
  • FinQA: A Dataset of Numerical Reasoning over Financial Data
• Autres
  • RESDSQL: Decoupling Schema Linking and Skeleton Parsing for Text-to-SQL
  • MIGA: A Unified Multi-task Generation Framework for Conversational Text-to-SQL

主流LLMS和预训练

• GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL
• PaLM: Scaling Language Modeling with Pathways
• PaLM 2 Technical Report
• GPT-4 Technical Report
• Backpack Language Models
• LLaMA: Open and Efficient Foundation Language Models
• Llama 2: Open Foundation and Fine-Tuned Chat Models
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
• OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch
• Mistral 7B
• Ziya2: Data-centric Learning is All LLMs Need
• MEGABLOCKS: EFFICIENT SPARSE TRAINING WITH MIXTURE-OF-EXPERTS
• TUTEL: ADAPTIVE MIXTURE-OF-EXPERTS AT SCALE
• Phi1- Textbooks Are All You Need
• Phi1.5- Textbooks Are All You Need II: phi-1.5 technical report
• Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
• Gemini: A Family of Highly Capable Multimodal Models
• In-Context Pretraining: Language Modeling Beyond Document Boundaries
• LLAMA PRO: Progressive LLaMA with Block Expansion
• QWEN TECHNICAL REPORT
• Fewer Truncations Improve Language Modeling
• ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools
• Phi-4 Technical Report
• Byte Latent Transformer: Patches Scale Better Than Tokens
• Qwen2.5 Technical Report
• DeepSeek-V3 Technical Report
• Mixtral of Experts

Code Generation

• Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering
• Codeforces as an Educational Platform for Learning Programming in Digitalization
• Competition-Level Code Generation with AlphaCode
• CODECHAIN: TOWARDS MODULAR CODE GENERATION THROUGH CHAIN OF SELF-REVISIONS WITH REPRESENTATIVE SUB-MODULES
• AI Coders Are Among Us: Rethinking Programming Language Grammar Towards Efficient Code Generation

降低模型幻觉(reliability)

• Enquête
  • Large language models and the perils of their hallucinations
  • Survey of Hallucination in Natural Language Generation
  • Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models
  • A Survey of Hallucination in Large Foundation Models
  • A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
  • Calibrated Language Models Must Hallucinate
  • Why Does ChatGPT Fall Short in Providing Truthful Answers?
• Prompt or Tunning
  • R-Tuning: Teaching Large Language Models to Refuse Unknown Questions
  • PROMPTING GPT-3 TO BE RELIABLE
  • ASK ME ANYTHING: A SIMPLE STRATEGY FOR PROMPTING LANGUAGE MODELS
  • On the Advance of Making Language Models Better Reasoners
  • RefGPT: Reference → Truthful & Customized Dialogues Generation by GPTs and for GPTs
  • Rethinking with Retrieval: Faithful Large Language Model Inference
  • GENERATE RATHER THAN RETRIEVE: LARGE LANGUAGE MODELS ARE STRONG CONTEXT GENERATORS
  • Large Language Models Struggle to Learn Long-Tail Knowledge
• Decoding Strategy
  • Trusting Your Evidence: Hallucinate Less with Context-aware Decoding
  • SELF-REFINE:ITERATIVE REFINEMENT WITH SELF-FEEDBACK
  • Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference
  • Inference-Time Intervention: Eliciting Truthful Answers from a Language Model
  • Enabling Large Language Models to Generate Text with Citations
  • Factuality Enhanced Language Models for Open-Ended Text Generation
  • KL-Divergence Guided Temperature Sampling
  • KCTS: Knowledge-Constrained Tree Search Decoding with Token-Level Hallucination Detection
  • CONTRASTIVE DECODING IMPROVES REASONING IN LARGE LANGUAGE MODEL
  • Contrastive Decoding: Open-ended Text Generation as Optimization
• Probing and Detection
  • Automatic Evaluation of Attribution by Large Language Models
  • QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization
  • Zero-Resource Hallucination Prevention for Large Language Models
  • LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples
  • Language Models (Mostly) Know What They Know
  • LM vs LM: Detecting Factual Errors via Cross Examination
  • Do Language Models Know When They're Hallucinating References?
  • SELFCHECKGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models
  • SELF-CONTRADICTORY HALLUCINATIONS OF LLMS: EVALUATION, DETECTION AND MITIGATION
  • Self-consistency for open-ended generations
  • Improving Factuality and Reasoning in Language Models through Multiagent Debate
  • Selective-LAMA: Selective Prediction for Confidence-Aware Evaluation of Language Models
  • Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
• Reviewing and Calibration
  • Truth-o-meter: Collaborating with llm in fighting its hallucinations
  • RARR: Researching and Revising What Language Models Say, Using Language Models
  • CRITIC: LARGE LANGUAGE MODELS CAN SELFCORRECT WITH TOOL-INTERACTIVE CRITIQUING
  • VALIDATING LARGE LANGUAGE MODELS WITH RELM
  • PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions
  • Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback
  • Adaptive Chameleon or Stubborn Sloth: Unraveling the Behavior of Large Language Models in Knowledge Clashes
  • Woodpecker: Hallucination Correction for Multimodal Large Language Models
  • Zero-shot Faithful Factual Error Correction
  • LARGE LANGUAGE MODELS CANNOT SELF-CORRECT REASONING YET
  • Training Language Models to Self-Correct via Reinforcement Learning

大模型评估（evaluation）

• 事实性评估
  • TRUSTWORTHY LLMS: A SURVEY AND GUIDELINE FOR EVALUATING LARGE LANGUAGE MODELS' ALIGNMENT
  • TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models
  • TRUE: Re-evaluating Factual Consistency Evaluation
  • FACTSCORE: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
  • KoLA: Carefully Benchmarking World Knowledge of Large Language Models
  • When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories
  • FACTOOL: Factuality Detection in Generative AI A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios
  • LONG-FORM FACTUALITY IN LARGE LANGUAGE MODELS
• 检测任务
  • Detecting Pretraining Data from Large Language Models
  • Scalable Extraction of Training Data from (Production) Language Models
  • Rethinking Benchmark and Contamination for Language Models with Rephrased Samples

推理优化(inference)

• Fast Transformer Decoding: One Write-Head is All You Need
• Fast Inference from Transformers via Speculative Decoding
• GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
• Skeleton-of-Thought: Large Language Models Can Do Parallel Decoding
• SkipDecode: Autoregressive Skip Decoding with Batching and Caching for Efficient LLM Inference
• BatchPrompt: Accomplish more with less
• You Only Cache Once: Decoder-Decoder Architectures for Language Models
• XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models
• Precise Length Control in Large Language Models
• Top-nσ: Not All Logits Are You Need
• Prompt Cache: Modular Attention Reuse for Low-Latency Inference

模型知识编辑黑科技(model_edit)

• ROME：Locating and Editing Factual Associations in GPT
• Transformer Feed-Forward Layers Are Key-Value Memories
• MEMIT: Mass-Editing Memory in a Transformer
• MEND：Fast Model Editing at Scale
• Editing Large Language Models: Problems, Methods, and Opportunities
• Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
• Automata-based constraints for language model decoding
• SGLang: Efficient Execution of Structured Language Model Programs

模型合并和剪枝(model_merge)

• Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM
• DARE Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
• EDITING MODELS WITH TASK ARITHMETIC
• TIES-Merging: Resolving Interference When Merging Models
• LM-Cocktail: Resilient Tuning of Language Models via Model Merging
• SLICEGPT: COMPRESS LARGE LANGUAGE MODELS BY DELETING ROWS AND COLUMNS
• Checkpoint Merging via Bayesian Optimization in LLM Pretrainin
• Arcee's MergeKit: A Toolkit for Merging Large Language Models

MOE

• Tricks for Training Sparse Translation Models
• ST-MoE: Designing Stable and Transferable Sparse Expert Models
• Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
• GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
• OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
• DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale
• Dense-to-Sparse Gate for Mixture-of-Experts
• Efficient Large Scale Language Modeling with Mixtures of Experts

Multimodal

• InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
• Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
• LLava Visual Instruction Tuning
• MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models
• BLIVA: A Simple Multimodal LLM for Better Handling of Text-Rich Visual Questions
• mPLUG-Owl : Modularization Empowers Large Language Models with Multimodality
• LVLM eHub: A Comprehensive Evaluation Benchmark for Large VisionLanguage Models
• Mirasol3B: A Multimodal Autoregressive model for time-aligned and contextual modalities
• PaLM-E: An Embodied Multimodal Language Model
• TabLLM: Few-shot Classification of Tabular Data with Large Language Models
• AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling
• Sora tech report
• Towards General Computer Control: A Multimodal Agent for Red Dead Redemption II as a Case Study
• OCR
  • Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
  • Large OCR Model:An Empirical Study of Scaling Law for OCR
  • ON THE HIDDEN MYSTERY OF OCR IN LARGE MULTIMODAL MODELS
• PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers
• Many-Shot In-Context Learning in Multimodal Foundation Models
• Adding Conditional Control to Text-to-Image Diffusion Models
• Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
• ShowUI: One Vision-Language-Action Model for GUI Visual Agent

Résumé

• A Survey of Large Language Models
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
• Paradigm Shift in Natural Language Processing
• Pre-Trained Models: Past, Present and Future
• What Language Model Architecture and Pretraining objects work best for zero shot generalization
• Towards Reasoning in Large Language Models: A Survey
• Reasoning with Language Model Prompting: A Survey
• An Overview on Language Models: Recent Developments and Outlook
• A Survey of Large Language Models[6.29更新版]
• Unifying Large Language Models and Knowledge Graphs: A Roadmap
• Augmented Language Models: a Survey
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey
• Challenges and Applications of Large Language Models
• The Rise and Potential of Large Language Model Based Agents: A Survey
• Large Language Models for Information Retrieval: A Survey
• AI Alignment: A Comprehensive Survey
• Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications
• Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
• A Survey on Language Models for Code
• Model-as-a-Service (MaaS): A Survey

大模型能力探究

• In Context Learning
  • LARGER LANGUAGE MODELS DO IN-CONTEXT LEARNING DIFFERENTLY
  • How does in-context learning work? A framework for understanding the differences from traditional supervised learning
  • Why can GPT learn in-context? Language Model Secretly Perform Gradient Descent as Meta-Optimizers
  • Rethinking the Role of Demonstrations What Makes incontext learning work?
  • Trained Transformers Learn Linear Models In-Context
  • In-Context Learning Creates Task Vectors
  • FUNCTION VECTORS IN LARGE LANGUAGE MODELS
• 涌现能力
  • Sparks of Artificial General Intelligence: Early experiments with GPT-4
  • Emerging Ability of Large Language Models
  • LANGUAGE MODELS REPRESENT SPACE AND TIME
  • Are Emergent Abilities of Large Language Models a Mirage?
• 能力评估
  • IS CHATGPT A GENERAL-PURPOSE NATURAL LANGUAGE PROCESSING TASK SOLVER?
  • Can Large Language Models Infer Causation from Correlation?
  • Holistic Evaluation of Language Model
  • Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond
  • Theory of Mind May Have Spontaneously Emerged in Large Language Models
  • Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language Models
  • Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations
  • Demystifying GPT Self-Repair for Code Generation
  • Evidence of Meaning in Language Models Trained on Programs
  • Can Explanations Be Useful for Calibrating Black Box Models
  • On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective
  • Language acquisition: do children and language models follow similar learning stages?
  • Language is primarily a tool for communication rather than thought
• 领域能力
  • Capabilities of GPT-4 on Medical Challenge Problems
  • Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
• Understanding LLM Embeddings for Regression

Prompt Tunning范式

• Tunning Free Prompt
  • GPT2: Language Models are Unsupervised Multitask Learners
  • GPT3: Language Models are Few-Shot Learners
  • LAMA: Language Models as Knowledge Bases?
  • AutoPrompt: Eliciting Knowledge from Language Models
• Fix-Prompt LM Tunning
  • T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
  • PET-TC(a): Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
  • PET-TC(b): PETSGLUE It's Not Just Size That Matters Small Language Models are also few-shot learners
  • GenPET: Few-Shot Text Generation with Natural Language Instructions
  • LM-BFF: Making Pre-trained Language Models Better Few-shot Learners
  • ADEPT: Improving and Simplifying Pattern Exploiting Training
• Fix-LM Prompt Tunning
  • Prefix-tuning: Optimizing continuous prompts for generation
  • Prompt-tunning: The power of scale for parameter-efficient prompt tuning
  • P-tunning: GPT Understands Too
  • WARP: Word-level Adversarial ReProgramming
• LM + Prompt Tunning
  • P-tunning v2: Prompt Tuning Can Be Comparable to Fine-tunning Universally Across Scales and Tasks
  • PTR: Prompt Tuning with Rules for Text Classification
  • PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains
• Fix-LM Adapter Tunning
  • LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
  • LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning
  • Parameter-Efficient Transfer Learning for NLP
  • INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGE MODEL FINE-TUNING
  • DoRA: Weight-Decomposed Low-Rank Adaptation
• Representation Tuning
• ReFT: Representation Finetuning for Language Models

Timeseries LLM

• TimeGPT-1
• Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
• TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
• Large Language Models Are Zero-Shot Time Series Forecasters
• TEMPO: PROMPT-BASED GENERATIVE PRE-TRAINED TRANSFORMER FOR TIME SERIES FORECASTING
• Generative Pre-Training of Time-Series Data for Unsupervised Fault Detection in Semiconductor Manufacturing
• Lag-Llama: Towards Foundation Models for Time Series Forecasting
• PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting

Quanization

• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
• LLM-QAT: Data-Free Quantization Aware Training for Large Language Models
• LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale
• SmoothQuant Accurate and Efficient Post-Training Quantization for Large Language Models

Adversarial Attacking

• Curiosity-driven Red-teaming for Large Language Models
• Red Teaming Language Models with Language Models
• EXPLORE, ESTABLISH, EXPLOIT: RED-TEAMING LANGUAGE MODELS FROM SCRATCH

Modèle de dialogue

• LaMDA: Language Models for Dialog Applications
• Sparrow: Improving alignment of dialogue agents via targeted human judgements
• BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage
• How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
• DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI
• Enhancing Chat Language Models by Scaling High-quality Instructional Conversations
• DiagGPT: An LLM-based Chatbot with Automatic Topic Management for Task-Oriented Dialogue

Autres

• Pretraining on the Test Set Is All You Need 哈哈作者你是懂讽刺文学的
• Learnware: Small Models Do Big
• The economic potential of generative AI
• A PhD Student's Perspective on Research in NLP in the Era of Very Large Language Models