GPA LM

Une enquête sur les agents de jeu et les grands modèles: méthodes, applications et défis

---

? À venir bientôt : Ajoutez une intro à une phrase à chaque article.

[ArXiv] ♦ [PDF]

? Nouvelles

[2024/02/06] Création de ce référentiel pour maintenir la liste des articles sur des agents basés sur LLM pour le jeu. Plus de papiers arrivent bientôt!

2024/08

• [2024/08/07] Optimus-1: les agents hybrides à mémoire multimodale autonomisés excellent dans les tâches longs-horizon. [papier] [Code]

2024/07

• [2024/07/21] VideogameBunny: Vers les assistants de vision pour les jeux vidéo. [papier] [Code]
• [2024/07/05] Autoverse: un langage de jeu évolutif pour apprendre des agents incarnés robustes. [papier]
• [2024/07/02] Cradle: autonomisation des agents de la fondation vers le contrôle général de l'ordinateur. [document] [Projet]

2024/06

• [2024/06/20] Deux girafes dans un champ de saleté: utiliser le jeu pour étudier la modélisation de la situation dans de grands modèles multimodaux. [papier]

2024/05

• [2024/05/23] Vers une mise à la terre LLM efficace pour une collaboration multi-agents incarnée. [document] [Projet]
• [2024/05/11] Invite-Gaming: une étude pilote sur l'agent LLM-Evaluating dans un jeu d'énergie significatif. [papier]

2024/04

• [2024/04/17] Agentkit: ingénierie de flux avec des graphiques, pas de codage. [papier] [Code]
• [2024/04/16] Le jeu de langage adversaire auto-play améliore le raisonnement LLM. [papier] [Code]

2024/03

• [2024/03/23] Évaluez les LLM en temps réel avec Street Fighter III. [code]
• [2024/03/19] Les agents LLM incarnés apprennent à coopérer dans des équipes organisées. [papier]
• [2024/03/18] Les agents autonomes LLM-Augmentation peuvent-ils coopérer?, Une évaluation de leurs capacités coopératives par la fusion. [papier]
• [2024/03/18] ENVGEN: Génération et adaptation des environnements via des LLM pour la formation d'agents incarnés. [papier]
• [2024/03/18] MineDreamer: Apprendre à suivre les instructions via la chaîne-imagination pour le contrôle du monde simulé. [papier] [Code]
• [2024/03/14] Échelle des agents instructables dans de nombreux mondes simulés. [papier]
• [2024/03/13] Système auto-organisateur hiérarchique pour la navigation multi-agents ouverts. [papier]
• [2024/03/13] Sotopia - $ pi $: apprentissage interactif des agents linguistiques socialement intelligents. [papier] [Code]
• [2024/03/08] GPT-4 exécutera-t-il DOOM? [papier] [Code]
• [2024/03/05] Vers le contrôle général de l'ordinateur: un agent multimodal pour Red Dead Redemption II comme étude de cas. [document] [Projet]
• [2024/03/01] Jouer Nethack avec LLMS: potentiel et limitations en tant qu'agents zéro-shot. [papier] [Code]

2024/02

• [2024/02/29] RL-GPT: intégration d'apprentissage en renforcement et de code-astuce. [papier]
• [2024/02/27] Agent-PRO: apprendre à évoluer via la réflexion et l'optimisation au niveau de la politique. [papier] [Code]
• [2024/02/21] PCA-BENCH: Évaluation des modèles de langage multimodal dans la chaîne de perception-cognition-action. [papier] [Code]
• [2024/02/20] Et si les LLM ont des visions du monde différentes: simuler des civilisations extraterrestres avec des agents basés sur LLM. [papier] [Code]
• [2024/02/07] S-Agents: Agents auto-organisés dans des environnements ouverts. [papier]
• [2024/02/04] Améliorez le raisonnement pour les modèles de grande langue dans le jeu de loup-garou. [papier]
• [2024/02/02] Pokéllmon: un agent de parité humaine pour les batailles Pokémon avec des modèles de grands langues. [papier] [Code]

2024/01

• [2024/01/31] SWARMBRAIN: Agent incarné pour le jeu de stratégie en temps réel Starcraft II via de grands modèles de langue. [papier]
• [2024/01/19] Civrealm: une odyssée d'apprentissage et de raisonnement dans la civilisation pour les agents décisionnels. [papier] [Code]
• [2024/01/17] Recherche d'instances de bug dans les référentiels vidéo de gameplay. [Papier] [Données]
• [2024/01/04] POKERGPT: Un solveur léger de bout en bout pour le Texas Hold'em multi-joueurs via un modèle de grande langue. [papier]

2023/12

• [2023/12/29] Coopération à la volée: exploration des agents linguistiques pour le travail d'équipe ad hoc dans le jeu Avalon. [papier]
• [2023/12/23] Agent de langage hiérarchique alimenté par LLM pour la coordination humaine-AI en temps réel. [document] [Projet]
• [2023/12/19] Les modèles de grands langues jouent Starcraft II: repères et une approche de la chaîne de résumé. [papier]
• [2023/12/14] Auto MC-Reward: conception de récompense dense automatisée avec des modèles de grands langues pour Minecraft. [papier]
• [2023/12/12] MP5: un système incarné à extrémité ouverte multimodale dans Minecraft via une perception active. [papier] [Code]
• [2023/12/08] Oracle d'Apollo: raisonnement de récupération-augmentation dans les débats multi-agents. [papier] [Code]
• [2023/12/08] Glitchbench: Les grands modèles multimodaux peuvent-ils détecter les problèmes de jeu vidéo? [papier] [Code]
• [2023/12/07] Un cadre pour explorer les perceptions des joueurs du dialogue généré par LLM dans les jeux vidéo commerciaux. [Paper] [Site Web]
• [2023/12/05] Agents créatifs: autonomiser les agents avec imagination pour les tâches créatives. [papier] [Code]
• [2023/12/04] Encodeurs visuels pour l'apprentissage d'imitation économe en données dans les jeux vidéo modernes. [papier]
• [2023/12/02] Construire un agent incarné à extrémité ouverte via une adaptation bidirectionnelle de politique linguistique. [papier]
• [2023/12/01] Déchiffrer des détectives numériques: comprendre les comportements et les capacités LLM dans des jeux mystères multi-agents. [papier]

2023/11

• [2023/11/28] Guerre et paix (Waragent): simulation multi-agents basée sur un modèle de grande langue des guerres mondiales. [papier] [Code]
• [2023/11/26] Voir et penser: agent incarné dans un environnement virtuel. [papier] [Code]
• [2023/11/20] DesignGPT: collaboration multi-agents dans la conception. [papier]
• [2023/11/14] Magic: Investigation of Large Language Model propulsé Multi-Agent en cognition, adaptabilité, rationalité et collaboration. [papier] [Code]
• [2023/11/10] JARVIS-1: Agents multi-tâches du monde ouvert avec des modèles de langage multimodal à mémoire de mémoire. [papier] [Code]
• [2023/11/08] Adapter: décomposition et planification à besoins avec des modèles de langue. [papier] [Code]

2023/10

• [2023/10/31] Tirant des jeux de devinettes de mots pour évaluer l'intelligence des modèles de gros langues. [papier] [Code]
• [2023/10/29] Agents linguistiques avec apprentissage de renforcement pour le jeu stratégique dans le jeu de loup-garou. [papier]
• [2023/10/23] Enquête sur l'agent basée sur LLM: collaboration et confrontation dans le gameplay d'Avalon. [papier]
• [2023/10/20] Steve-Eye: équiper des agents incarnés basés sur LLM avec une perception visuelle dans les mondes ouverts. [papier] [Code]
• [2023/10/18] Sotopia: évaluation interactive de l'intelligence sociale dans les agents linguistiques. [papier] [Code]
• [2023/10/16] Caracter-llm: un agent formable pour le jeu de rôle. [papier] [Code]
• [2023/10/13] LLAMA Rider: Spurring de grands modèles de langue pour explorer le monde ouvert. [papier]
• [2023/10/12] GameGPT: Framework collaboratif multi-agent pour le développement de jeux. [papier]
• [2023/10/12] Groot: Apprendre à suivre les instructions en regardant des vidéos de jeu. [papier] [Code]
• [2023/10/12] Octopus: programmeur de langue visuelle incarnée à partir de la rétroaction environnementale. [papier] [Code]
• [2023/10/10] Metaagents: Simulation des interactions des comportements humains pour la coordination orientée vers les tâches basée sur LLM via des agents génératifs collaboratifs. [papier]
• [2023/10/09] Agents humanoïdes: plate-forme pour simuler des agents génératifs de type humain. [papier] [Code]
• [2023/10/08] Avalonbench: Évaluation de LLMS jouant au jeu d'Avalon. [papier] [Code]
• [2023/10/06] Curiosité prudente: une nouvelle approche d'un agent de gameplay semblable à un humain. [papier] [Code]
• [2023/10/05] LLM-Coordination: évaluation et analyse des capacités de coordination multi-agents dans les modèles de grande langue. [papier] [Code]
• [2023/10/03] Agents Lyfe: agents génératifs pour les interactions sociales en temps réel à faible coût. [papier]
• [2023/10/03] Vers la prise de décision incarnée de bout en bout via un modèle de langue grand multimodale: explorations avec gpt4-vision et au-delà. [papier] [Code]
• [2023/10/02] SmartPlay: une référence pour les LLM en tant qu'agents intelligents. [papier] [Code]
• [2023/10/02] Game de pensées d'Avalon: Bataille contre la tromperie à travers une contemplation récursive. [papier]
• [2023/10/01] Rolellm: analyse comparative, suscitant et améliorant les capacités de jeu de rôles des modèles de grande langue. [papier] [Code]

2023/09

• [2023/09/29] Adarefiner: raffinage des décisions des modèles linguistiques avec rétroaction adaptative. [papier] [Code]
• [2023/09/29] Motif: Motivation intrinsèque à partir de la rétroaction de l'intelligence artificielle. [papier] [Code]
• [2023/09/29] LLM-Delibération: Évaluation des LLM avec des jeux de négociation multi-agents interactifs. [papier] [Code]
• [2023/09/29] Suspion-Agent: jouer à des jeux d'information imparfaits avec la théorie de la conscience de l'esprit GPT-4. [papier] [Code]
• [2023/09/29] AutoAgents: un cadre pour la génération d'agents automatique. [papier] [Code]
• [2023/09/21] La vraie connaissance provient de la pratique: aligner les modèles de gros langues avec des environnements incarnés via l'apprentissage du renforcement. [papier] [Code]
• [2023/09/18] Mindagent: interaction de jeu émergente. [papier] [Code]
• [2023/09/14] Agents: un cadre open-source pour les agents en langue autonome. [papier] [Code]
• [2023/09/09] Explorer des modèles de grands langues pour les jeux de communication: une étude empirique sur le loup-garou. [papier]

2023/08

• [2023/08/23] Les bons joueurs de poker sont-ils des bons joueurs de poker et GPT-4? - Une analyse pré-flop. [papier]
• [2023/08/22] ProAgent: Construire une IA coopérative proactive à l'aide de modèles de langage grand. [papier] [Code]
• [2023/08/21] Agentverse: faciliter la collaboration multi-agents et explorer les comportements émergents chez les agents. [papier] [Code]
• [2023/08/19] GameEval: évaluation des LLM sur les jeux conversationnels. [papier] [Code]
• [2023/08/16] AUTOGEN: Activation des applications LLM de nouvelle génération via le cadre de conversation multi-agents. [papier]
• [2023/08/15] CALYPSO: LLMS en tant qu'assistants de Dungeon Master. [papier]
• [2023/08/08] AgentsIms: un bac à sable open source pour l'évaluation du modèle de langue grande. [papier]
• [2023/08/01] MetAgpt: Meta Programmation pour un cadre collaboratif multi-agents. [papier] [Code]

2023/07

• [2023/07/24] Tachikuma: comprendre les interactions complexes avec des objets multi-caractères et nouveaux par des modèles de grande langue. [papier]
• [2023/07/21] Perception sélective: optimisation des descriptions d'états avec apprentissage du renforcement pour les acteurs du modèle de langue. [document] [Projet]
• [2023/07/12] SayPlan: mise à la terre des modèles de grande langue en utilisant des graphiques de scène 3D pour la planification des tâches évolutives. [papier]
• [2023/07/05] Construire des agents incarnés coopératifs modulaires avec des modèles de grands langues. [papier] [Code]
• [2023/07/04] TAPA: Planification des tâches incarnée avec des modèles de gros langues. [papier] [Code]

2023/06

• [2023/06/20] Sprint: pré-formation de politique évolutive via le relances de l'enseignement du langage. [papier] [Code]
• [2023/06/15] ChessGPT: Bridging Policy Learning and Language Modélisation. [papier] [Code]
• [2023/06/02] OMNI: ouverte via des modèles de notions humaines d'intérêt. [papier] [Code]
• [2023/06/01] Steve-1: un modèle génératif pour le texte à la bahavior dans Minecraft. [papier] [Code]

2023/05

• [Mai-23] Cottage: Génération cohérente des jeux d'aventure en texte. [papier] [Code]
• [2023/05/30] Alphablock: Finetuning incarné pour le raisonnement en langue visuelle dans la manipulation du robot. [papier]
• [2023/05/26] Jouer à des jeux répétés avec de grands modèles de langue. [papier]
• [2023/05/25] Voyager: un agent incarné à extrémité ouverte avec de grands modèles de langage. [papier] [Code]
• [2023/05/25] Ghost in the Minecraft: Généralement des agents capables pour les environnements en monde ouvert via des modèles de grande langue avec des connaissances et de la mémoire basées sur le texte. [papier] [Code]
• [2023/05/24] Spring: étudier les papiers et raisonner pour jouer à des jeux. [papier] [Code]
• [2023/05/23] Amélioration de la factualité et du raisonnement dans les modèles de langues grâce à un débat multi-agents. [papier] [Code]
• [2023/05/17] Amélioration de la négociation du modèle de langue avec l'apprentissage de l'auto-play et du contexte à partir des commentaires de l'IA. [papier] [Code]
• [2023/05/09] Tidybot: Assistance aux robots personnalisés avec des modèles de gros langues. [papier] [Code]
• [2023/05/01] ARK: réalité augmentée avec connaissance une capacité émergente interactive. [papier]

2023/04

• [2023/04/07] Agents génératifs: Simulacra interactive du comportement humain. [papier] [Code]
• [2023/04/06] Les modèles de grande langue peuvent-ils bien jouer à des jeux de texte? Questions actuelles de pointe et ouvertes. [papier] [Code]
• [APR-23] Génération de quêtes et de dialogues personnalisés dans les jeux de rôle: une approche basée sur les modèles de graphiques et de langage de connaissances. [papier] [Code]

2023/03

• [2023/03/31] Camel: agents communicatifs pour l'exploration de «l'esprit» de la société de modèles de grande langue. [papier] [Code]
• [2023/03/29] Apprentissage et planification du renforcement des compétences pour les tâches longs-horizon du monde ouvert. [papier] [Code]
• [2023/03/06] PALM-E: Un modèle de langage multimodal incarné. [papier]

2023/02

• [2023/02/13] Guider la pré-formation dans l'apprentissage du renforcement avec des modèles de langue importants. [papier] [Code]
• [2023/02/12] Mariogpt: Génération Text2Level ouverte à travers de grands modèles de langue. [papier] [Code]
• [2023/02/03] Décrire, expliquer, planifier et sélectionner: la planification interactive avec LLMS permet aux agents multi-tâches en monde ouvert. [papier] [Code]

2023/01

• [2023/01/28] Les agents incarnés rêvent-ils de moutons pixéliens: prise de décision incarnée en utilisant la modélisation mondiale guidée par le langage. [papier]
• [2023/01/21] Contrôle multi-tâches du monde ouvert grâce à l'apprentissage de la représentation-objectif et à la prédiction de l'horizon adaptative. [papier] [Code]

2022

• [2022/11/22] Le niveau de l'homme dans le jeu de la diplomatie en combinant des modèles linguistiques avec un raisonnement stratégique. [papier]
• [2022/11/21] Acquisition de compétences robotiques via une augmentation de l'enseignement avec des modèles de vision. [papier]
• [2022/10/24] Représentations mondiales émergentes: explorer un modèle de séquence formé sur une tâche synthétique. [papier] [Code]
• [2022/10/05] Les grands modèles de langue sont de très bons détecteurs de bogues de jeux vidéo à tirs zéro. [papier] [Code]
• [2022/08/08] Simulacra social: création de prototypes peuplés pour les systèmes informatiques sociaux. [papier]
• [2022/07/12] Monologue intérieur: raisonnement incarné par la planification avec des modèles de langue. [papier]
• [2022/06/23] Vidéo Pretoring (VPT): Apprendre à agir en regardant des vidéos en ligne non étiquetées. [papier]
• [2022/06/07] Minedojo: Construire des agents incarnés ouverts avec des connaissances à l'échelle d'Internet. [papier] [Code]

Citation

Si vous trouvez ce référentiel utile, veuillez citer notre article:

 @misc{xu2024survey,
      title={A Survey on Game Playing Agents and Large Models: Methods, Applications, and Challenges},
      author={Xinrun Xu, Yuxin Wang, Chaoyi Xu, Ziluo Ding, Jiechuan Jiang, Zhiming Ding, Börje F. Karlsson},
      year={2024},
      eprint={2403.10249},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}

Contact

• Börje F. Karlsson @tellarin: [email protected]
• Xinrun xu @xinrunxu: [email protected]