Téléchargement GUNDAM - Téléchargement du code source GUNDAM

GUNDAM

Code Source AI

1.0.0

Télécharger

Golden Plug-In Data Manager (Gundam)

Projet | Papier | Documentation

Gundam est un gestionnaire de données qui utilise des modèles de langage pour gérer efficacement les données textuelles, qui est construite sur Pytorch. Gundam est:

Complet : Gundam fournit un gestionnaire de données comprenant notre mineur proposé, un générateur basé sur GPT-2 et un retriever de démonstration, et tous ces composants sont extensibles.
Flexible : Gundam prend en charge les modèles de langue GPT-2 avec différentes tailles.
Efficace : Gundam fournit un mineur un à un efficace pour vérifier la qualité des données.

Brève introduction

Gundam est un nouveau cadre de gestion des données qui mesure la suffisance et la nécessité de brancher des démonstrations conditionnées aux modèles de langage. Nous montrons que les métriques de suffisance et de nécessité proposées peuvent être exploitées sur les instances de démonstration (c.-à-d. Le niveau d'instance) et les ensembles de démonstration (c.-à-d. Le niveau de définition). Ainsi, l'ensemble de données de plug-in suffisantes et nécessaires, nommées comme un ensemble de plug-in dorées, peut être considérée comme un ensemble de base comprenant les échantillons informatifs. Étant donné que l'énumération et la mesure de tous les sous-ensembles possibles sont irréalisables, nous concevons de nouveaux algorithmes de recherche basés sur des arbres pour exploiter l'ensemble de plug-in Golden. Notez que l'ensemble du plug-in Golden pourrait être pré-rémunéré et stocké pour économiser les coûts de calcul en ligne. À cet égard, les retrievers de démonstration non paramétriques pourraient fonctionner sur l'ensemble de plug-in doré stocké au lieu de l'ensemble du corpus de données, pour éviter de récupérer des démonstrations insuffisantes ou inutiles. De plus, étant donné que de nombreux corpus de données du monde réel continueraient de croître, nous développons un algorithme de mise à jour incrémentiel pour éviter de recueillir Gundam sur toutes les pièces modifiées et inchangées.

Cas d'utilisation

L'avantage significatif de Gundam est que Gundam peut être facilement déployé sur n'importe quelle plate-forme de gestion des données existante, car l'idée principale de Gundam est d'attribuer différents niveaux de priorité aux données stockées pour montrer leurs qualités de données concernant le modèle de langage donné.

TODO (dernière mise à jour au 2023/07/24)

Libérez les versions de base des générateurs de mineurs un à un et basés sur GPT-2 dans les paramètres d'apprentissage non supervisés (aka, inférence à quelques coups) et les paramètres d'apprentissage supervisés (aka, inférence d'échauffement).
Prise en charge des retrievers de démonstration aléatoires, des retrievers de démonstration basés sur la pertinence et des retrievers de démonstration basés sur la diversité.
Prise en charge des générateurs basés sur la paire à un et GPT-3.
Libérez un ensemble de données textuelles de suffisance et de nécessité.
Libérez le didacticiel détaillé du document et les conseils en lecture.

Citant le noyau

 @software { GUNDAM ,
  author = { Jiarui Jin, Yuwei Wu, Mengyue Yang, Xiaoting He, Weinan Zhang, Yiming Yang, Yong Yu, and Jun Wang } ,
  title = { GUNDAM: A Data-Centric Manager for Your Plug-in Data with Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.0 } ,
  howpublished = { url{https://github.com/GUNDAM-Labet/GUNDAM} } ,
}