AMOS
v0.1.0
Ce référentiel contient les scripts pour les modèles Amos à réglage fin sur les repères Glue et Squad 2.0.
Papier: Encodeurs de texte pré-formation avec mélange contradictoire de générateurs de signaux d'entraînement
Nous fournissons les scripts en deux versions, sur la base de deux bases de code open source largement utilisées, de la bibliothèque Fairseq et de la bibliothèque de transformateurs HuggingFace. Les deux versions de code sont principalement équivalentes en fonctionnalité, et vous êtes libre de les utiliser. Cependant, nous notons que la version Fairseq est ce que nous avons utilisé dans nos expériences, et elle reproduira mieux les résultats dans le papier; La version HuggingFace est implémentée plus tard pour assurer la compatibilité avec la bibliothèque HuggingFace Transformers et peut donner des résultats légèrement différents.
Veuillez suivre les fichiers ReadMe sous les deux répertoires pour exécuter le code.
La référence d'évaluation générale de la compréhension du langage (GLUE) est une collection de tâches de compréhension du langage des phrases ou des phrases pour évaluer et analyser les systèmes de compréhension du langage naturel.
Les résultats de fonction de développement de colle du modèle Amos Base ++ sont les suivants (médiane de 5 graines aléatoires différentes):
| Modèle | MNLI-M / MM | QQP | QNLI | SST-2 | Cola | Rte | MRPC | STS-B | AVG |
|---|---|---|---|---|---|---|---|---|---|
| Amos Base ++ | 90,5 / 90.4 | 92.4 | 94.4 | 95.5 | 71.8 | 86.6 | 91.7 | 92.0 | 89.4 |
Les résultats de l'ensemble de tests de colle du modèle AMOS Base ++ sont les suivants (pas d'ensemble, astuces spécifiques à la tâche, etc.):
| Modèle | MNLI-M / MM | QQP | QNLI | SST-2 | Cola | Rte | MRPC | STS-B | AVG |
|---|---|---|---|---|---|---|---|---|---|
| Amos Base ++ | 90.4 / 89.9 | 90.2 | 94.6 | 96.8 | 69.2 | 83.6 | 88.9 | 91.3 | 88.1 |
La question de la question de Stanford répondant à un ensemble de données (Squad) est un ensemble de données de compréhension en lecture, composé de questions posées par des travailleurs de mi-temps sur un ensemble d'articles de Wikipedia, où la réponse à chaque question est un segment de texte, ou de portée, du passage de lecture correspondant, ou de la question pourrait être incomparable.
Squad 2.0 Dev set Resseaux des Amos Base ++ et de grands modèles ++ sont les suivants (médiane de 5 graines aléatoires différentes):
| Modèle | Em | F1 |
|---|---|---|
| Amos Base ++ | 85.0 | 87.9 |
Si vous trouvez le code et les modèles utiles pour vos recherches, veuillez citer l'article suivant:
@inproceedings{meng2022amos,
title={Pretraining Text Encoders with Adversarial Mixture of Training Signal Generators},
author={Meng, Yu and Xiong, Chenyan and Bajaj, Payal and Tiwary, Saurabh and Bennett, Paul and Han, Jiawei and Song, Xia},
booktitle={International Conference on Learning Representations},
year={2022}
}
Ce projet accueille les contributions et les suggestions. La plupart des contributions vous obligent à accepter un accord de licence de contributeur (CLA) déclarant que vous avez le droit de faire et en fait, accordez-nous les droits d'utilisation de votre contribution. Pour plus de détails, visitez https://cla.opensource.microsoft.com.
Lorsque vous soumettez une demande de traction, un bot CLA déterminera automatiquement si vous devez fournir un CLA et décorer le RP de manière appropriée (par exemple, vérification d'état, commentaire). Suivez simplement les instructions fournies par le bot. Vous n'aurez besoin de le faire qu'une seule fois sur tous les dépositions en utilisant notre CLA.
Ce projet a adopté le code de conduite open source Microsoft. Pour plus d'informations, consultez le code de conduite FAQ ou contactez [email protected] avec toute question ou commentaire supplémentaire.
