Question non supervisée Réponse par traduction Cloze
Distillant les connaissances spécifiques aux tâches de Bert en réseaux de neurones simples
Quelle est l'efficacité de l'augmentation des données agnostiques des tâches pour les transformateurs pré-entraînés?
C'est le temps de Morphin! Lutter contre la discrimination linguistique avec les perturbations inflexibles
Aperçu
Une étude visuelle de l'augmentation des données dans la PNL
Augmentation des données indépendantes des tâches pour la PNL
PDF de traitement du langage naturel robuste et impartial
Méthodes
Général
insertion aléatoire, suppression, mot, mélange de phrases
Remplacement des mots par des synonymes
Remplacez les mots de la didiction de la même étiquette
Nervure
Perturbations (lettre, mot ou phrase)
bruisse
Modèle de langue
Augmentation contextuelle
Traduction du dos
Traslation de la machine
Traduction aller-retour
Paraphase
Corpus parallèles à faible ressource
中文文本纠错任务
Tirer parti des données externes
Utilisation de données externes dérivées de Wikipedia. Lier des articles Wikipedia au texte d'entrée arbitraire. L'idée est que si le texte d'entrée était sur Wikipedia, il aurait des liens vers d'autres articles Wikipedia (qui sont sémantiquement liés et fourniraient des informations supplémentaires).
briser le texte d'entrée en n-grammes
Vérifiez si chaque n-gram existe en tant qu'article Wikipedia pour créer un ensemble de «liens candidats»
Taillez les liens candidats en calculant la similitude du texte d'entrée et le résumé de chaque candidat
Systèmes conversationnels
fontaine
Compréhension de la lecture
Remplacement et permutation d'entité
Générer de forts négatifs basés sur les balises POS
