m3tl

M3tl

M ulti- m odal m ulti- t demande l gain

Installer

 pip install m3tl

Qu'est-ce que c'est

Il s'agit d'un projet qui utilise des transformateurs (basés sur des transformateurs HuggingFace) comme modèle de base pour effectuer l'apprentissage multi-modal multi-tâches .

Pourquoi ai-je besoin de ça

L'apprentissage multi-tâches (MTL) attire de plus en plus d'attention, en particulier à l'ère du deep Learning. Il est largement utilisé dans la PNL, le CV, la recommandation, etc. Cependant, MTL implique généralement un prétraitement des données compliqué, une gestion des tâches et une interaction de tâches. D'autres projets open source, comme TencentNLP et PyText, prennent en charge MTL mais d'une manière naïve et il n'est pas simple de mettre en œuvre un algorithme MTL compliqué. Dans ce projet, nous essayons de rendre la rédaction du modèle MTL aussi simple que le modèle d'apprentissage à tâche unique et d'étendre davantage MTL à l'apprentissage multi-modal multi-tâches. Pour ce faire, nous exposons le module programmable lié à MTL à l'utilisateur:

• stratégie d'échantillonnage de problèmes
• stratégie de combinaison de pertes
• chirurgie de gradient
• modèle après modèle de base (transformateurs)

Outre les modules programmables, nous fournissons également divers algorithmes SOTA MTL intégrés.

En un mot, vous pouvez utiliser ce projet pour:

• implémenter l'algorithme MTL compliqué
• faire sota mtl sans plonger dans les détails
• faire l'apprentissage multimodal

Et puisque nous utilisons les transformateurs comme modèle de base, vous obtenez tous les avantages que vous pouvez obtenir de Transformers!

Quels types de problèmes sont soutenus?

 params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

 `cls`: Classification
`multi_cls`: Multi-Label Classification
`seq_tag`: Sequence Labeling
`masklm`: Masked Language Model
`pretrain`: NSP+MLM(Deprecated)
`regression`: Regression
`vector_fit`: Vector Fitting
`premask_mlm`: Pre-masked Masked Language Model
`contrastive_learning`: Contrastive Learning

Commencer

Veuillez consulter les tutoriels.