m3tl

M3tl

M ultal m ulti -t soliciting ling lingning

Instalar

 pip install m3tl

Qué es

Este es un proyecto que utiliza Transformers (basado en Transformadores Huggingface) como modelo base para hacer aprendizaje multimodal de tareas múltiples .

¿Por qué necesito esto?

El aprendizaje de múltiples tareas (MTL) está ganando más y más atención, especialmente en la era del aprendizaje profundo. Se usa ampliamente en PNL, CV, recomendación, etc. Sin embargo, MTL generalmente implica un complicado preprocesamiento de datos, gestión de tareas e interacción de tareas. Otros proyectos de código abierto, como TencentnLP y Pytext, admiten MTL pero de manera ingenua y no es sencillo implementar un algoritmo MTL complicado. En este proyecto, tratamos de hacer que la escritura del modelo MTL sea tan fácil como el modelo de aprendizaje de una sola tarea y extender aún más MTL al aprendizaje multimodal de tareas múltiples. Para hacerlo, exponemos después del módulo programable relacionado con MTL al usuario:

• Estrategia de muestreo de problemas
• Estrategia de combinación de pérdidas
• cirugía de gradiente
• modelo tras modelo base (transformadores)

Además de los módulos programables, también proporcionamos varios algoritmos SOTA MTL incorporados.

En una palabra, puede usar este proyecto para:

• Implementar el algoritmo MTL complicado
• hacer sota mtl sin sumergirse en detalles
• hacer aprendizaje multimodal

Y dado que usamos Transformers como modelo base, ¡obtienes todos los beneficios que puedes obtener de Transformers!

¿Qué tipo de problemas son compatibles?

 params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

 `cls`: Classification
`multi_cls`: Multi-Label Classification
`seq_tag`: Sequence Labeling
`masklm`: Masked Language Model
`pretrain`: NSP+MLM(Deprecated)
`regression`: Regression
`vector_fit`: Vector Fitting
`premask_mlm`: Pre-masked Masked Language Model
`contrastive_learning`: Contrastive Learning

Empezar

Consulte los tutoriales.