m3tl

M3tl

MULTIMENTE MUTTITER OLHE​​

Instalar

 pip install m3tl

O que é

Este é um projeto que usa Transformers (baseado em Transformers Huggingface) como modelo básico para fazer aprendizado multitarefa multi-modal .

Por que eu preciso disso

A aprendizagem multitarefa (MTL) está ganhando cada vez mais atenção, especialmente na era da aprendizagem profunda. É amplamente utilizado em PNL, CV, recomendação, etc. No entanto, o MTL geralmente envolve pré -processamento de dados complicado, gerenciamento de tarefas e interação de tarefas. Outros projetos de código aberto, como Tencentnlp e Pytext, suportam o MTL, mas de uma maneira ingênua e não é simples implementar o algoritmo MTL complicado. Neste projeto, tentamos tornar a redação do modelo MTL tão fácil quanto o modelo de aprendizado de tarefas únicas e estendemos ainda mais o MTL a um aprendizado multitarefa multi-modal. Para fazer isso, expojamos o seguinte módulo programável relacionado ao MTL para o usuário:

• Estratégia de amostragem de problemas
• Estratégia de combinação de perdas
• Cirurgia de gradiente
• Modelo após modelo base (Transformers)

Além dos módulos programáveis, também fornecemos vários algoritmos SOTA MTL integrados.

Em uma palavra, você pode usar este projeto para:

• implementar o algoritmo MTL complicado
• Faça SOTA MTL sem mergulhar em detalhes
• Faça aprendizado multimodal

E como usamos transformadores como modelo básico, você obtém todos os benefícios que pode obter dos transformadores!

Que tipo de problemas são suportados?

 params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

 `cls`: Classification
`multi_cls`: Multi-Label Classification
`seq_tag`: Sequence Labeling
`masklm`: Masked Language Model
`pretrain`: NSP+MLM(Deprecated)
`regression`: Regression
`vector_fit`: Vector Fitting
`premask_mlm`: Pre-masked Masked Language Model
`contrastive_learning`: Contrastive Learning

Comece

Por favor, consulte os tutoriais.