m3tl

m3tl

M ultimm odal m ultimit询问收入

安装

 pip install m3tl

这是什么

这是一个使用变压器（基于拥抱面变压器）作为基础模型的项目来进行多模式多任务学习。

我为什么需要这个

多任务学习（MTL）正在引起越来越多的关注，尤其是在深度学习时代。它被广泛用于NLP，CV，建议等。但是，MTL通常涉及复杂的数据预处理，任务管理和任务交互。其他开源项目，例如TencentNLP和PyText，都支持MTL，但以一种天真的方式支持，并且实施复杂的MTL算法并不直接。在这个项目中，我们尝试使编写MTL模型与单个任务学习模型一样容易，并将MTL扩展到多模式多任务学习。为此，我们向用户公开以下MTL相关的可编程模块：

• 问题采样策略
• 损失组合策略
• 梯度手术
• 基本模型之后的模型（变形金刚）

除了可编程的模块外，我们还提供了各种内置的SOTA MTL算法。

总而言之，您可以使用此项目来：

• 实施复杂的MTL算法
• 在不潜入细节的情况下做sota mtl
• 进行多模式学习

而且，由于我们使用变形金刚作为基本模型，因此您将获得从变形金刚获得的所有好处！

支持哪些类型的问题？

 params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

 `cls`: Classification
`multi_cls`: Multi-Label Classification
`seq_tag`: Sequence Labeling
`masklm`: Masked Language Model
`pretrain`: NSP+MLM(Deprecated)
`regression`: Regression
`vector_fit`: Vector Fitting
`premask_mlm`: Pre-masked Masked Language Model
`contrastive_learning`: Contrastive Learning

开始

请参阅教程。