m3tl

m3tl

M ultimm odal m ultimit詢問收入

安裝

 pip install m3tl

這是什麼

這是一個使用變壓器（基於擁抱面變壓器）作為基礎模型的項目來進行多模式多任務學習。

我為什麼需要這個

多任務學習（MTL）正在引起越來越多的關注，尤其是在深度學習時代。它被廣泛用於NLP，CV，建議等。但是，MTL通常涉及復雜的數據預處理，任務管理和任務交互。其他開源項目，例如TencentNLP和PyText，都支持MTL，但以一種天真的方式支持，並且實施複雜的MTL算法並不直接。在這個項目中，我們嘗試使編寫MTL模型與單個任務學習模型一樣容易，並將MTL擴展到多模式多任務學習。為此，我們向用戶公開以下MTL相關的可編程模塊：

• 問題採樣策略
• 損失組合策略
• 梯度手術
• 基本模型之後的模型（變形金剛）

除了可編程的模塊外，我們還提供了各種內置的SOTA MTL算法。

總而言之，您可以使用此項目來：

• 實施複雜的MTL算法
• 在不潛入細節的情況下做sota mtl
• 進行多模式學習

而且，由於我們使用變形金剛作為基本模型，因此您將獲得從變形金剛獲得的所有好處！

支持哪些類型的問題？

 params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

 `cls`: Classification
`multi_cls`: Multi-Label Classification
`seq_tag`: Sequence Labeling
`masklm`: Masked Language Model
`pretrain`: NSP+MLM(Deprecated)
`regression`: Regression
`vector_fit`: Vector Fitting
`premask_mlm`: Pre-masked Masked Language Model
`contrastive_learning`: Contrastive Learning

開始

請參閱教程。