m3tl

M3tl

Multi- M Odal Multi- Не спрашиваю, что заработает

Установить

 pip install m3tl

Что это такое

Это проект, который использует трансформаторы (на основе трансформаторов HuggingFace) в качестве базовой модели для проведения многомодального многозадачного обучения .

Зачем мне это нужно

Многозадачное обучение (MTL) привлекает все больше и больше внимания, особенно в эпоху глубокого обучения. Он широко используется в NLP, CV, рекомендации и т. Д. Однако MTL обычно включает в себя сложную предварительную обработку данных, управление задачами и взаимодействие задач. Другие проекты с открытым исходным кодом, такие как Tencentnlp и Pytext, поддерживают MTL, но наивно, и не просто внедрить сложный алгоритм MTL. В этом проекте мы стараемся сделать написание модели MTL такой же простой, как и модель обучения с одним задач и дополнительно расширить MTL до мультимодального многозадачного обучения. Для этого мы выставляем после программного модуля, связанного с MTL, пользователю:

• Стратегия отбора проб проблемы
• Стратегия комбинации потерь
• Градиентная хирургия
• модель за базовой моделью (трансформаторы)

Помимо программируемых модулей, мы также предоставляем различные встроенные алгоритмы SOTA MTL.

Одним словом, вы можете использовать этот проект для:

• внедрить сложный алгоритм MTL
• Сделайте SOTA MTL, не погружаясь в детали
• Сделайте мультимодальное обучение

А так как мы используем трансформаторы в качестве базовой модели, вы получаете все преимущества, которые вы можете получить от трансформаторов!

Какие проблемы поддерживаются?

 params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

 `cls`: Classification
`multi_cls`: Multi-Label Classification
`seq_tag`: Sequence Labeling
`masklm`: Masked Language Model
`pretrain`: NSP+MLM(Deprecated)
`regression`: Regression
`vector_fit`: Vector Fitting
`premask_mlm`: Pre-masked Masked Language Model
`contrastive_learning`: Contrastive Learning

Начните

См. Учебные пособия.