m3tl

M3TL

수익 을 끄는 것 입니다 .

설치하다

 pip install m3tl

그게 뭐야

이 프로젝트는 변압기 (Huggingface Transformers 기반)를 기본 모델로 사용하여 멀티 모달 멀티 태스킹 학습을 수행하는 프로젝트입니다.

왜 이것을 필요로합니까?

멀티 태스킹 학습 (MTL)은 특히 딥 러닝 시대에서 점점 더 많은 관심을 받고 있습니다. NLP, CV, 권장 사항 등에서 널리 사용됩니다. 그러나 MTL에는 일반적으로 복잡한 데이터 전처리, 작업 관리 및 작업 상호 작용이 포함됩니다. TencentNLP 및 PyText와 같은 다른 오픈 소스 프로젝트는 MTL을 지원하지만 순진한 방식으로 복잡한 MTL 알고리즘을 구현하는 것은 간단하지 않습니다. 이 프로젝트에서는 단일 작업 학습 모델만큼 쉽게 MTL 모델을 작성하고 MTL을 멀티 모달 멀티 태스킹 학습으로 확장하려고합니다. 이를 위해 다음 MTL 관련 프로그래브 가능 모듈을 사용자에게 노출시킵니다.

• 문제 샘플링 전략
• 손실 조합 전략
• 그라디언트 수술
• 기본 모델 이후 모델 (변압기)

프로그래밍 가능한 모듈 외에도 다양한 내장 SOTA MTL 알고리즘도 제공합니다.

한마디로,이 프로젝트를 사용할 수 있습니다.

• 복잡한 MTL 알고리즘을 구현하십시오
• 세부 사항으로 다이빙하지 않고 Sota MTL을 수행하십시오
• 멀티 모달 학습을하십시오

그리고 우리는 트랜스포머를 기본 모델로 사용하기 때문에 변압기에서 얻을 수있는 모든 이점을 얻을 수 있습니다!

어떤 유형의 문제가 지원됩니까?

 params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

 `cls`: Classification
`multi_cls`: Multi-Label Classification
`seq_tag`: Sequence Labeling
`masklm`: Masked Language Model
`pretrain`: NSP+MLM(Deprecated)
`regression`: Regression
`vector_fit`: Vector Fitting
`premask_mlm`: Pre-masked Masked Language Model
`contrastive_learning`: Contrastive Learning

시작하세요

튜토리얼을 참조하십시오.