m3tl

M3tl

M odal m oval m ask l penghasilan

Memasang

 pip install m3tl

Apa itu

Ini adalah proyek yang menggunakan Transformers (berdasarkan Transformers Huggingface) sebagai model dasar untuk melakukan pembelajaran multi-task multi-modal .

Mengapa saya membutuhkan ini

Multi-Task Learning (MTL) mendapatkan lebih banyak perhatian, terutama di era pembelajaran yang mendalam. Ini banyak digunakan dalam NLP, CV, rekomendasi, dll. Namun, MTL biasanya melibatkan pemrosesan data yang rumit, pengelolaan tugas dan interaksi tugas. Proyek sumber terbuka lainnya, seperti TencentNLP dan Pytext, mendukung MTL tetapi dengan cara yang naif dan tidak mudah untuk menerapkan algoritma MTL yang rumit. Dalam proyek ini, kami mencoba membuat model penulisan MTL semudah model pembelajaran tugas tunggal dan lebih lanjut memperluas MTL ke pembelajaran multi-task multi-modal. Untuk melakukannya, kami mengekspos modul yang dapat diprogram MTL yang dapat diprogram untuk pengguna:

• strategi pengambilan sampel masalah
• strategi kombinasi kerugian
• operasi gradien
• Model After Base Model (Transformers)

Terlepas dari modul yang dapat diprogram, kami juga menyediakan berbagai algoritma SOTA MTL bawaan.

Singkatnya, Anda dapat menggunakan proyek ini untuk:

• Menerapkan algoritma MTL yang rumit
• lakukan sota mtl tanpa menyelam ke detail
• Lakukan pembelajaran multi-modal

Dan karena kami menggunakan Transformers sebagai model dasar, Anda mendapatkan semua manfaat yang bisa Anda dapatkan dari Transformers!

Jenis masalah apa yang didukung?

 params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

 `cls`: Classification
`multi_cls`: Multi-Label Classification
`seq_tag`: Sequence Labeling
`masklm`: Masked Language Model
`pretrain`: NSP+MLM(Deprecated)
`regression`: Regression
`vector_fit`: Vector Fitting
`premask_mlm`: Pre-masked Masked Language Model
`contrastive_learning`: Contrastive Learning

Mulai

Silakan lihat tutorial.