m3tl

M3TL

M ulti- m odal m ulti- اطلب كسب l

ثَبَّتَ

 pip install m3tl

ما هذا

هذا هو المشروع الذي يستخدم المحولات (استنادًا إلى محولات Luggingface) كنموذج أساسي للقيام بالتعلم متعدد الوسائط متعدد المهام .

لماذا أحتاج هذا

يكتسب التعلم متعدد المهام (MTL) المزيد والمزيد من الاهتمام ، خاصة في عصر التعلم العميق. يتم استخدامه على نطاق واسع في NLP ، السيرة الذاتية ، التوصية ، إلخ. ومع ذلك ، فإن MTL تتضمن عادة المعالجة المسبقة للبيانات ، وإدارة المهام والتفاعل المهمة. تدعم مشاريع أخرى مفتوحة المصدر ، مثل Tencentnlp و Pytext ، MTL ولكن بطريقة ساذجة وليس من السهل تنفيذ خوارزمية MTL المعقدة. في هذا المشروع ، نحاول جعل كتابة نموذج MTL سهلاً مثل نموذج تعلم المهام الفردي وزيادة تمديد MTL إلى التعلم متعدد الوسائط متعدد الوسائط. للقيام بذلك ، نقوم بفضح الوحدة النمطية القابلة للبرمجة المتعلقة بـ MTL للمستخدم:

• استراتيجية أخذ عينات المشكلة
• استراتيجية تركيبة الخسارة
• جراحة التدرج
• نموذج بعد نموذج الأساس (المحولات)

بصرف النظر عن الوحدات النمطية القابلة للبرمجة ، فإننا نقدم أيضًا العديد من خوارزميات SOTA MTL مدمجة.

في كلمة واحدة ، يمكنك استخدام هذا المشروع إلى:

• تنفيذ خوارزمية MTL المعقدة
• هل سوتا MTL دون الغوص في التفاصيل
• هل تعلم متعدد الوسائط

وبما أننا نستخدم المحولات كنموذج أساسي ، فستحصل على جميع الفوائد التي يمكنك الحصول عليها من المحولات!

ما نوع المشاكل المدعومة؟

 params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

 `cls`: Classification
`multi_cls`: Multi-Label Classification
`seq_tag`: Sequence Labeling
`masklm`: Masked Language Model
`pretrain`: NSP+MLM(Deprecated)
`regression`: Regression
`vector_fit`: Vector Fitting
`premask_mlm`: Pre-masked Masked Language Model
`contrastive_learning`: Contrastive Learning

ابدأ

يرجى الاطلاع على الدروس.