fine tune embedding models on sagemaker

نماذج التضمين بشكل جيد على Amazon Sagemaker

يحتوي هذا المستودع على عينات لنماذج التضمين الدقيقة باستخدام Amazon Sagemaker.
نماذج التضمين مفيدة للمهام مثل التشابه الدلالي ، وتجميع النص ، واسترجاع المعلومات.
من خلال ضبط نموذج التضمين على البيانات التي تمثل المجال أو المهمة المستهدفة ، يمكن للنموذج أن يتعلم كيفية التقاط الدلالات ذات الصلة ، والمصطلحات ، والعلاقات السياقية التي تعتبر حاسمة لهذا المجال.
يمكن أن تحسن التضمينات الخاصة بالمجال بشكل كبير من جودة تمثيل المتجهات ، مما يؤدي إلى استرجاع أكثر دقة للسياق ذي الصلة من قاعدة بيانات المتجه. هذا ، بدوره ، يعزز أداء نظام الخرقة من حيث توليد استجابات أكثر دقة وذات صلة.

محتويات

• sentence-transformer/multiple-negatives-ranking-loss/ : يحتوي هذا الدليل على دفتر ملاحظات jupyter يوضح كيفية ضبط نموذج تضمين الجملة المترابط باستخدام وظيفة خسارة السلبيات المتعددة التي يوصى بها ، أو القطرات من المساهمة ، أو القطرات على مقاومة ، أو قطرات من المساهمة ، أو قطرات من المساهمة) ، أو القطرات. (Source_Language ، Target_Language).
  نحن نستخدم وظيفة خسارة ترتيب السلبيات المتعددة لأننا نستخدم أسئلة وأجوبة في الأساس كبيانات التدريب ، والتي تتكون من أزواج من الأسئلة والأجوبة.
  يتم استخدام الرمز في هذا الدليل في منشور مدونة AWS ، تحسين دقة الخرقة مع نماذج التضمين المليئة بالحيوية على Sagemaker

حماية

نرحب بالمساهمات من المجتمع! إذا كان لديك مثال أو عينة لنماذج التضمين الدقيقة على Sagemaker ، فلا تتردد في تقديم طلب سحب. ستساعد مساهمتك الآخرين في رحلتهم في صياغة نماذج التضمين.

انظر المساهمة لمزيد من المعلومات.

رخصة

هذه المكتبة مرخصة بموجب ترخيص MIT-0. انظر ملف الترخيص.