في الآونة الأخيرة ، تقدمت شركة Tencent Technology (Shenzhen) Ltd. بطلب للحصول على براءة اختراع تسمى "طرق التدريب والأجهزة ومعدات الكمبيوتر ووسائط التخزين لنماذج اللغة الكبيرة". توفر براءة الاختراع هذه معلومات أكثر قابلية للتعلم للنموذج أثناء تدريب نموذج اللغة الكبير من خلال تقديم النص التجريدي الأول والنص التجريدي الثاني.
وفقًا لوصف البراءة ، يحتوي النص التجريدي الأول والنص التجريدي الثاني على كميات مختلفة من المعلومات ، ويحتوي النص التجريدي الأول أيضًا على عبارات صحيحة وبيانات غير صحيحة. من خلال مقارنة وتعلم هذين التجريدين المختلفين لنفس النص وتمييز العبارات الصحيحة والبيانات الخاطئة فيها ، يمكننا تجنب المشكلات المحتملة بشكل فعال مثل التجاوز النموذجية والتوليد غير الدقيق الناجم عن النص الموجز الفردي.
إن ابتكار هذه الطريقة هو أنه يحسن أداء تعميم النموذج ويحسن بشكل فعال دقة النموذج. من خلال تقديم محتوى نصي تجريدي متنوع ، جلبت طريقة تدريب Tencent تحسينات أكثر كفاءة ودقيقة على عملية تدريب نماذج اللغة الكبيرة.
لا يعكس هذا التقدم القوة التقنية لـ Tencent في مجال الذكاء الاصطناعي فحسب ، بل يعكس أيضًا أساسًا متينًا لتطبيق وتطوير نماذج اللغة الكبيرة في المستقبل.