chatglm_6b_lora_ptunning
1.0.0
عن طريق ضبط نموذج chatglm-6b مفتوح المصدر باستخدام LORA ، يمكن استخدام نموذج ChatGLM لمعالجة المهام المركبة. يتناول هذا المشروع بشكل أساسي مهمتين: التصنيف الذكي لتعليقات صناعة الوسائط الجديدة واستخراج المعلومات
يتم تحديث المشروع بشكل مستمر ...
يشير تصنيف النص إلى عملية تقسيم فقرات أو أكثر من النص إلى فئات أو علامات مختلفة وفقًا لمحتواها أو خصائص الموضوع. في العمل الفعلي ، يتم استخدام تصنيف النص على نطاق واسع ، مثل: تصنيف الأخبار ، تصنيف السيرة الذاتية ، تصنيف البريد الإلكتروني ، تصنيف المستندات المكتبية ، تصنيف المنطقة ، إلخ. يمكن أيضًا تحقيق تصفية النص لتحديد وتصفية المعلومات التي تلبي متطلبات خاصة من نص كبير.
استخراج المعلومات هي تقنية تحدد الأوصاف الواقعية للكيانات والعلاقات والأحداث ، وما إلى ذلك من النصوص الطبيعية غير المنظمة أو شبه المنظمة ، وتخزنها واستخدامها في شكل منظم. بواسطة
"شياو مينغ وشياو تشين صديقان حميمان. كلاهما من يونان. يعيش شياو مينغ في دالي وشياو تشين يعيش في ليجيانغ."
على سبيل المثال ، يمكنك الحصول على:
<Xiao Ming ، Friend ، Xiao Qin> و <Xiao Qin ، المعيشة ، المعيشة ، المعيشة ، Dali> وغيرها من المعلومات الثلاثية.
مع التطوير السريع لتكنولوجيا الإنترنت ، أصبحت صناعة الوسائط الجديدة واحدة من المنصات الرئيسية لنشر المعلومات. في عصر انفجار المعلومات هذا ، يحصل الأشخاص على معلومات من خلال وسائل التواصل الاجتماعي والعملاء الإخباريين والمدونات والأشكال الأخرى. ومع ذلك ، مع زيادة مقدار المعلومات ، أصبحت كيفية إدارة هذه المعلومات واستخدامها بكفاءة مشكلة ملحة. استنادًا إلى بعض بيانات "صناعة الوسائط الجديدة" كخلفية ، يساعد هذا المشروع صناعة الوسائط الجديدة على الحصول على معلومات مفيدة ودقة من المعلومات الضخمة وإجراء تصنيف وإدارة معقولة من خلال التصنيف واستخلاص المعلومات لتعليقات النص. هذا لا يساعد فقط منصة الوسائط الجديدة على تحسين تجربة المستخدم ، ولكن أيضًا يوفر لمنتجي المعلومات تحليل بيانات أكثر دقة ودعم صنع القرار.
استنادًا إلى طريقة صقل ChatGLM-6B + Lora ، يتم تحقيق تطوير مهام مشتركة لتصنيف النص واستخراج المعلومات
| نموذج | ذاكرة فيديو GPU |
|---|---|
| ChatGlm-6b | 13 غيغابايت |
| حزمة التبعية | متطلبات الإصدار |
|---|---|
| protobuf | > = 3.19.5 ، <3.20.1 |
| محولات | > = 4.27.1 |
| التدفق | == 1.17.0 |
| مجموعات البيانات | > == 2.10.1 |
| تسريع | == 0.17.1 |
| التغليف | > = 20.0 |
تقنية Lora تجمد أوزان النموذج المسبق وتؤثر على طبقة قابلة للتدريب (تسمى مصفوفة تحلل الرتبة) في كل كتلة محول ، على سبيل المثال ، تضيف "Sidebranch" A و B بجوار الطبقة الخطية للنموذج. من بينها ، يقلل البيانات من البعد D إلى أبعاد R ، وهي رتبة Lora ، وهي مقياس فرطمي مهم ؛ ترفع B البيانات من البعد R إلى DIMENSION D ، وتكون معلمات الجزء B في البداية 0. بعد اكتمال التدريب النموذجي ، تحتاج معلمات جزء A+B إلى الجمع بين معلمات النموذج الكبير الأصلي.
تنسيق البيانات: نمط القاموس ؛ يمثل محتوى السياق: نص الإدخال الأصلي (موجه) ؛ النقطة الهدف: النص الهدف. تتضمن مجموعات البيانات المختلطة بيانات تصنيف النص وبيانات استخراج المعلومات.
تحتوي مجموعة بيانات التدريب على ما مجموعه: 902 عينة.
تحتوي مجموعة بيانات التحقق على ما مجموعه: 122 عينة.
يخضع استخدام أوزان طراز ChatGLM-6B في هذا المشروع لإذن النماذج.
