الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

؟؟ الصينية | الإنجليزية | المستندات/المستندات | ❓ الأسئلة/القضايا | المناقشات/المناقشات | ⚔ الساحة/الساحة



؟ وجه المعانقة •؟ ModelsCope •؟ ️ Machine Heart Sota! نموذج • ؟ Wisemodel •؟ العرض التوضيحي عبر الإنترنت

تم تطوير هذا المشروع استنادًا إلى الجيل الجديد من نموذج Open Source Model Llama-3 ، وهو المرحلة الثالثة من سلسلة المشاريع الصينية-ألاما-Alpaca المتعلقة بنموذج المصدر المفتوح (المرحلة الأولى والمرحلة الثانية). هذا المشروع مفتوح المصدر الصيني LAMA-3 نموذج الأساس ونموذج صياغة تعليمات LLAMA-3-3 الصينية . تستخدم هذه النماذج بيانات صينية واسعة النطاق للتدريب المسبق للإدراج بناءً على LLAMA-3 الأصلي ، وتستخدم بيانات التعليمات المحددة من أجل التعديل الدقيق ، وزيادة تحسين القدرات الدلالية الصينية والتعليمات ، والحصول على تحسينات كبيرة في الأداء مقارنة بالنماذج ذات الصلة بالجيل الثاني.

المحتوى الرئيسي

  • Open Source Llama-3-Chinese Dock Model ونموذج تعليم Llama-3-Chinese-instruct (V1 ، V2 ، V3)
  • البرامج النصية مفتوحة المصدر قبل التدريب والبرامج النصية لصطف التعليمات ، يمكن للمستخدمين مزيد من تدريب النموذج أو ضبطه حسب الحاجة.
  • مفتوح المصدر alpaca_zh_51k ، stem_zh_instruction ، Ruozhiba_gpt4 (4O/4T) بيانات صقل الإرشاد
  • يوفر دروسًا لقياس ونشر نماذج واسعة النطاق محليًا باستخدام وحدة المعالجة المركزية/وحدة معالجة الرسومات
  • يدعم علم البيئة Llama-3 مثل Transformers ، Llama.cpp ، توليد النص Webui ، Vllm ، Ollama ، إلخ.

النموذج الصيني mixtral | الصينية LAMA-2 و Alpaca-2 Mockup | الصينية لاما وألباكا النموذج | متعددة الوسائط الصينية LAMA & Alpaca Mockup | متعدد الوسائط Vle | الصينية minirbt | ليرت الصينية | اللغة الإنجليزية الصينية بيرت | صينية ماكبرت | إلكترا الصينية | صينية XLNET | بيرت الصينية | أداة التقطير المعرفة TextBrewer | نموذج أداة زراعة TextPruner | التقطير وقطع الحبوب المتكاملة

أخبار

[2024/05/30] أصدرت نموذج تعليم Llama-3-Chinese-8B-instruct-V3 ، والذي حقق تحسينات كبيرة في مهام المصب مقارنةً بـ V1/V2. عرض التفاصيل: سجل إصدار الإصدار V3.0

[2024/05/08] حرر نموذج التعليمات LLAMA-3-CHINESE-8B-instruct-V2 ، مباشرة باستخدام 5 ملايين بيانات تعليمية لضبطها على meta-llama-3-8b-instruct. عرض التفاصيل: سجل إصدار الإصدار v2.0

[2024/05/07] أضف البرامج النصية قبل التدريب والتعليمات البرامج النصية لضبط الدقة. عرض التفاصيل: V1.1 إصدار إصدار الإصدار

[2024/04/30] حرر نموذج قاعدة LLAMA-3-Chinese-8B ونموذج تعليم LLAMA-3-Chinese-8B-instruct. عرض التفاصيل: سجل الإصدار v1.0

[2024/04/19] أطلق رسميًا مشروع الصينية-ألاما-Alpaca-3

إرشادات المحتوى

الفصل يصف
؟؟ ‍model مقدمة قدم بإيجاز الخصائص التقنية للنماذج ذات الصلة لهذا المشروع
تنزيل model عنوان تنزيل النموذج الصيني LLAMA-3
التفكير والنشر يقدم كيفية تحديد النماذج ونشر وتجربة نماذج كبيرة باستخدام جهاز كمبيوتر شخصي
تأثير النموذج يتم تقديم تأثير النموذج على بعض المهام
التدريب واللحن تقديم كيفية تدريب وضبط نموذج LLAMA-3 الصيني
❓faq ردود على بعض الأسئلة الشائعة

مقدمة نموذج

يطلق هذا المشروع طراز Llama-3-Chinese الصيني المصدر الصيني Llama-3-Chinese و Llama-3-Chinese يعتمد على Meta Llama-3. الميزات الرئيسية هي كما يلي:

استخدم قائمة كلمات Llama-3 الأصلية

  • بالمقارنة مع جيلتها السابقة ، قامت Llama-3 بتوسيع حجم المفردات بشكل كبير ، من 32 ألفًا إلى 128 ألف ، وتم تغييرها إلى قائمة المفردات BPE.
  • وجدت التجارب الأولية أن كفاءة ترميز قائمة الكلمات LLAMA-3 تشبه تلك الموجودة في قائمة المفردات الممتدة لدينا ، مع كفاءة حوالي 95 ٪ من قائمة الكلمات الصينية (بناءً على اختبار كفاءة الترميز على بيانات ويكيبيديا)
  • بناءً على تجربتنا ذات الصلة في الاستنتاجات الصينية والتجريبية 1 ، لم نضيف مفردات إضافية

؟ يتم توسيع طول السياق الطويل من 4K إلى 8K في الجيل الثاني

  • يزيد LLAMA-3 من طول نافذة السياق الأصلي من 4K إلى 8K ، مما يتيح مزيد من معالجة معلومات السياق الأطول
  • يمكن للمستخدمين أيضًا تمديد النموذج باستخدام سياق طويل من خلال PI و NTK والغزل وطرق أخرى لدعم معالجة النصوص الأطول.

⚡ استخدم التجميع للاستعلام عن آلية الانتباه

  • تتبنى LLAMA-3 آلية انتباه الاستعلام (GQA) المطبقة على النسخة المعلمة الكبيرة في LAMA-2 ، والتي يمكن أن تؤدي إلى تحسين كفاءة النموذج.

؟ قالب القيادة الجديد العلامة التجارية

  • تتبنى Llama-3-instruct قالب تعليمات جديد تمامًا ، لا يتوافق مع Llama-2-Chat. يجب أن يتبع قالب التعليمات الرسمي عند استخدامه (انظر قالب التعليمات)

تنزيل النموذج

إرشادات اختيار النموذج

فيما يلي مقارنة بين نموذج هذا المشروع وسيناريوهات الاستخدام الموصى بها. لتفاعل الدردشة ، حدد إصدار الإرشادات.

عناصر المقارنة لاما-3-8 ب 8 ب Llama-3-Chinese-8b-instruct
نوع النموذج نموذج قاعدة نموذج التوجيه/الدردشة (دراستيك)
حجم النموذج 8 ب 8 ب
نوع التدريب السببية (CLM) السببية (CLM) تعليمات تعليم غرامة
طريقة التدريب Lora + كامل المبلغ EMB/LM-HEAD Lora + كامل المبلغ EMB/LM-HEAD
تهيئة النموذج meta-llama-3-8b V1: Llama-3-Chinese-8b
V2: meta-llama-3-8b-instruct
V3: مزيج من Inst/Inst-V2/Inst-Meta
مواد التدريب مجموعة Universal غير المميزة (حوالي 120 جيجابايت) بيانات تعليمات ملحوظة (حوالي 5 ملايين قطعة)
حجم المفردات المفردات الأصلية (128256) المفردات الأصلية (128256)
يدعم طول السياق 8K 8K
قالب الإدخال غير ضروري تحتاج إلى تطبيق قالب Llama-3-instruct
السيناريوهات المعمول بها استمرار النص: بالنظر إلى النص أعلاه ، دع النموذج ينشئ النص التالي فهم القيادة: سؤال وجواب ، الكتابة ، الدردشة ، التفاعل ، إلخ.

فيما يلي مقارنة بين إصدارات الإرشادات. إذا لم يكن هناك تفضيل واضح ، فيرجى إعطاء الأولوية لإصدار addruct-V3.

عناصر المقارنة addruct-v1 addruct-v2 addruct-v3
وقت الافراج 2024/4/30 2024/5/8 2024/5/30
النموذج الأساسي meta-llama-3-8b meta-llama-3-8b-instruct (انظر طريقة التدريب)
طريقة التدريب المرحلة 1: 120 جرام صينية تجسس ما قبل التدريب المرحلة 2: 5 ملايين بيانات تعليمات تعديل غرامة استخدم مباشرة 5 ملايين بيانات تعليم لضبط يتم تنفيذ الانصهار النموذجي باستخدام Inst-V1 و Inst-V2 و Inst-Meta ، ويتم الحصول عليه عن طريق صياغة كمية صغيرة من بيانات التعليمات (~ 5K القطع)
القدرة الصينية [1] 49.3 / 51.5 51.6 / 51.6 55.2 / 54.8 ؟؟
الكفاءة الإنجليزية [1] 63.21 66.68 66.81 ؟؟
القدرة النصية الطويلة [1] 29.6 46.4 ؟؟ 40.5
Mockup Arena معدل الفوز/تصنيف ELO [2] 49.4 ٪ / 1430 66.1 ٪ / 1559 83.6 ٪ / 1627 ؟

ملحوظة

[1] يأتي تأثير القدرة الصينية من C-Eval (صالح) ؛ يأتي تأثير القدرة باللغة الإنجليزية من لوحة LLM Open (AVG) ؛ القدرة النصية الطويلة تأتي من Longbench (AVG) ؛ يرجى الرجوع إلى القسم الموجود في تأثير النموذج للحصول على التفاصيل. [2] وقت الاستحواذ على تأثير الساحة النموذجية الكبيرة: 2024/5/30 ، للرجوع إليه فقط.

تنزيل عنوان

اسم النموذج النسخة الكاملة نسخة لورا نسخة GGUF
Llama-3-Chinese-8b-instruct-V3
(نموذج التعليمات)		 [؟ عانق الوجه]
[؟ modelscope]
[؟ Wisemodel]		 ن/أ [؟ عانق الوجه]
[؟ modelscope]
Llama-3-Chinese-8b-instruct-V2
(نموذج التعليمات)		 [؟ عانق الوجه]
[؟ modelscope]
[؟ Wisemodel]		 [؟ عانق الوجه]
[؟ modelscope]
[؟ Wisemodel]		 [؟ عانق الوجه]
[؟ modelscope]
Llama-3-Chinese-8b-instruct
(نموذج التعليمات)		 [؟ عانق الوجه]
[؟ modelscope]
[؟ Wisemodel]		 [؟ عانق الوجه]
[؟ modelscope]
[؟ Wisemodel]		 [؟ عانق الوجه]
[؟ modelscope]
لاما-3-8 ب 8 ب
(نموذج التمثال)		 [؟ عانق الوجه]
[؟ modelscope]
[؟ Wisemodel]		 [؟ عانق الوجه]
[؟ modelscope]
[؟ Wisemodel]		 [؟ عانق الوجه]
[؟ modelscope]

وصف نوع النموذج:

  • النموذج الكامل : يمكن استخدامه مباشرة للتدريب والمنطق دون خطوات دمج إضافية
  • طراز Lora : يجب دمجه مع النموذج الأساسي قبل أن يتم تحويله إلى نسخة كاملة من النموذج. طريقة الدمج: خطوات دمج النموذج
    • نموذج V1 الأساسي: Meta-llama-3-8b الأصلي
    • نموذج V2 الأساسي: Meta-Llama-3-8b-instruct
  • نموذج GGUF : يتم تكييف تنسيق القياس الذي تم إطلاقه بواسطة llama.cpp مع أدوات الاستدلال الشائعة مثل Ollama. يوصى بتنزيل المستخدمين الذين يحتاجون فقط إلى نشر الاستدلال ؛ لاحقة اسم النموذج هي -im وهذا يعني أن مصفوفة الأهمية تستخدم في القياس الكمي ، وعادة ما يكون مع انخفاض PPL ، ويوصى باستخدامه (الاستخدام هو نفسه الإصدار العادي)

ملحوظة

إذا لم تتمكن من الوصول إلى HF ، فيمكنك النظر في بعض مواقع المرآة (مثل hf-mirror.com). يرجى العثور على الأساليب المحددة وحلها بنفسك.

التفكير والنشر

تدعم النماذج ذات الصلة في هذا المشروع بشكل أساسي أساليب القياس والتفكير والنشر التاليين. لمزيد من التفاصيل ، يرجى الرجوع إلى البرنامج التعليمي المقابل.

أداة سمات وحدة المعالجة المركزية GPU الكمية واجهة المستخدم الرسومية API vllm درس تعليمي
llama.cpp خيارات قياس الكميات GGUF الغنية والتفكير المحلي الفعال ✅ ✅ ✅ ✅ ✅ [وصلة]
؟محولات واجهة الاستدلال المحولات الأصلية ✅ ✅ ✅ ✅ ✅ [وصلة]
تقليد مكالمات API Openai العرض التجريبي الذي يحاكي واجهة Openai API ✅ ✅ ✅ ✅ ✅ [وصلة]
توليد النص ويبوي كيفية نشر واجهة واجهة مستخدم الويب الواجهة الأمامية ✅ ✅ ✅ ✅ ✅ [وصلة]
استوديو LM برنامج دردشة متعدد المنصات (مع واجهة) ✅ ✅ ✅ ✅ ✅ [وصلة]
أولاما تشغيل نموذج النموذج الأساسي محليًا ✅ ✅ ✅ ✅ [وصلة]

تأثير النموذج

من أجل تقييم تأثيرات النماذج ذات الصلة ، أجرى هذا المشروع تقييم التأثير التوليدي وتقييم التأثير الموضوعي (فئة NLU) على التوالي ، وتقييم النموذج الكبير من زوايا مختلفة. يوصى بأن يختبر المستخدمون في المهام التي يهتمون بها وتحديد النماذج التي تتكيف مع المهام ذات الصلة.

توليد تقييم التأثير

  • أطلق هذا المشروع منصة معركة نموذجية على الإنترنت تم تصميمها بعد Fastchat chatbot Arena ، والتي يمكنها تصفح وتقييم جودة الاستجابات النموذجية. توفر منصة المعركة مؤشرات التقييم مثل معدل الفوز ونتيجة ELO ، ويمكنها عرض نتائج معدل الفوز بالطراز من الزوج إلى الباب. ⚔ نموذج الساحة: http://llm-arena.ymcui.com
  • يوفر دليل الأمثلة عينات إخراج من LLAMA-3-Chinese-8b-instruct و trustral-mixtral-instral ، ويتم إجراء مقارنات الدرجات من خلال GPT-4-Turbo. متوسط ​​درجة LLAMA-3-CHINESE-8B-instruct هو 8.1 ومتوسط ​​الدرجة من البنية الصينية-ixtral هو 7.8 . ؟ مقارنة عينة الإخراج: أمثلة
  • تم نقل هذا المشروع إلى Machine Heart Sota! ستتحقق منصة النموذج ، والتجربة عبر الإنترنت في المرحلة اللاحقة: https://sota.jiqizhixin.com/project/chinese-lamama-alpaca-3

تقييم التأثير الموضوعي

ج

C-Eval هو جناح شامل لتقييم النموذج الصيني الأساسي ، حيث تحتوي مجموعة التحقق ومجموعة الاختبار على 1.3 كيلو و 12.3 ألف أسئلة متعددة الخيارات ، تغطي 52 موضوعًا ، على التوالي. يرجى الرجوع إلى هذا المشروع للحصول على رمز الاستدلال C: Github Wiki

النماذج صالح (0 طلقة) صالح (5 طلقة) اختبار (0 طلقة) اختبار (5 طلقة)
Llama-3-Chinese-8b-instruct-V3 55.2 54.8 52.1 52.4
Llama-3-Chinese-8b-instruct-V2 51.6 51.6 49.7 49.8
Llama-3-Chinese-8b-instruct 49.3 51.5 48.3 49.4
لاما-3-8 ب 8 ب 47.0 50.5 46.1 49.0
meta-llama-3-8b-instruct 51.3 51.3 49.5 51.0
Meta-llama-3-8b 49.3 51.2 46.1 49.4
البنية الصينية-ميكسترال (8x7b) 51.7 55.0 50.0 51.5
صينية ميكسترال (8x7b) 45.8 54.2 43.1 49.1
الصينية alpaca-2-13b 44.3 45.9 42.6 44.0
الصينية لاما 2-13B 40.6 42.7 38.0 41.6

CMMLU

CMMLU هي مجموعة بيانات شاملة للتقييم الصينية ، وتستخدم خصيصًا لتقييم المعرفة وقدرة النماذج اللغوية على المعرفة في السياق الصيني ، وتغطي 67 موضوعًا من الموضوعات الأساسية إلى المستوى المهني المتقدم ، مع ما مجموعه 11.5 كيلو أسئلة متعددة الخيارات. يرجى الرجوع إلى هذا المشروع لرمز الاستدلال CMMLU: جيثب ويكي

النماذج اختبار (0 طلقة) اختبار (5 طلقة)
Llama-3-Chinese-8b-instruct-V3 54.4 54.8
Llama-3-Chinese-8b-instruct-V2 51.8 52.4
Llama-3-Chinese-8b-instruct 49.7 51.5
لاما-3-8 ب 8 ب 48.0 50.9
meta-llama-3-8b-instruct 53.0 53.5
Meta-llama-3-8b 47.8 50.8
البنية الصينية-ميكسترال (8x7b) 50.0 53.0
صينية ميكسترال (8x7b) 42.5 51.0
الصينية alpaca-2-13b 43.2 45.5
الصينية لاما 2-13B 38.9 42.5

mmlu

MMLU هي مجموعة بيانات تقييم اللغة الإنجليزية لتقييم القدرة على فهم اللغة الطبيعية. إنها واحدة من مجموعات البيانات الرئيسية المستخدمة لتقييم إمكانيات النموذج الكبيرة اليوم. تحتوي مجموعة التحقق ومجموعة الاختبار على 1.5k و 14.1k أسئلة متعددة الخيارات ، على التوالي ، تغطي 57 موضوعًا. يرجى الرجوع إلى هذا المشروع لرمز الاستدلال MMLU: جيثب ويكي

النماذج صالح (0 طلقة) صالح (5 طلقة) اختبار (0 طلقة) اختبار (5 طلقة)
Llama-3-Chinese-8b-instruct-V3 64.7 65.0 64.8 65.9
Llama-3-Chinese-8b-instruct-V2 62.1 63.9 62.6 63.7
Llama-3-Chinese-8b-instruct 60.1 61.3 59.8 61.8
لاما-3-8 ب 8 ب 55.5 58.5 57.3 61.1
meta-llama-3-8b-instruct 63.4 64.8 65.1 66.4
Meta-llama-3-8b 58.6 62.5 60.5 65.0
البنية الصينية-ميكسترال (8x7b) 65.1 69.6 67.5 69.8
صينية ميكسترال (8x7b) 63.2 67.1 65.5 68.3
الصينية alpaca-2-13b 49.6 53.2 50.9 53.5
الصينية لاما 2-13B 46.8 50.0 46.6 51.8

لونج بلن

Longbench هو معيار لتقييم قدرة فهم النص الطويل لنموذج كبير. وهو يتكون من 6 فئات رئيسية و 20 مهمة مختلفة. يتراوح متوسط ​​طول المهام بين 5 كيلو و 15 كيلو ، ويحتوي على حوالي 4.75 ألف بيانات اختبار. فيما يلي تأثير التقييم لنموذج المشروع هذا على هذه المهمة الصينية (بما في ذلك مهام الكود). يرجى الرجوع إلى هذا المشروع لرمز الاستدلال Longbench: Github Wiki

النماذج وثيقة واحدة QA متعددة الوثيقة QA ملخص التعلم FS شفرة توليف متوسط
Llama-3-Chinese-8b-instruct-V3 20.3 28.8 24.5 28.1 59.4 91.9 40.5
Llama-3-Chinese-8b-instruct-V2 57.3 27.1 13.9 30.3 60.6 89.5 46.4
Llama-3-Chinese-8b-instruct 44.1 24.0 12.4 33.5 51.8 11.5 29.6
لاما-3-8 ب 8 ب 16.4 19.3 4.3 28.7 14.3 4.6 14.6
meta-llama-3-8b-instruct 55.1 15.1 0.1 24.0 51.3 94.5 40.0
Meta-llama-3-8b 21.2 22.9 2.7 35.8 65.9 40.8 31.6
البنية الصينية-ميكسترال (8x7b) 50.3 34.2 16.4 42.0 56.1 89.5 48.1
صينية ميكسترال (8x7b) 32.0 23.7 0.4 42.5 27.4 14.0 23.3
الصينية-ألبياكا -2-13B-16K 47.9 26.7 13.0 22.3 46.6 21.5 29.7
الصينية-لاما -2-13B-16K 36.7 17.7 3.1 29.8 13.8 3.0 17.3
الصينية-alpaca-2-7b-64k 44.7 28.1 14.4 39.0 44.6 5.0 29.3
الصينية لاما 2-7B-64K 27.2 16.4 6.5 33.0 7.8 5.0 16.0

فتح LLM المتصدرين

Open LLM Leaderboard هو معيار كبير لتقييم القدرة على تقييم القدرة (الإنجليزية) التي بدأها فريق Huggingfaceh4 ، بما في ذلك 6 اختبارات واحدة بما في ذلك ARC و Hellaswag و MMLU و struduleqa و Winograde و GSM8K. فيما يلي تأثير التقييم لنموذج المشروع هذا في هذه القائمة.

النماذج قوس هيلاس mmlu TQA فوز GSM8K متوسط
Llama-3-Chinese-8b-instruct-V3 63.40 80.51 67.90 53.57 76.24 59.21 66.81
Llama-3-Chinese-8b-instruct-V2 62.63 79.72 66.48 53.93 76.72 60.58 66.68
Llama-3-Chinese-8b-instruct 61.26 80.24 63.10 55.15 75.06 44.43 63.21
لاما-3-8 ب 8 ب 55.88 79.53 63.70 41.14 77.03 37.98 59.21
meta-llama-3-8b-instruct 60.75 78.55 67.07 51.65 74.51 68.69 66.87
Meta-llama-3-8b 59.47 82.09 66.69 43.90 77.35 45.79 62.55
البنية الصينية-ميكسترال (8x7b) 67.75 85.67 71.53 57.46 83.11 55.65 70.19
صينية ميكسترال (8x7b) 67.58 85.34 70.38 46.86 82.00 0.00 58.69

ملاحظة: السبب الرئيسي للفرق بين نتائج MMLU هو أن البرامج النصية للتقييم مختلفة.

تقييم التأثير الكمي

تحت llama.cpp ، تم اختبار الأداء الكمي لـ llama-3-chinese-8b (نموذج الأساس) كما هو موضح في الجدول أدناه. سرعة الاختبار الفعلية أبطأ قليلاً من الجيل الثاني لاما 2-7B.

F16 Q8_0 Q6_K Q5_K Q5_0 Q4_K Q4_0 Q3_K Q2_K
الحجم (GB) 14.97 7.95 6.14 5.34 5.21 4.58 4.34 3.74 2.96
BPW 16.00 8.50 6.56 5.70 5.57 4.89 4.64 4.00 3.16
PPL 5.130 5.135 5.148 5.181 5.222 5.312 5.549 5.755 11.859
سرعة PP 5.99 6.10 7.17 7.34 6.65 6.38 6.00 6.85 6.43
TG السرعة 44.03 26.08 21.61 22.33 20.93 18.93 17.09 22.50 19.21

ملحوظة

  • حجم النموذج: وحدة GB
  • BPW (بتات لكل وزن): بتات معلمة الوحدة ، على سبيل المثال ، متوسط ​​الدقة الفعلية لـ Q8_0 هو 8.50
  • PPL (الارتباك): تقاس في سياق 8K (طول الدعم الأصلي) ، كلما انخفضت القيمة ، كلما كان ذلك أفضل
  • سرعة PP/TG: يوفر معالجة التعليمات (PP) وسرعة توليد النص (TG) سرعة Apple M3 Max (المعدن) ، وحدة MS/Token ، كلما انخفضت القيمة ، كلما كانت أسرع.

التدريب واللحن

التدريب اليدوي والتكيف الجيد

  • التدريب المسبق مع بيانات غير مسما
  • استخدم البيانات المسمى للتعليمات الدقيقة: تعليمات تعليمية تعديل البرنامج النصي wiki

قالب التوجيه

يستمر هذا المشروع Llama-3-Chinese-instruct في استخدام قالب تعليمات Llama-3-instruct الأصلي. فيما يلي مجموعة من أمثلة المحادثة:

<| begin_of_text |> <| start_header_id |> system <| end_header_id | >>

أنت مساعد مفيد. <| eot_id |> <| start_header_id |> user <| end_header_id | >>

مرحبًا <| eot_id |> <| start_header_id |> مساعد <| end_header_id | >>

مرحبًا! هل هناك أي شيء يمكن أن يساعدك؟ <| eot_id |>

بيانات التعليمات

فيما يلي بعض بيانات تعليمات المصدر المفتوح لهذا المشروع. للحصول على تفاصيل ، يرجى التحقق: بيانات الأوامر

اسم البيانات يوضح كمية
alpaca_zh_51k بيانات الألبكة المترجمة باستخدام GPT-3.5 51k
stem_zh_instruction تم الزحف بيانات STEM باستخدام GPT-3.5 ، بما في ذلك الفيزياء والكيمياء والطب والبيولوجيا وعلوم الأرض 256k
Ruozhiba_gpt4 Ruozhiba Q&A بيانات تم الحصول عليها باستخدام GPT-4O و GPT-4T 2449

الأسئلة المتداولة

يرجى التأكد من التحقق مما إذا كان الحل موجودًا بالفعل في الأسئلة الشائعة قبل تقديم المشكلة. للحصول على أسئلة وأجوبة محددة ، يرجى الرجوع إلى هذا المشروع Github Wiki 

问题1：为什么没有像一期、二期项目一样做词表扩充？
问题2：会有70B版本发布吗？
问题3：为什么指令模型不叫Alpaca了？
问题4：本仓库模型能否商用？
问题5：为什么不对模型做全量预训练而是用LoRA？
问题6：为什么Llama-3-Chinese对话效果不好？
问题7：为什么指令模型会回复说自己是ChatGPT？
问题8：Instruct模型的v1（原版）和v2有什么区别？

يقتبس

إذا كنت قد استخدمت الموارد ذات الصلة لهذا المشروع ، فيرجى الرجوع إلى التقرير الفني نقلاً عن هذا المشروع: https://arxiv.org/abs/2304.08177 

 @article{chinese-llama-alpaca,
    title={Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca},
    author={Cui, Yiming and Yang, Ziqing and Yao, Xin},
    journal={arXiv preprint arXiv:2304.08177},
    url={https://arxiv.org/abs/2304.08177},
    year={2023}
}

لتحليل ما إذا كان سيتم توسيع قائمة الكلمات ، يرجى الرجوع إلى الاقتباس: https://arxiv.org/abs/2403.01851 

 @article{chinese-mixtral,
      title={Rethinking LLM Language Adaptation: A Case Study on Chinese Mixtral}, 
      author={Cui, Yiming and Yao, Xin},
      journal={arXiv preprint arXiv:2403.01851},
      url={https://arxiv.org/abs/2403.01851},
      year={2024}
}

تنصل

تم تطوير هذا المشروع على أساس نموذج LLAMA-3 الذي أصدرته META. يرجى الالتزام الصارم باتفاقية ترخيص المصدر المفتوح لـ LLAMA-3 أثناء الاستخدام. إذا كان استخدام رمز الطرف الثالث متورطًا ، فتأكد من الامتثال لاتفاقية ترخيص المصدر المفتوح ذات الصلة. قد يؤثر المحتوى الناتج عن النموذج على دقته بسبب طرق الحساب ، والعوامل العشوائية ، وخسائر الدقة الكمية. لذلك ، لا يوفر هذا المشروع أي ضمان لدقة ناتج النموذج ، ولن يكون مسؤولاً عن أي خسائر ناتجة عن استخدام الموارد ونتائج الإخراج ذات الصلة. إذا تم استخدام النماذج ذات الصلة لهذا المشروع للأغراض التجارية ، فيجب على المطور الالتزام بالقوانين واللوائح المحلية لضمان الامتثال لمحتوى الإخراج للنموذج. لن يكون هذا المشروع مسؤولاً عن أي منتجات أو خدمات مستمدة منها.

استجواب ردود الفعل

إذا كان لديك أي أسئلة ، فيرجى إرسالها في قضية GitHub. اطرح أسئلة بأدب وبناء مجتمع نقاش متناغم.

  • قبل إرسال السؤال ، يرجى التحقق مما إذا كان يمكن أن يحل الأسئلة الشائعة المشكلة. يوصى أيضًا بالتحقق مما إذا كانت المشكلة السابقة يمكنها حل مشكلتك.
  • لتقديم سؤال ، يرجى استخدام قالب المشكل الذي حدده هذا المشروع للمساعدة في تحديد موقع أسئلة محددة بسرعة.
  • تتم معالجة التكرار والقضايا غير المتعلقة بهذا المشروع بواسطة bot مستقرة. من فضلك فهم.

الحواشي

  1. Cui و Yao ، 2024. إعادة التفكير في تكييف اللغة LLM: دراسة حالة عن Mixtral الصينية ↩

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل