Cornucopia LLaMA Fin Chinese
1.0.0
يفتح هذا المشروع نموذج الضبط المعتمد على النموذج القائم على نظام LLAMA ويخضع لتعليمات المعرفة المالية الصينية ، فصيف صقل/تعليمات. يتم إنشاء مجموعة بيانات التعليمات من خلال بيانات الأسئلة والأجوبة المالية الصينية + بيانات أسئلة وأجوبة مالية ، وعلى هذا الأساس ، تم تنفيذ تعليمات نظام Llama لنظام LLAMA لتحسين تأثير الأسئلة والأجوبة في LLAMA في المجال المالي.
استنادًا إلى البيانات الحالية والبيانات المالية الصينية التي لا تزال زحف ، سنستمر في استخدام واجهة برمجة تطبيقات GPT3.5/4.0 لإنشاء مجموعات بيانات عالية الجودة ، وزيادة توسيع مجموعات بيانات التعليمات عالية الجودة على التمويل الرسم البياني للمعرفة الصينية ، ومجموعات البيانات المالية CFLEB وغيرها من البيانات.
سيتم إصدار نماذج مالية جديدة للسيناريوهات الصينية (المبتذلة التالية ، SFT ، RLHF) متعددة المهام ، RLHF) واحدة تلو الأخرى. الجميع مرحب بهم لتجربة ذلك في ذلك الوقت ، لذا ترقبوا.
[2023/05/10] تم إصدار نموذج لتعليمات صقله القائمة على البيانات المالية الصينية والبيانات المالية الصينية.
[2023/05/07] تم إصدار نموذج لتعليمات صقله المستند إلى البيانات الفوقية والبيانات المالية الصينية.
قم بتثبيت حزمة التبعية أولاً ، توصي بيئة Python 3.9+
pip install -r requirements.txt
ثانياً ، قم بتثبيت LFS لتسهيل التنزيل المحلي لنموذج Llama كبير
git lfs install
# 下载7B模型到本地
bash ./base_models/load.sh
يمكن تنزيل أوزان Lora من خلال Huggingface ، والهيكل كما يلي:
Fin-Alpaca-LoRA-7B-Meta/
- adapter_config.json # LoRA权重配置文件
- adapter_model.bin # LoRA权重文件
| تنزيل طراز لورا | تصنيف | إعادة إنشاء النموذج | بيانات التدريب | طول تسلسل التدريب | إصدار |
|---|---|---|---|---|---|
| fin-alpaca-lora-7b-meta | نموذج ضبط جيد في سؤال وجواب مالي | decapoda-research/llama-7b-hf | 12M بيانات التعليمات | 512 | v1.0 |
| fin-alpaca-lora-7b-linly | نموذج ضبط جيد في سؤال وجواب مالي | Linly-AA/الصينية لما 7 ب | 14M بيانات التعليمات | 512 | v1.1 |
حاليًا ، يتم توفير بعض حالات الاختبار في ./instruction_data/infer.json ، والتي يمكن استبدالها أيضًا بمجموعات بيانات أخرى ، ولكن يرجى ملاحظة أن التنسيق متسق.
قم بتشغيل البرنامج النصي الاستنتاج
# 单模型推理
bash ./scripts/infer.sh
# 多模型对比
bash ./scripts/comparison_test.sh
استخدمت النسخة السابقة بيانات الأسئلة والأجوبة في المجال المالي العام والزحف ، والتي تشمل التأمين ، والإدارة المالية ، والأسهم ، والأموال ، والقروض ، وبطاقات الائتمان ، والضمان الاجتماعي ، إلخ.
مثال بيانات التعليمات كما يلي:
问题：办理商业汇票应遵守哪些原则和规定？
回答: 办理商业汇票应遵守下列原则和规定：1.使用商业汇票的单位，必须是在银行开立帐户的法人；2.商业汇票在同城和异地均可使用；3.签发商业汇票必须以合法的商品交易为基础；4.经承兑的商业汇票，可向银行贴现；5.商业汇票一律记名，允许背书转让；6.商业汇票的付款期限由交易双方商定，最长不得超过6个月；7.商业汇票经承兑后，承兑人即付款人负有到期无条件交付票款的责任；8.商业汇票由银行印制和发售。
في ضوء عدم الدقة السابقة ونوع البيانات الفردية ، نستخدم حاليًا واجهة GPT3.5/4.0 لزيادة تحسين البيانات وتوسيع قاعدة المعرفة المالية الصينية ، وإعداد مجموعة متنوعة من النماذج السريعة وأشكال المهام المتعددة لتوسيع مجموعات بيانات التعليمات الغنية ، وتحقيق تغطية سيناريو متعددة الأعمال في المجال المالي.
أحدث المواقف النموذجية: (سيتم إصدارها قريبًا ، يرجى ترقبنا ~)
إذا كنت ترغب في ضبط Llama مع مجموعة البيانات الخاصة بك ، فيرجى إنشاء مجموعة البيانات الخاصة بك بتنسيق ./instruction_data/fin_data.json
قم بتشغيل البرنامج النصي Finetune
bash ./scripts/finetune.sh
حاليًا ، تعد معدات التدريب بطاقة رسومات A100-SXM-80GB ، مع دورة تدريبية إجمالية تبلغ 10 جولات. مع batch_size = 64 ، تحتل الذاكرة حوالي 40 جم ومع batch_size = 96 ، تحتل الذاكرة حوالي 65 جم. من المتوقع أن يتم دعم بطاقات الرسومات 3090/4090 (ذاكرة رسومات 24 جيجابايت) أو أعلى بشكل أفضل ، ويتم ضبط Batch_size وفقًا لحجم ذاكرة الرسومات.
بالنسبة لسجلات المؤشرات التجريبية وإعدادات الفائقة ، يرجى الرجوع إلى رابط Wandb:
https://api.wandb.ai/links/1812316597/hkyiriw5
| اختبار المدخلات | الإخراج الأصلي لاما | فورنيكوفات (fin-alpaca-lora-7b-meta) | كورنوكوبيا (fin-alpaca-lora-7b-linly) | كلمات Wen Xin مخرجات | إيفليتيك تشرع الإخراج المعرفي |
|---|---|---|---|---|---|
| هل من الأفضل أن يدير كبار السن مواردهم المالية أو إنقاذهم بانتظام؟ | يجب أن تكون أساليب الإدارة المالية للمسنين مناسبة لوضعهم. إذا كان لديه/لديها ما يكفي من الوقت والقدرة على الاستثمار ، ينصح بالاستخدام/لها وقته الحالي وفرص الاستثمار لإجراء أنشطة الإدارة المالية. نظرًا لأن كبار السن يمكنهم الحصول على طرق دخل مختلفة مثل الرصيد والتأمين والعقارات وما إلى ذلك ، يمكنه أن يختار أنواعًا مختلفة من مشاريع الإدارة المالية ، بما في ذلك الأسواق المفتوحة ، والأسواق غير العامة ، والأموال ، وخطط الثقة ، وما إلى ذلك ، بالطبع ، يجب على المسنين الاهتمام أيضًا بالأمان المالي الذي يحتاجون إليه بالفعل. | إذا كان لدى المستثمر تسامح مرتفع نسبيًا للمخاطر ، فيمكنك اختيار المنتجات المالية للاستثمار. إذا كان للمستثمر تحمل مخاطر منخفضة نسبيًا ، فيمكنك اختيار الاستثمار في ودائع الوقت. في الوقت الحالي ، تكون المنتجات المالية والودائع الزمنية منتجين مضمونين ، ولن تفقدان المبدأ ، ويتم تحديد العوائد بواسطة هدف الاستثمار ، لذلك تكون المنتجات المالية والودائع الزمنية أكثر استقرارًا. تجدر الإشارة إلى أن المنتجات المالية والودائع الثابتة ليس لها نفس سعر الفائدة الحالي ، وأن المنتجات المالية تحسب عوائدها اليومية ، وبالتالي فإن عوائد المنتجات المالية أعلى ، وكلما زاد احتمال حصول المستثمرين على عائدات. يشير صندوق 9QDII إلى الأموال المفتوحة المستثمرة في السوق الصينية. يستثمر هذا النوع من الصناديق بشكل أساسي في: A-Shares ، أسهم هونغ كونغ ، الأسهم الأمريكية ، الأسهم البريطانية ، الأسهم الألمانية ، الأسهم اليابانية ، الأسهم الفرنسية ، أسهم تايوان ، أسهم هونغ كونغ ، أسهم سنغافورة ، إلخ ؛ يشير صندوق QFII إلى الأموال المفتوحة المستثمرة في الصين. يستثمر هذا النوع من الصناديق بشكل أساسي في: A-Shares ، أسهم هونغ كونغ ، الأسهم الأمريكية ، الأسهم البريطانية ، الأسهم الألمانية ، الأسهم اليابانية ، الأسهم الفرنسية ، أسهم تايوان ، أسهم هونغ كونغ ، أسهم سنغافورة ، إلخ. | بالنسبة لكبار السن ذوي التسامح منخفض المخاطر نسبيًا ، من الأفضل اختيار رواسب ثابتة لأنها منخفضة نسبيًا في المخاطرة ولديها عوائد مستقرة. بالنسبة للمسنين ذوي التسامح المرتفع نسبيًا للمخاطر ، من الأفضل اختيار المنتجات المالية لأنها مرتفعة نسبيًا في المخاطرة ولديها عوائد عالية نسبيًا. تجدر الإشارة إلى أن المنتجات المالية الحالية ليست منتجات مضمونة ، وهناك إمكانية لفقدان المدير ، وهي مقسمة إلى مستويات مخاطر مختلفة وفقًا لهدف الاستثمار. إذا كان تحمل المخاطر للمستثمر منخفضًا نسبيًا ، فيمكنك اختيار المنتجات المالية ذات مستوى المخاطرة R2 وأقل. إذا كان تحمل المخاطر للمستثمر مرتفعًا نسبيًا ، فيمكنك اختيار المنتجات المالية ذات مستوى المخاطر R3 وما فوق. تشمل المنتجات المالية الحالية: صناديق السندات ، وصناديق الأسهم ، والصناديق المختلطة ، وصناديق الفهرس وصناديق الارتباط ، وما إلى ذلك. يمكن للمستثمرين اختيار المنتجات المناسبة للاستثمار وفقًا لموقفهم الفعلي. | من الأفضل أن ينقذ كبار السن بانتظام. ليس لدى كبار السن أي دخل عمل ، وتناقص إجمالي الأصول تدريجياً. علاوة على ذلك ، فإن كبار السن عرضة للمرض ولديهم نفقات كبيرة على النفقات الطبية. إذا استثمر كبار السن في المنتجات المالية ، فقد يعانون من خسائر مع تغير القيمة الصافية لمنتجاتهم. بالنسبة للودائع الثابتة ، يتم إصلاح سعر الفائدة بشكل عام ، وسيتم سداد المدير والفائدة بعد تاريخ انتهاء الصلاحية. نسبيا ، عامل السلامة مرتفع والربح أكثر دائم. | كنموذج لغة AI ، ليس لدي أي آراء أو اقتراحات شخصية. ومع ذلك ، فإن الإدارة المالية والتخزين المنتظم للمسنين لها مزايا وعيوبهم. تتمثل ميزة الإدارة المالية للمسنين في أنه يمكنهم تخطيط وضعهم المالي بشكل أفضل ، بما في ذلك النفقات في المعاشات التقاعدية ، والتأمين الطبي ، وتعليم الأطفال ، وما إلى ذلك ، يمكن للمسنين زيادة ثروتهم من خلال الاستثمار في المنتجات المالية مثل الأسهم والصناديق. مزايا الودائع العادية هي أن لديها مخاطر أقل وعوائد مستقرة نسبيا. يمكن للمسنين اختيار ودائع زمنية لفترات مختلفة والاختيار وفقًا لاحتياجاتهم وتحمل المخاطر. بشكل عام ، يجب على كبار السن اختيار طريقة الإدارة المالية التي تناسبهم بناءً على وضعهم الفعلي واحتياجاتهم. إذا كان لدى كبار السن أموال كافية وتحمل المخاطر ، فيمكنهم التفكير في الاستثمار في الأسهم والأموال والمنتجات المالية الأخرى لزيادة ثروتهم. إذا كان كبار السن يولون المزيد من الاهتمام للاستقرار والسلامة ، فيمكنهم اختيار توفير الانتظام لحماية وضعهم المالي. |
| هل يمكن شراء الأسهم والأموال وبيعها في نفس اليوم؟ | نعم ، يمكن شراء الأسهم والأموال وبيعها في نفس اليوم. | لا ، تخضع الأسهم والأموال لتداول T+1. شراء في يوم التداول وحساب القيمة الصافية في يوم الختام من الشراء. يتم تأكيد الأسهم في يوم التداول الثاني ، ويتم حساب الأرباح بعد تأكيد المشاركة. لذلك ، عند الشراء في يوم التداول ، عليك الانتظار حتى يوم التداول الثاني للحصول على الأرباح. على سبيل المثال ، إذا اشترى مستثمر سهمًا يوم الاثنين والقيمة الصافية التي تم الإعلان عنها في السوق يوم الثلاثاء هي 10 يوان ، فيمكن للمستثمرين حساب العائد بناءً على هذه البيانات: 1000 × 10 = 10000 ؛ 10000/10 = 1000. إذا كان المستثمر يحتفظ بهذا السهم لأكثر من 30 يوم عمل ، فيمكن تحويله مباشرة إلى نقد ، أي سحب كل أو جزء من الأسهم مقدمًا. تجدر الإشارة إلى أنه لا توجد حاليًا أي قوانين ولوائح تقيد المستثمرين من شراء الأموال والأسهم في يوم التداول ، بحيث يمكن للمستثمرين إجراء التداول المفتوح في نفس اليوم عند شراء الأموال والأسهم في يوم التداول. في الوقت نفسه ، بعد أن يشتري المستثمر أسهم في يوم التداول ، سيتم تحويل أسهمه تلقائيًا إلى نقد ، وبعد أن يشتري المستثمر الأسهم في يوم التداول ، سيتم تحويل أسهمه تلقائيًا إلى حد الارتفاع والانخفاض (حوالي 20 ٪) ، مما سيؤثر على رسوم معالجة المستثمر وعوائده. | لا ، ساعات تداول الأسهم: من الاثنين إلى الجمعة من الساعة 9:30 إلى 11:30 صباحًا ، من الساعة 13:00 إلى 15:00 مساءً ، لا يوجد تداول خلال العطل القانونية. ساعات تداول الصناديق: من الاثنين إلى الجمعة من الساعة 9:30 إلى 11:30 صباحًا ، من الساعة 13:00 إلى 15:00 مساءً ، ولا يُسمح بالتداول خلال العطل القانونية. تخضع الأسهم لتداول T+1 ، والتجارة وفقًا لأسعار السوق في الوقت الفعلي ، في أعقاب مبدأ أولوية الأسعار وأولوية الوقت ، الحد الأقصى لأسعار الأسهم لأسهم Shanghai و Shenzhen هو 10 ٪ ، وهو الحد الأقصى للعلوم للعلوم و Science هو 5 ٪ (IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS IS هو هذا الحد الأقصى) ، والحد من الأسعار لأسهم هونغ كونغ هو 20 ٪ ، وحد سعر الحد الأقصى للأسعار للمجلس الثالث الجديد هو 10 ٪ (الحد الأقصى للأسعار لقيد سعر الحد الأقصى للسعر للحد من سعر الحد الأقصى للسعر للحد من السعر بالنسبة إلى الحد الأقصى للسعر للحد من السعر للحد من السعر بالنسبة إلى الحد الأقصى للسعر للسعر للحد من السعر للحد من السعر للحد من السعر للحد من السعر للحد من السعر بالنسبة بالنسبة للحد من السعر لحد الأسعار لحد السعر لحد الأسعار لحد الأسعار لحد السعر لدرجة السعر لحد السعر لقيد سعر الحد الأقصى للأسعار لحد الأسعار لحد الأسعار للحد من سعر الحد الأقصى للسعر للحد من السعر لحد السعر للحد من السعر للحد من السعر للحد من السعر بالنسبة الحد الأقصى للأسعار لدرجة السعر لحد الأسعار لحد السعر لحد الأسعار لحد السعر لقيد السعر لحد السعر لقيد السعر لقيد السعر لقيد سعر الحد الأقصى للسعر للحد من سعر الحد الأقصى للسعر للحد من السعر للحد من السعر بالنسبة إلى الحد الأقصى للسعر للحد من السعر للحد من السعر للحد من السعر للحد من السعر للحد من السعر للحد من السعر بالنسبة بالنسبة إلى الحد الأقصى للأسعار لحد السعر لحد الأسعار لحد الأسعار لحد الأسعار لحد الأسعار لحد الأسعار لحد الأسعار لحد الأسعار لحد الأسعار للسعر للسعر | لا ، أموال الأسهم تنفذ T+1. شراء في يوم التداول (وقت التداول) وحساب بناءً على القيمة الصافية في يوم إغلاق الشراء. يتم تأكيد الأسهم في يوم التداول الثاني. فقط بعد تأكيد الأسهم ، يمكن بيع الصندوق. بشكل عام ، اشترِ في يوم التداول ، وبيع في يوم التداول الثالث ، والبيع في اليوم الثالث للتداول. | تختلف الأسهم والأساليب التجارية من سوق الأوراق المالية إلى سوق الأوراق المالية. في بعض أسواق الأوراق المالية ، يمكن شراء الأسهم والأموال وبيعها كما يريدون في نفس اليوم ، وهو ما يسمى تداول "T+0". ومع ذلك ، في أسواق الأوراق المالية الأخرى ، لا يمكن شراء الأسهم والأموال وبيعها بمجرد أن تكون في نفس اليوم ، ويجب أن تنتظر وقت تداول معين قبل تداولها. في سوق A-Share الصيني ، لا يمكن شراء الأسهم والأموال وبيعها بمجرد أن تكون في نفس اليوم ، ويحتاجون إلى تداول T+1 أو T+2. هذا يعني أنه إذا اشتريت سهمًا أو صندوقًا اليوم ، فسيتعين عليك الانتظار حتى الغد لبيعه. في بعض البلدان والمناطق الأخرى ، قد تتداول الأسهم والأموال بشكل مختلف. لذلك ، إذا كنت ترغب في الاستثمار في الأسهم أو الأموال ، فمن المستحسن أن تفهم قواعد التداول المحلية وظروف السوق. |
تم الانتهاء من هذا المشروع من قبل Yangmu Yu و Wenhuan Hong ، قسم الذكاء الاصطناعي التلقائي في معهد تشنغدو لتطبيقات الكمبيوتر في الأكاديمية الصينية للعلوم (معلومات العلوم الصينية).
يشير هذا المشروع إلى مشاريع المصادر المفتوحة التالية ، ونود أن نعرب عن امتناننا للمشاريع ذات الصلة وموظفي البحث والتطوير.
الموارد المتعلقة بهذا المشروع مخصصة للبحث الأكاديمي فقط وهي محظورة بشكل صارم لأغراض تجارية. عند استخدام أجزاء تتضمن رمز الطرف الثالث ، يرجى متابعة بروتوكول المصدر المفتوح المقابل. يتأثر المحتوى الناتج عن النموذج بعوامل مثل حساب النماذج والعشوائية وخسائر الدقة الكمية ، ولا يمكن أن يضمن هذا المشروع دقته. لا يتحمل هذا المشروع أي مسؤولية قانونية عن أي إخراج للمحتوى حسب النموذج ، كما أنه لا يتحمل أي خسائر قد تنشأ عن استخدام الموارد ونتائج الإخراج ذات الصلة.
إذا كنت تستخدم البيانات أو رمز هذا المشروع ، فيرجى إعلان المرجع
@misc{Cornucopia-LLaMA-Fin-Chinese,
title={Cornucopia-LLaMA-Fin-Chinese},
author={YangMu Yu},
year={2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese}},
}
إذا كنت ترغب في المشاركة في هذا المشروع ، فأرسل بيانات/رمز المساهمة ، يرجى الرجوع إلى كيفية المساهمة.
مرحبًا بكم في الإعجاب؟ ، اتبع ، مشاركة ، وثلاثة نقرة واحدة متتالية ؛ إذا كان لديك أي أسئلة ، فيرجى إرسالها في قضية Github ، أو الانضمام إلى المجموعة لمناقشة المزيد:
