الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

[AICUP 2024] منافسة -2024-PYTORCH-LLMRAG

تطبيقات RAG و LLM في سؤال وجواب مالي

Team_6029: كيلفن ، جوناثان ، إدوارد ، توم

  • تحدي الذكاء الاصطناعي في Yushan-تطبيق RAG و LLM في الأسئلة والأجوبة المالية

في العصر الذي تسرع فيه نماذج اللغة الكبيرة تحفيز التقنيات المختلفة ، تصبح دورة تطوير نماذج اللغة أقصر وأكثر فاعلية. مع ظهور نماذج اللغة الكبيرة ، لم تعد المعلومات الضخمة والمعقدة في الصناعة المالية عقبة أمام عدم القدرة على تعميم استرجاع Corpus ، ولكن مشكلة يتم حلها تدريجياً. يركز هذا التحدي على مجال الأسئلة والإجابات المالية ويوفر قاعدة بيانات غنية للمشاركين لاستخدامها. يحتاج المشاركون إلى تصميم آليات لتحسين دقة نتائج البحث ، بما في ذلك المتطلبات الأساسية مثل إيجاد المعلومات الصحيحة للإجابة على الأسئلة من المجموعة المقدمة ، وكذلك القدرة على إنشاء نماذج لغة كبيرة لإنتاج إجابات صحيحة وكاملة.

؟ الاستدلال السريع

لإعادة إنتاج نتائج الاستنتاج الخاصة بنا ، يرجى اتباع التعليمات.

الخطوة 0: إعداد البيئة

  • قم بتنزيل الريبو 

     git clone https://github.com/FanChiMao/Competition-2024-PyTorch-LLMRAG.git
cd Competition-2024-PyTorch-LLMRAG
git submodule update --init

  • إعداد البيئة
    ❗ NoteD : يرجى التحقق من بيئة GPU و OS ، والانتقال إلى موقع Pytorch لتثبيت Pytorch أولاً. 

     conda create --name LLMRAG python=3.10  # to reproduce the results, you have to install python 3.10
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118  # take cuda 11.8 as example
pip install -r requirements.txt

الخطوة 1: إعداد مجموعات البيانات

  • انتقل إلى الموقع الرسمي لتنزيل مجموعات البيانات. (بسبب السياسة ، لا يمكننا توفير مجموعة البيانات)

  • يمكنك تشغيل البرنامج النصي مباشرة 

     cd scripts
1.download_preliminary_data.bat

    أو قم بتشغيل المقتطف على ./datasets/download_preliment_datasets.py 

     cd datasets
python ./download_preliminary_datasets.py

  • ضع مجموعة البيانات في ./datasets.


الخطوة 2: تشغيل خط الأساس

  • يمكنك تشغيل البرنامج النصي مباشرة لتشغيل رمز خط الأساس 

     cd scripts
2.run_baseline_code.bat

    أو قم بتشغيل المقتطف على ./main_baseline.py 

     python ./main_baseline.py

  • بعد تشغيل رمز خط الأساس ، سيقوم بإنشاء نتيجة JSON على ./output/baseline.json


الخطوة 3: إعادة إنتاج النتائج

  • لإعادة إنتاج نتائجنا المقدمة ، يمكنك الركض 

     cd scripts
3.run_preliminary_results.bat

    أو قم بتشغيل المقتطف على . 

     python ./preliminary_results.py

  • بعد تشغيل رمز خط الأساس ، سيقوم بإنشاء نتيجة JSON على ./output/prelinary_results.json


تقييم

لتقييم الدقة@1 ل json الإخراج ، يرجى اتباع الأمر 

 python ./evaluation.py --gt [path of ground_truths_example.json] --rs [path of output json]

خذ النتيجة الأساسية على سبيل المثال: 

 python ./evaluation.py --gt ./datasets/preliminary/ground_truths_example.json --rs ./outputs/baseline.json

؟ اتصل بنا

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل