sailor llm Download - sailor llm Source Code Download

sailor llm

كود الذكاء الاصطناعي

1.0.0

تنزيل

بحار: نماذج لغة مفتوحة لجنوب شرق آسيا

يحتوي هذا المستودع على رمز التقييم لـ Sailor ، وهو مجموعة من نماذج اللغة المفتوحة لجنوب شرق آسيا.

تم تطوير Sailor بواسطة Sea AI Lab وجامعة سنغافورة للتكنولوجيا والتصميم.

مقدمة

Sailor هو مجموعة من نماذج اللغة المفتوحة المصممة خصيصًا لجنوب شرق آسيا (SEA) ، مع التركيز على لغات مثل ؟؟ تم تطوير نماذج بحار لفهم وإنشاء نص عبر المناظر الطبيعية اللغوية المتنوعة في منطقة البحر. تم تصميم Sailor من QWEN 1.5 ، ويشمل نماذج ذات أحجام مختلفة ، وتمتد من 0.5B إلى 14B الإصدارات لمتطلبات مختلفة. تُظهر نتائج المعايير كفاءة بحار في مهام مثل الإجابة على الأسئلة ، والمنطق المنطقي ، وفهم القراءة وما إلى ذلك بلغات البحر.

مستمر باستمرار على 200 مليار إلى 400 مليار رمز أكثر من 7 لغات ، بما في ذلك إندونيسية والتايلاندية والفيتنامية والملايو ، لاو ، اللغة الإنجليزية والصينية.
أحجام نموذجية مختلفة (0.5B ، 1.8B ، 4B ، 7B و 14B) لدعم المتطلبات المختلفة.
أداء قوي على معايير البحر مثل Xquad و Tydiqa و Xcopa و Belebele و M3exam.
لا تقيد على البحث والاستخدام التجاري ، ولكن يجب أن يتوافق مع ترخيص QWEN 1.5.

لمعرفة المزيد من التفاصيل ، يرجى الوصول إلى التقرير الفني.

النماذج

يمكنك العثور على جميع نماذج البحارة في صفحتنا الرئيسية Huggingface هنا:

بحار 0.5 ب
بحار 1.8 ب
بحار 4 ب
بحار 7 ب
بحار 14 ب
Sailor-0.5b-Chat
بحار -1.8 ب- الدردشة
Sailor-4B-Chat
Sailor-7b-Chat
Sailor-14B-Chat

تقييم

فيما يلي نتائج تقييم النماذج على مهام الإجابة على الأسئلة. يتم تقديم نتائج التقييم في شكل الجداول ، حيث يكون العمود الأول هو اسم النموذج ، وأعمدة إعادة تعيين هي الأداء على اللغات التايلاندية (TH) ، الإندونيسية (ID) ، والفيتنامية (VI) ، على التوالي. يتم تسليط الضوء على نتائج نماذج البحار بالخط العريض. يمكنك العثور على نتائج التقييم الكاملة في المهام المختلفة ورمز التقييم الخاص بنا لإعادة إنتاج النتائج في دليل EVER.

إجابة سؤال

3-Shot (EM / F1)	xquad (th)	Tydiqa (معرف)	xquad (السادس)
Qwen1.5-0.5b	14.19 / 23.35	20.71 / 32.64	19.85 / 35.38
بحار 0.5 ب	15.84 / 27.58	30.44 / 54.74	21.13 / 40.57
Qwen1.5-1.8b	27.24 / 43.56	29.73 / 53.76	29.17 / 48.15
بحار 1.8 ب	32.72 / 48.66	40.88 / 65.37	34.22 / 53.35
Qwen1.5-4b	34.03 / 53.40	48.32 / 72.68	43.71 / 63.86
بحار 4 ب	46.82 / 63.34	53.98 / 73.48	47.65 / 67.09
لاما 2-7 ب	30.64 / 43.80	56.64 / 72.14	46.96 / 66.16
MISTRAL-7B-V0.1	48.48 / 63.27	63.54 / 78.73	53.72 / 72.75
SEALLM-7B-HYBRID	49.70 / 67.62	50.62 / 75.21	49.62 / 70.74
SEALLM-7B-V2	34.55 / 55.13	52.21 / 77.00	46.19 / 72.11
Qwen1.5-7b	53.79 / 69.30	57.17 / 77.28	56.63 / 76.99
بحار 7 ب	57.88 / 71.06	60.53 / 75.42	53.81 / 74.62

يثبت

نستخدم OpenCompass لتقييم النماذج. لتثبيت الحزم المطلوبة ، قم بتشغيل الأمر التالي ضمن هذا المجلد:

 # setup opencompass environment
conda create --name opencompass python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y
conda activate opencompass
git clone https://github.com/open-compass/opencompass opencompass
cd opencompass
pip install -e .
pip install pythainlp langid
mkdir data

بناء البرنامج النصي للتقييم

لبناء البرنامج النصي للتقييم ، قم بتشغيل الأمر التالي ضمن هذا المجلد:

cp -r eval/configs/ * opencompass/configs/
cp -r eval/data/ * opencompass/data/
cp -r eval/datasets/ * opencompass/opencompass/datasets/
cp eval/icl_sailor_evaluator.py opencompass/opencompass/openicl/icl_evaluator/
cp eval/sailor_text_postprocessors.py opencompass/opencompass/utils/
echo " from .icl_sailor_evaluator import AnsEvaluator, TextGenEvaluator  # noqa " >> " opencompass/opencompass/openicl/icl_evaluator/__init__.py "
echo " from .sailor_text_postprocessors import *  # noqa " >> " opencompass/opencompass/utils/__init__.py "
echo " from .xquad import *  # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .tydiqa_id import *  # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .xcopa_sea import *  # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .m3exam import *  # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .belebele import *  # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
cp eval/eval_sailor.py opencompass/configs/

تقييم التقييم

لتشغيل التقييم ، قم بتشغيل الأمر التالي ضمن هذا المجلد:

 cd opencompass
python run.py configs/eval_sailor.py -w outputs/sailor --hf-num-gpus 1 --max-num-workers 64

يمكنك أيضًا تعديل البرنامج النصي لتقييم نماذج أخرى مثل QWEN1.5 و LLAMA و MISTRAL ، إلخ.

العرض التوضيحي

نحن نقدم عرضًا تجريبيًا بسيطًا للدردشة مع Sailor-14B-Chat. يمكنك أيضًا تطويره باستخدام الرمز التجريبي المقدم.

نقلا عن هذا العمل

إذا كنت تستخدم نماذج المستودع أو البحارة ، يرجى الاستشهاد

 @inproceedings{dou-etal-2024-sailor,
    title = "Sailor: Open Language Models for South-{E}ast {A}sia",
    author = "Dou, Longxu and Liu, Qian and Zeng, Guangtao and Guo, Jia  and Zhou, Jiahui and Mao, Xin and Jin, Ziqi and Lu, Wei and Lin, Min",
    booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    year = "2024",
}