ดาวน์โหลด sailor llm - sailor llm Source Source Download

sailor llm

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

กะลาสี: โมเดลภาษาเปิดสำหรับเอเชียตะวันออกเฉียงใต้

ที่เก็บนี้มีรหัสการประเมินผลสำหรับกะลาสีซึ่งเป็นแบบจำลองภาษาแบบเปิดสำหรับเอเชียตะวันออกเฉียงใต้

กะลาสีได้รับการพัฒนาโดย Sea AI Lab และมหาวิทยาลัยเทคโนโลยีและการออกแบบของสิงคโปร์

การแนะนำ

กะลาสีเป็นชุดภาษาแบบเปิดที่เหมาะสำหรับเอเชียตะวันออกเฉียงใต้ (ทะเล) โดยมุ่งเน้นไปที่ภาษาเช่น ?? อินโดนีเซีย,? พัฒนาด้วยการดูแลข้อมูลอย่างระมัดระวังแบบจำลองกะลาสีได้รับการออกแบบมาเพื่อทำความเข้าใจและสร้างข้อความในภูมิประเทศทางภาษาที่หลากหลายของภูมิภาคทะเล สร้างขึ้นจาก Qwen 1.5 กะลาสีรวมโมเดลที่มีขนาดแตกต่างกันซึ่งครอบคลุมตั้งแต่ 0.5b ถึง 14b สำหรับข้อกำหนดที่แตกต่างกัน ผลการเปรียบเทียบแสดงให้เห็นถึงความสามารถของกะลาสีในงานต่าง ๆ เช่นการตอบคำถามการใช้เหตุผลเชิงพาณิชย์การอ่านความเข้าใจและอื่น ๆ ในภาษาทะเล

ได้รับการปรับปรุงอย่างต่อเนื่องใน 200 พันล้านถึง 400 พันล้านโทเค็นมากกว่า 7 ภาษารวมถึงอินโดนีเซียไทยเวียดนามมาเลย์ลาวอังกฤษและจีน
ขนาดรุ่นต่างๆ (0.5B, 1.8B, 4B, 7B และ 14B) เพื่อรองรับข้อกำหนดที่แตกต่างกัน
ประสิทธิภาพที่แข็งแกร่งเกี่ยวกับมาตรฐานทางทะเลเช่น Xquad, Tydiqa, Xcopa, Belebele และ M3Exam
ไม่มีการ จำกัด การวิจัยและการใช้งานเชิงพาณิชย์ แต่ควรปฏิบัติตามใบอนุญาต Qwen 1.5

หากต้องการเรียนรู้รายละเอียดเพิ่มเติมโปรดเข้าถึงรายงานทางเทคนิค

แบบจำลอง

คุณสามารถค้นหารุ่นกะลาสีทั้งหมดในหน้าแรกของเรา HuggingFace ได้ที่นี่:

กะลาสี -0.5b
Sailor-1.8b
กะลาสีเรือ
กะลาสี
Sailor-14b
Sailor-0.5b-chat
Sailor-1.8b-chat
กะลาสี
กะลาสี
Sailor-14b-chat

การประเมิน

นี่คือผลลัพธ์ของการประเมินแบบจำลองในงานตอบคำถาม ผลการประเมินจะแสดงในรูปแบบของตารางซึ่งคอลัมน์แรกคือชื่อรุ่นและคอลัมน์รีเซ็ตคือประสิทธิภาพของภาษาไทย (TH), อินโดนีเซีย (ID) และภาษาเวียดนาม (VI) ตามลำดับ ผลลัพธ์ของรุ่นกะลาสีจะถูกเน้นเป็นตัวหนา คุณสามารถค้นหาผลการประเมินเต็มรูปแบบในงานที่แตกต่างกันและรหัสการประเมินของเราเพื่อทำซ้ำผลลัพธ์ในไดเรกทอรี Eval

ตอบคำถาม

3-shot (EM / F1)	Xquad (TH)	tydiqa (id)	Xquad (VI)
QWEN1.5-0.5B	14.19 / 23.35	20.71 / 32.64	19.85 / 35.38
กะลาสี -0.5b	15.84 / 27.58	30.44 / 54.74	21.13 / 40.57
QWEN1.5-1.8B	27.24 / 43.56	29.73 / 53.76	29.17 / 48.15
Sailor-1.8b	32.72 / 48.66	40.88 / 65.37	34.22 / 53.35
QWEN1.5-4B	34.03 / 53.40	48.32 / 72.68	43.71 / 63.86
กะลาสีเรือ	46.82 / 63.34	53.98 / 73.48	47.65 / 67.09
LLAMA-2-7B	30.64 / 43.80	56.64 / 72.14	46.96 / 66.16
MISTRAL-7B-V0.1	48.48 / 63.27	63.54 / 78.73	53.72 / 72.75
seallm-7b-hybrid	49.70 / 67.62	50.62 / 75.21	49.62 / 70.74
SEALLM-7B-V2	34.55 / 55.13	52.21 / 77.00	46.19 / 72.11
QWEN1.5-7B	53.79 / 69.30	57.17 / 77.28	56.63 / 76.99
กะลาสี	57.88 / 71.06	60.53 / 75.42	53.81 / 74.62

การตั้งค่า

เราใช้ openCompass เพื่อประเมินแบบจำลอง ในการติดตั้งแพ็คเกจที่ต้องการเรียกใช้คำสั่งต่อไปนี้ภายใต้โฟลเดอร์นี้:

 # setup opencompass environment
conda create --name opencompass python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y
conda activate opencompass
git clone https://github.com/open-compass/opencompass opencompass
cd opencompass
pip install -e .
pip install pythainlp langid
mkdir data

สร้างสคริปต์การประเมินผล

ในการสร้างสคริปต์การประเมินให้เรียกใช้คำสั่งต่อไปนี้ภายใต้โฟลเดอร์นี้:

cp -r eval/configs/ * opencompass/configs/
cp -r eval/data/ * opencompass/data/
cp -r eval/datasets/ * opencompass/opencompass/datasets/
cp eval/icl_sailor_evaluator.py opencompass/opencompass/openicl/icl_evaluator/
cp eval/sailor_text_postprocessors.py opencompass/opencompass/utils/
echo " from .icl_sailor_evaluator import AnsEvaluator, TextGenEvaluator  # noqa " >> " opencompass/opencompass/openicl/icl_evaluator/__init__.py "
echo " from .sailor_text_postprocessors import *  # noqa " >> " opencompass/opencompass/utils/__init__.py "
echo " from .xquad import *  # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .tydiqa_id import *  # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .xcopa_sea import *  # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .m3exam import *  # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .belebele import *  # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
cp eval/eval_sailor.py opencompass/configs/

เรียกใช้การประเมินผล

ในการเรียกใช้การประเมินผลให้เรียกใช้คำสั่งต่อไปนี้ภายใต้โฟลเดอร์นี้:

 cd opencompass
python run.py configs/eval_sailor.py -w outputs/sailor --hf-num-gpus 1 --max-num-workers 64

นอกจากนี้คุณยังสามารถแก้ไขสคริปต์เพื่อประเมินโมเดลอื่น ๆ เช่น QWEN1.5, Llama, Mistral ฯลฯ

การสาธิต

เราให้การสาธิตง่ายๆในการแชทกับ Sailor-14b-Chat คุณยังสามารถพัฒนาได้โดยใช้รหัสสาธิตที่ให้ไว้

อ้างถึงงานนี้

หากคุณใช้ที่เก็บหรือรุ่นกะลาสีนี้โปรดอ้างอิง

 @inproceedings{dou-etal-2024-sailor,
    title = "Sailor: Open Language Models for South-{E}ast {A}sia",
    author = "Dou, Longxu and Liu, Qian and Zeng, Guangtao and Guo, Jia  and Zhou, Jiahui and Mao, Xin and Jin, Ziqi and Lu, Wei and Lin, Min",
    booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    year = "2024",
}