sailor llm
1.0.0
Этот репозиторий содержит код оценки для моряка, набор моделей на открытом языке для Юго-Восточной Азии.
Sailor разрабатывается Морской лабораторией ИИ и Сингапурским технологическим университетом и дизайном.
Моряк-это набор моделей на открытом языке, адаптированный для Юго-Восточной Азии (море), сосредоточенный на таких языках, как? Разработанные с тщательным курированием данных, модели моряков предназначены для понимания и генерирования текста в различных языковых ландшафтах морского региона. Созданный из QWEN 1.5, Sailor включает в себя модели различных размеров, охватывающих от 0,5 до 14b версии для различных требований. Результаты сравнительного анализа демонстрируют мастерство моряка в таких задачах, как ответ на вопрос, разумные рассуждения, понимание прочитанного и т. Д. На морских языках.
Чтобы узнать больше, пожалуйста, обратитесь к техническому отчету.
Вы можете найти все модели Sailor на нашей домашней странице Huggingface здесь:
Вот результаты оценки моделей по вопросам, отвечающим на задачи. Результаты оценки представлены в форме таблиц, где первым столбцом является название модели, а столбцы сброса являются производительность на языках THAI (TH), индонезийский (ID) и вьетнамские (VI), соответственно. Результаты моделей моряков выделены жирным шрифтом. Вы можете найти полные результаты оценки по различным задачам и нашему коду оценки, чтобы воспроизвести результаты в каталоге Eval.
| 3-выстрел (EM / F1) | Xquad (th) | Tydiqa (id) | Xquad (vi) |
|---|---|---|---|
| QWEN1.5-0.5b | 14.19 / 23.35 | 20,71 / 32,64 | 19,85 / 35,38 |
| Sailor-0.5b | 15,84 / 27,58 | 30,44 / 54,74 | 21.13 / 40.57 |
| QWEN1.5-1.8b | 27.24 / 43,56 | 29,73 / 53,76 | 29.17 / 48.15 |
| Sailor-1.8b | 32,72 / 48,66 | 40,88 / 65,37 | 34,22 / 53,35 |
| QWEN1.5-4B | 34.03 / 53,40 | 48,32 / 72,68 | 43,71 / 63,86 |
| Sailor-4B | 46,82 / 63,34 | 53,98 / 73,48 | 47.65 / 67.09 |
| Лама-2-7B | 30,64 / 43,80 | 56,64 / 72,14 | 46.96 / 66.16 |
| Мистраль-7B-V0.1 | 48,48 / 63,27 | 63,54 / 78,73 | 53,72 / 72,75 |
| SEALLM-7B-HYBRID | 49,70 / 67,62 | 50,62 / 75,21 | 49,62 / 70,74 |
| SEALLM-7B-V2 | 34,55 / 55,13 | 52,21 / 77,00 | 46.19 / 72.11 |
| QWEN1.5-7B | 53,79 / 69,30 | 57.17 / 77.28 | 56,63 / 76,99 |
| Sailor-7b | 57.88 / 71.06 | 60,53 / 75,42 | 53,81 / 74,62 |
Мы используем OpenCompass для оценки моделей. Чтобы установить необходимые пакеты, запустите следующую команду под этой папкой:
# setup opencompass environment
conda create --name opencompass python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y
conda activate opencompass
git clone https://github.com/open-compass/opencompass opencompass
cd opencompass
pip install -e .
pip install pythainlp langid
mkdir dataЧтобы построить сценарий оценки, запустите следующую команду в этой папке:
cp -r eval/configs/ * opencompass/configs/
cp -r eval/data/ * opencompass/data/
cp -r eval/datasets/ * opencompass/opencompass/datasets/
cp eval/icl_sailor_evaluator.py opencompass/opencompass/openicl/icl_evaluator/
cp eval/sailor_text_postprocessors.py opencompass/opencompass/utils/
echo " from .icl_sailor_evaluator import AnsEvaluator, TextGenEvaluator # noqa " >> " opencompass/opencompass/openicl/icl_evaluator/__init__.py "
echo " from .sailor_text_postprocessors import * # noqa " >> " opencompass/opencompass/utils/__init__.py "
echo " from .xquad import * # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .tydiqa_id import * # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .xcopa_sea import * # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .m3exam import * # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
echo " from .belebele import * # noqa: F401, F403 " >> " opencompass/opencompass/datasets/__init__.py "
cp eval/eval_sailor.py opencompass/configs/Чтобы запустить оценку, запустите следующую команду в этой папке:
cd opencompass
python run.py configs/eval_sailor.py -w outputs/sailor --hf-num-gpus 1 --max-num-workers 64Вы также можете изменить сценарий для оценки других моделей, таких как QWEN1.5, Llama, Mistral и т. Д.
Мы предоставляем простую демонстрацию для общения с Sailor-14b-Chat. Вы также можете разработать его, используя предоставленный демонстрационный код.
Если вы используете эти модели репозитория или моряка, пожалуйста, цитируйте
@inproceedings{dou-etal-2024-sailor,
title = "Sailor: Open Language Models for South-{E}ast {A}sia",
author = "Dou, Longxu and Liu, Qian and Zeng, Guangtao and Guo, Jia and Zhou, Jiahui and Mao, Xin and Jin, Ziqi and Lu, Wei and Lin, Min",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
year = "2024",
}
Если у вас есть какие -либо вопросы, пожалуйста, поднимите проблему в нашем GitHub или свяжитесь с нами по адресу [email protected] и [email protected].
