EXAONE 3.0
1.0.0
? Объятие | Блог | ? Технический отчет
Мы вводим exaone-3.0-7.8b-инструкт, предварительно обученную и настроенную на инструкцию двуязычную (английскую и корейскую) генеративную модель с 7,8 миллиардами параметров. Модель была предварительно обучена с помощью кураторских токенов 8T и после обучения с контролируемой точной настройкой и непосредственной оптимизацией предпочтений. Это демонстрирует высококонкурентные показатели сравнения против других современных открытых моделей аналогичного размера.
Некоторые экспериментальные результаты показаны ниже. Полные результаты оценки можно найти в техническом отчете.
| Язык | Эталон | Exaone 3.0 7.8b инст. | Лама 3.1 8b инст. | Джемма 2 9b инст. | Qwen 2 7b инст. | PHI 3 7b инст. | Мишстраль 7b Институт |
|---|---|---|---|---|---|---|---|
| Английский | Mt-Bench | 9.01 | 7,95 | 8.52 | 8.41 | 8.52 | 7.72 |
| Arena-Hard-V0.1 | 46.8 | 28.0 | 42.1 | 21,7 | 29.1 | 16.2 | |
| Уайлдбенч | 48.2 | 34,5 | 41,5 | 34.9 | 32,8 | 29,0 | |
| Альпакаевальный 2,0 LC | 45,0 | 31.5 | 47.5 | 24.5 | 37.1 | 31.0 | |
| корейский | Komt-Bench 1 | 8.92 | 6.06 | 7.92 | 7.69 | 4.87 | 5.20 |
| Логикор | 8.62 | 5.40 | 8.07 | 6.12 | 3.76 | 3.42 |
transformers>=4.41.0 для модели Exaone 3.0. Последняя версия рекомендуется использовать. import torch
from transformers import AutoModelForCausalLM , AutoTokenizer
model = AutoModelForCausalLM . from_pretrained (
"LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct" ,
torch_dtype = torch . bfloat16 ,
trust_remote_code = True ,
device_map = "auto"
)
tokenizer = AutoTokenizer . from_pretrained ( "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct" )
# Choose your prompt
prompt = "Explain who you are" # English example
prompt = "너의 소원을 말해봐" # Korean example
messages = [
{ "role" : "system" , "content" : "You are EXAONE model from LG AI Research, a helpful assistant." },
{ "role" : "user" , "content" : prompt }
]
input_ids = tokenizer . apply_chat_template (
messages ,
tokenize = True ,
add_generation_prompt = True ,
return_tensors = "pt"
)
output = model . generate (
input_ids . to ( "cuda" ),
eos_token_id = tokenizer . eos_token_id ,
max_new_tokens = 128
)
print ( tokenizer . decode ( output [ 0 ]))Примечание
Модель языка, настроенная на подготовку Exaone 3.0, была обучена использовать системную подсказку, поэтому мы настоятельно рекомендуем использовать подсказки системы, представленные в фрагменте кода выше.
Модель языка Exaone имеет определенные ограничения и может иногда генерировать неподходящие ответы. Языковая модель генерирует ответы на основе вероятности результатов токенов, и она определяется во время обучения на учебных данных. Хотя мы приложили все усилия, чтобы исключить личную, вредную и предвзятую информацию из данных обучения, некоторое проблематичное содержание все еще может быть включено, что может привести к нежелательным ответам. Обратите внимание, что текст, созданный моделью языка Exaone, не отражает взгляды LG AI Research.
LG AI Research стремится снизить потенциальные риски, которые могут возникнуть в рамках модели языка Exaone. Пользователям не разрешается участвовать в каких -либо вредоносных действиях (например, ключе в незаконной информации), которые могут вызвать создание неуместных результатов, нарушающих этические принципы LG AI при использовании модели языка Exaone.
Модель лицензирована в соответствии с лицензионным соглашением Exaone AI Model 1.1 - NC
@article{exaone-3.0-7.8B-instruct,
title={EXAONE 3.0 7.8B Instruction Tuned Language Model},
author={LG AI Research},
journal={arXiv preprint arXiv:2408.03541},
year={2024}
}
LG AI Research Техническая поддержка: [email protected]
Komt-Bench-это набор данных, созданный путем перевода MT-Bench в корейский; Смотрите Readme для более подробной информации. ↩
