EXAONE 3.0
1.0.0
? Huggingface | Blog | ? Relatório Técnico
Introduzimos o Exaone-3.0-7.8b-Instruct, um modelo generativo bilíngue (inglês e coreano) pré-treinado e ajustado por instrução com 7,8 bilhões de parâmetros. O modelo foi pré-treinado com fichas com curadoria de 8T e pós-treinado com otimização de ajuste fino supervisionado e preferência direta. Ele demonstra desempenho de referência altamente competitivo contra outros modelos abertos de tamanho de ponta de tamanho semelhante.
Alguns resultados experimentais são mostrados abaixo. Os resultados completos da avaliação podem ser encontrados no relatório técnico.
| Linguagem | Benchmark | Exaone 3.0 7,8b inst. | LLAMA 3.1 8b inst. | Gemma 2 9b Inst. | Qwen 2 7b Inst. | Phi 3 7b Inst. | Mistral 7b Inst. |
|---|---|---|---|---|---|---|---|
| Inglês | MT-BANCH | 9.01 | 7.95 | 8.52 | 8.41 | 8.52 | 7.72 |
| Arena-v0.1 | 46.8 | 28.0 | 42.1 | 21.7 | 29.1 | 16.2 | |
| Wildbench | 48.2 | 34.5 | 41.5 | 34.9 | 32.8 | 29.0 | |
| ALPACAEVAL 2.0 LC | 45.0 | 31.5 | 47.5 | 24.5 | 37.1 | 31.0 | |
| coreano | KOMT-BANCH 1 | 8.92 | 6.06 | 7.92 | 7.69 | 4.87 | 5.20 |
| Logickor | 8.62 | 5.40 | 8.07 | 6.12 | 3.76 | 3.42 |
transformers>=4.41.0 para o modelo Exaone 3.0. A versão mais recente é recomendada para usar. import torch
from transformers import AutoModelForCausalLM , AutoTokenizer
model = AutoModelForCausalLM . from_pretrained (
"LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct" ,
torch_dtype = torch . bfloat16 ,
trust_remote_code = True ,
device_map = "auto"
)
tokenizer = AutoTokenizer . from_pretrained ( "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct" )
# Choose your prompt
prompt = "Explain who you are" # English example
prompt = "너의 소원을 말해봐" # Korean example
messages = [
{ "role" : "system" , "content" : "You are EXAONE model from LG AI Research, a helpful assistant." },
{ "role" : "user" , "content" : prompt }
]
input_ids = tokenizer . apply_chat_template (
messages ,
tokenize = True ,
add_generation_prompt = True ,
return_tensors = "pt"
)
output = model . generate (
input_ids . to ( "cuda" ),
eos_token_id = tokenizer . eos_token_id ,
max_new_tokens = 128
)
print ( tokenizer . decode ( output [ 0 ]))Observação
O modelo de linguagem EXAOONE 3.0 ajustado por instrução foi treinado para utilizar o prompt do sistema, por isso recomendamos o uso dos avisos do sistema fornecidos no snippet de código acima.
O modelo de linguagem exaone tem certas limitações e pode ocasionalmente gerar respostas inadequadas. O modelo de idioma gera respostas com base na probabilidade de saída dos tokens e é determinado durante o aprendizado dos dados de treinamento. Embora tenhamos feito todos os esforços para excluir informações pessoais, prejudiciais e tendenciosas dos dados de treinamento, algum conteúdo problemático ainda pode ser incluído, levando potencialmente a respostas indesejáveis. Observe que o texto gerado pelo modelo de linguagem exaone não reflete as opiniões da pesquisa da LG AI.
A LG AI Research se esforça para reduzir os riscos potenciais que podem surgir do modelo de linguagem exaone. Os usuários não podem se envolver em atividades maliciosas (por exemplo, digitação em informações ilegais) que podem induzir a criação de resultados inadequados que violam os princípios éticos da LG AI ao usar o modelo de linguagem exaone.
O modelo está licenciado sob o Contrato de Licença do Modelo da Exaone AI 1.1 - NC
@article{exaone-3.0-7.8B-instruct,
title={EXAONE 3.0 7.8B Instruction Tuned Language Model},
author={LG AI Research},
journal={arXiv preprint arXiv:2408.03541},
year={2024}
}
Suporte técnico de pesquisa da LG AI: [email protected]
Komt-Bench é um conjunto de dados criado traduzindo o MT-Bench para coreano; Veja o ReadMe para obter mais detalhes. ↩
