Téléchargement EXAONE 3.0 - Téléchargement du code source EXAONE 3.0

EXAONE 3.0

Code Source AI

1.0.0

Télécharger

Exaone 3.0

? Houggingface | Blog | ? Rapport technique

Introduction

Nous introduisons ExaOne-3.0-7.8b-Istruct, un modèle génératif bilingue (anglais et coréen) pré-formé et réglé par l'instruction avec 7,8 milliards de paramètres. Le modèle a été formé avec des jetons organisés 8T et post-formé avec un réglage fin supervisé et une optimisation des préférences directes. Il démontre des performances de référence hautement compétitives contre d'autres modèles ouverts de pointe de taille similaire.

Nouvelles

2024.08.08: Nous avons révisé notre licence pour revitaliser l'écosystème de recherche.
2024.08.07: Nous avons publié le modèle d'instruction ExaOne 3.0 7.8b. Découvrez le? Rapport technique!

Performance

Certains résultats expérimentaux sont présentés ci-dessous. Les résultats complets d'évaluation peuvent être trouvés dans le rapport technique.

Langue	Référence	Exaone 3.0 7.8b Inst.	Lama 3.1 8b Inst.	Gemma 2 9b Inst.	Qwen 2 7b Inst.	Phi 3 7b Inst.	Mistral 7b Inst.
Anglais	Mt-banc	9.01	7.95	8.52	8.41	8.52	7.72
	Arena-Hard-V0.1	46.8	28.0	42.1	21.7	29.1	16.2
	Sauvage	48.2	34.5	41.5	34.9	32.8	29.0
	Alpacaeval 2.0 LC	45.0	31.5	47.5	24.5	37.1	31.0
coréen	Komt-banc ¹	8.92	6.06	7.92	7.69	4.87	5.20
	Logickor	8.62	5.40	8.07	6.12	3.76	3.42

Exigences

transformers>=4.41.0 pour le modèle ExaOne 3.0. La dernière version est recommandée à utiliser.

Start

 import torch
from transformers import AutoModelForCausalLM , AutoTokenizer

model = AutoModelForCausalLM . from_pretrained (
    "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct" ,
    torch_dtype = torch . bfloat16 ,
    trust_remote_code = True ,
    device_map = "auto"
)
tokenizer = AutoTokenizer . from_pretrained ( "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct" )

# Choose your prompt
prompt = "Explain who you are"  # English example
prompt = "너의 소원을 말해봐"   # Korean example

messages = [
    { "role" : "system" , "content" : "You are EXAONE model from LG AI Research, a helpful assistant." },
    { "role" : "user" , "content" : prompt }
]
input_ids = tokenizer . apply_chat_template (
    messages ,
    tokenize = True ,
    add_generation_prompt = True ,
    return_tensors = "pt"
)

output = model . generate (
    input_ids . to ( "cuda" ),
    eos_token_id = tokenizer . eos_token_id ,
    max_new_tokens = 128
)
print ( tokenizer . decode ( output [ 0 ]))

Note

Le modèle de langage d'instructions ExaOne 3.0 a été formé pour utiliser l'invite du système, nous recommandons donc fortement d'utiliser les invites système fournies dans l'extrait de code ci-dessus.

Limitation

Le modèle de langue ExaOne a certaines limites et peut parfois générer des réponses inappropriées. Le modèle de langue génère des réponses en fonction de la probabilité de sortie des jetons, et elle est déterminée lors de l'apprentissage des données de formation. Bien que nous ayons fait des efforts pour exclure des informations personnelles, nocives et biaisées à partir des données de formation, certains contenus problématiques peuvent encore être inclus, ce qui entraîne potentiellement des réponses indésirables. Veuillez noter que le texte généré par ExaOne Language Model ne reflète pas les vues de la recherche LG AI.

Des réponses inappropriées peuvent être générées, qui contiennent des informations personnelles, nuisibles ou autres.
Des réponses biaisées peuvent être générées, qui sont associées à l'âge, au sexe, à la race, etc.
Les réponses générées reposent fortement sur les statistiques des données de formation, ce qui peut entraîner la génération de phrases sémantiquement ou syntaxiquement incorrectes.
Étant donné que le modèle ne reflète pas les dernières informations, les réponses peuvent être fausses ou contradictoires.

La recherche sur l'IA de LG s'efforce de réduire les risques potentiels qui peuvent résulter du modèle de langue exaone. Les utilisateurs ne sont pas autorisés à s'engager dans des activités malveillantes (par exemple, en saisissant des informations illégales) qui peuvent induire la création de sorties inappropriées violant les principes éthiques de LG AI lors de l'utilisation du modèle de langue exaone.

Licence

Le modèle est sous licence en vertu de l'accord de licence de modèle AI ExaOne 1.1 - NC

Citation

 @article{exaone-3.0-7.8B-instruct,
  title={EXAONE 3.0 7.8B Instruction Tuned Language Model},
  author={LG AI Research},
  journal={arXiv preprint arXiv:2408.03541},
  year={2024}
}