ดาวน์โหลด EXAONE 3.0 - EXAONE 3.0 แหล่งที่มาดาวน์โหลด

EXAONE 3.0

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

exaone 3.0

- Huggingface | บล็อก | - รายงานด้านเทคนิค

การแนะนำ

เราแนะนำ Exaone-3.0-7.8b-Instruct ซึ่งเป็นแบบจำลองการกำเนิดแบบสองภาษาที่ผ่านการฝึกอบรมมาก่อนและได้รับการฝึกอบรม (อังกฤษและเกาหลี) ด้วยพารามิเตอร์ 7.8 พันล้าน แบบจำลองนี้ได้รับการฝึกอบรมล่วงหน้าด้วยโทเค็น 8T ที่ได้รับการดูแลและผ่านการฝึกอบรมหลังการปรับแต่งการปรับแต่งและการเพิ่มประสิทธิภาพการตั้งค่าโดยตรง มันแสดงให้เห็นถึงประสิทธิภาพของเกณฑ์มาตรฐานที่มีการแข่งขันสูงกับโมเดลที่เปิดกว้างอื่น ๆ ที่มีขนาดใกล้เคียงกัน

ข่าว

2024.08.08: เราได้แก้ไขใบอนุญาตของเราสำหรับการฟื้นฟูระบบนิเวศการวิจัย
2024.08.07: เราเปิดตัวรุ่น EXAONE 3.0 7.8B แบบปรับแต่ง ตรวจสอบ? รายงานทางเทคนิค!

ผลงาน

ผลการทดลองบางอย่างแสดงอยู่ด้านล่าง ผลการประเมินเต็มรูปแบบสามารถพบได้ในรายงานทางเทคนิค

ภาษา	เกณฑ์มาตรฐาน	exaone 3.0 7.8b Inst.	ลามะ 3.1 8b Inst.	เจมม่า 2 9b Inst.	Qwen 2 7b Inst.	พี 3 7b Inst.	MISTRAL 7B Inst.
ภาษาอังกฤษ	บึง MT	9.01	7.95	8.52	8.41	8.52	7.72
	Arena-Hard-V0.1	46.8	28.0	42.1	21.7	29.1	16.2
	Wildbench	48.2	34.5	41.5	34.9	32.8	29.0
	Alpacaeval 2.0 LC	45.0	31.5	47.5	24.5	37.1	31.0
เกาหลี	KOMT-BENCH ¹	8.92	6.06	7.92	7.69	4.87	5.20
	เครื่องบันทึก	8.62	5.40	8.07	6.12	3.76	3.42

ความต้องการ

transformers>=4.41.0 สำหรับรุ่น Exaone 3.0 แนะนำให้ใช้เวอร์ชันล่าสุด

เร็ว

 import torch
from transformers import AutoModelForCausalLM , AutoTokenizer

model = AutoModelForCausalLM . from_pretrained (
    "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct" ,
    torch_dtype = torch . bfloat16 ,
    trust_remote_code = True ,
    device_map = "auto"
)
tokenizer = AutoTokenizer . from_pretrained ( "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct" )

# Choose your prompt
prompt = "Explain who you are"  # English example
prompt = "너의 소원을 말해봐"   # Korean example

messages = [
    { "role" : "system" , "content" : "You are EXAONE model from LG AI Research, a helpful assistant." },
    { "role" : "user" , "content" : prompt }
]
input_ids = tokenizer . apply_chat_template (
    messages ,
    tokenize = True ,
    add_generation_prompt = True ,
    return_tensors = "pt"
)

output = model . generate (
    input_ids . to ( "cuda" ),
    eos_token_id = tokenizer . eos_token_id ,
    max_new_tokens = 128
)
print ( tokenizer . decode ( output [ 0 ]))

บันทึก

รูปแบบภาษาที่ปรับแต่งของคำสั่ง Exaone 3.0 ได้รับการฝึกฝนให้ใช้พรอมต์ระบบดังนั้นเราขอแนะนำให้ใช้การแจ้งเตือนระบบที่มีให้ในตัวอย่างโค้ดด้านบน

ข้อ จำกัด

รูปแบบภาษา exaone มีข้อ จำกัด บางประการและบางครั้งอาจสร้างการตอบสนองที่ไม่เหมาะสม รูปแบบภาษาสร้างการตอบสนองตามความน่าจะเป็นเอาท์พุทของโทเค็นและจะถูกกำหนดในระหว่างการเรียนรู้จากข้อมูลการฝึกอบรม ในขณะที่เราใช้ความพยายามทุกวิถีทางเพื่อแยกข้อมูลส่วนบุคคลเป็นอันตรายและลำเอียงจากข้อมูลการฝึกอบรมเนื้อหาที่มีปัญหาบางอย่างอาจยังคงรวมอยู่ซึ่งอาจนำไปสู่การตอบสนองที่ไม่พึงประสงค์ โปรดทราบว่าข้อความที่สร้างโดยแบบจำลองภาษา exaone ไม่ได้สะท้อนมุมมองของการวิจัย LG AI

คำตอบที่ไม่เหมาะสมอาจถูกสร้างขึ้นซึ่งมีข้อมูลส่วนบุคคลเป็นอันตรายหรือข้อมูลที่ไม่เหมาะสมอื่น ๆ
การตอบสนองแบบเอนเอียงอาจถูกสร้างขึ้นซึ่งเกี่ยวข้องกับอายุเพศเชื้อชาติและอื่น ๆ
การตอบสนองที่สร้างขึ้นนั้นขึ้นอยู่กับสถิติจากข้อมูลการฝึกอบรมซึ่งอาจส่งผลให้เกิดการสร้างประโยคที่ไม่ถูกต้องตามความหมายหรือทางไวยากรณ์
เนื่องจากแบบจำลองไม่ได้สะท้อนข้อมูลล่าสุดการตอบสนองอาจเป็นเท็จหรือขัดแย้ง

การวิจัย LG AI มุ่งมั่นที่จะลดความเสี่ยงที่อาจเกิดขึ้นซึ่งอาจเกิดขึ้นจากแบบจำลองภาษา exaone ผู้ใช้จะไม่ได้รับอนุญาตให้มีส่วนร่วมในกิจกรรมที่เป็นอันตรายใด ๆ (เช่นการแนะนำในข้อมูลที่ผิดกฎหมาย) ซึ่งอาจทำให้เกิดการสร้างผลลัพธ์ที่ไม่เหมาะสมซึ่งละเมิดหลักการทางจริยธรรมของ LG AI เมื่อใช้แบบจำลองภาษา exaone

ใบอนุญาต

รูปแบบได้รับใบอนุญาตภายใต้ข้อตกลงใบอนุญาตรุ่น Exaone AI 1.1 - NC

การอ้างอิง

 @article{exaone-3.0-7.8B-instruct,
  title={EXAONE 3.0 7.8B Instruction Tuned Language Model},
  author={LG AI Research},
  journal={arXiv preprint arXiv:2408.03541},
  year={2024}
}