หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

?? จีน | ภาษาอังกฤษ | เอกสาร/เอกสาร | ❓คำถาม/ปัญหา | การอภิปราย/การอภิปราย | ⚔ Arena/Arena



- กอดหน้า•? ModelsCope •? ️ Machine Heart Sota! แบบอย่าง • ? Wisemodel •? การสาธิตออนไลน์

โครงการนี้ได้รับการพัฒนาขึ้นอยู่กับรุ่นใหม่ของโมเดลโอเพ่นซอร์ส LLAMA-3 ซึ่งเป็นระยะที่สามของโครงการจีน-แอลปา-อัลปากาของโครงการที่เกี่ยวข้องกับโมเดลโอเพนซอร์ส (เฟสและเฟส II) โครงการนี้โอเพ่นซอร์ส รูปแบบฐาน LLAMA-3 ของจีนและรูปแบบการเรียนการสอนการปรับแต่งภาษาจีน LLAMA-3-Instruct โมเดลเหล่านี้ใช้ข้อมูลภาษาจีนขนาดใหญ่สำหรับการฝึกอบรมล่วงหน้าที่เพิ่มขึ้นตาม LLAMA-3 ดั้งเดิมและใช้ข้อมูลคำสั่งที่เลือกสำหรับการปรับที่ดีปรับปรุงความหมายขั้นพื้นฐานของจีนและความสามารถในการทำความเข้าใจการเรียนการสอนและการปรับปรุงประสิทธิภาพที่สำคัญเมื่อเทียบกับรุ่นที่เกี่ยวข้องกับรุ่นที่สอง

เนื้อหาหลัก

  • โอเพ่นซอร์ส LLAMA-3-Chinese Dock Model และ LLAMA-3-Chinese-Instruct Model (V1, V2, V3)
  • สคริปต์การฝึกอบรมล่วงหน้าแบบโอเพ่นซอร์สและสคริปต์การปรับแต่งการเรียนการสอนผู้ใช้สามารถฝึกอบรมหรือปรับแต่งโมเดลได้ตามต้องการ
  • Open Source Alpaca_ZH_51K, STEM_ZH_INTRUCTION, RUOZHIBA_GPT4 (4O/4T) คำสั่งการปรับแต่งข้อมูลการปรับแต่ง
  • จัดเตรียมแบบฝึกหัดเพื่อหาปริมาณและปรับใช้รุ่นขนาดใหญ่ในพื้นที่โดยใช้ CPU/GPU คอมพิวเตอร์ส่วนบุคคลอย่างรวดเร็ว
  • สนับสนุน Llama-3 นิเวศวิทยาเช่น Transformers, Llama.cpp, Text-Generation-Webui, Vllm, Ollama ฯลฯ

Mixtral Mockup จีน LLAMA LLAMA-2 & Alpaca-2 Mockup | Llama Llama & Alpaca Mockup | Llama จีนหลายรูปแบบและ Alpaca Mockup | Multimodal VLE | MINIRBT จีน Lert จีน ภาษาอังกฤษภาษาอังกฤษ Pert | Macbert จีน Electra จีน XLNET จีน | เบิร์ตจีน เครื่องมือกลั่นความรู้ TextBrewer | Model Cropping Tool TextPruner | การกลั่นและการตัดธัญพืชแบบบูรณาการ

ข่าว

[2024/05/30] เปิดตัวรูปแบบการเรียนการสอน LLAMA-3-Chinese-8B-Instruct-V3 ซึ่งได้รับการปรับปรุงอย่างมีนัยสำคัญในงานดาวน์สตรีมเมื่อเทียบกับ V1/V2 ดูรายละเอียด: บันทึกรุ่น v3.0

[2024/05/08] ปล่อยโมเดลคำสั่ง LLAMA-3-Chinese-8B-Instruct-V2 โดยตรงโดยใช้ข้อมูลการเรียนการสอน 5 ล้านรายการเพื่อปรับแต่งบน Meta-Llama-3-8B-Instruct ดูรายละเอียด: บันทึกการเปิดตัว v2.0 เวอร์ชัน

[2024/05/07] เพิ่มสคริปต์การฝึกอบรมล่วงหน้าและสคริปต์การปรับแต่งการเรียนการสอน ดูรายละเอียด: บันทึกการเปิดตัว v1.1 เวอร์ชัน

[2024/04/30] เปิดตัวโมเดลฐาน LLAMA-3-Chinese-8B และรูปแบบการเรียนการสอน LLAMA-3-Chinese-8B-Instruct ดูรายละเอียด: บันทึกการเปิดตัว v1.0 เวอร์ชัน

[2024/04/19] เปิดตัวอย่างเป็นทางการโครงการจีน-llama-alpaca-3

คำแนะนำเนื้อหา

บท อธิบาย
?? ‍♂ การแนะนำแบบจำลอง แนะนำลักษณะทางเทคนิคของโมเดลที่เกี่ยวข้องสั้น ๆ ของโครงการนี้
⏬โมเดลดาวน์โหลด Llama-3 Model Model ดาวน์โหลดจีน
การใช้เหตุผลและการปรับใช้ แนะนำวิธีการหาปริมาณแบบจำลองและปรับใช้และสัมผัสกับรุ่นขนาดใหญ่โดยใช้คอมพิวเตอร์ส่วนบุคคล
เอฟเฟกต์โมเดล มีการแนะนำผลกระทบของโมเดลในบางงาน
การฝึกอบรมและปรับแต่ง แนะนำวิธีการฝึกอบรมและปรับแต่งโมเดล Llama-3 จีน
❓faq ตอบคำถามที่พบบ่อย

การแนะนำแบบจำลอง

โครงการนี้เปิดตัวโมเดลโอเพ่นซอร์สจีน LLAMA-3-Chinese และ Llama-3-Chinese-Instruct ตาม Meta Llama-3 คุณสมบัติหลักมีดังนี้:

ใช้รายการคำ LLAMA-3 ดั้งเดิม

  • เมื่อเปรียบเทียบกับสองรุ่นก่อนหน้านี้ LLAMA-3 ได้ขยายขนาดคำศัพท์อย่างมีนัยสำคัญจาก 32K เป็น 128K และเปลี่ยนเป็นรายการคำศัพท์ BPE
  • การทดลองเบื้องต้นพบว่าประสิทธิภาพการเข้ารหัสของรายการคำ LLAMA-3 นั้นเปรียบได้กับรายการคำศัพท์ที่ขยายออกไปของเราโดยมีประสิทธิภาพประมาณ 95% ของรายการคำภาษาจีน (ขึ้นอยู่กับการทดสอบประสิทธิภาพการเข้ารหัสบนข้อมูลวิกิพีเดีย)
  • จากประสบการณ์ที่เกี่ยวข้องของเราในการผสมผสานของจีนและข้อสรุปการทดลอง 1 เรา ไม่ได้เพิ่มคำศัพท์เพิ่มเติม

- ความยาวบริบทยาวขยายจาก 4K เป็น 8K ในรุ่นที่สอง

  • LLAMA-3 เพิ่มความยาวของหน้าต่างบริบทดั้งเดิมจาก 4K เป็น 8K ทำให้สามารถประมวลผลข้อมูลบริบทที่ยาวขึ้นได้เพิ่มเติม
  • ผู้ใช้ยังสามารถขยายโมเดลด้วยบริบทที่ยาวนานผ่าน PI, NTK, เส้นด้ายและวิธีอื่น ๆ เพื่อรองรับการประมวลผลข้อความที่ยาวขึ้น

⚡ใช้การจัดกลุ่มเพื่อค้นหากลไกความสนใจ

  • LLAMA-3 ใช้กลไกการสืบค้นการสืบค้น (GQA) ที่ใช้กับรุ่นพารามิเตอร์ขนาดใหญ่ใน LLAMA-2 ซึ่งสามารถปรับปรุงประสิทธิภาพของโมเดลต่อไปได้

- เทมเพลตคำสั่งใหม่เอี่ยม

  • Llama-3-Instruct ใช้เทมเพลตคำแนะนำใหม่ล่าสุดซึ่งไม่เข้ากันกับ Llama-2-Chat ควรทำตามเทมเพลตคำสั่งอย่างเป็นทางการเมื่อใช้งาน (ดูเทมเพลตคำสั่ง)

ดาวน์โหลดรุ่น

แนวทางการเลือกแบบจำลอง

ต่อไปนี้เป็นการเปรียบเทียบแบบจำลองของโครงการนี้และสถานการณ์การใช้งานที่แนะนำ สำหรับการโต้ตอบการแชทเลือกเวอร์ชันแนะนำ

รายการเปรียบเทียบ LLAMA-3-Chinese-8B Llama-3-Chinese-8b-Instruct
ประเภทรุ่น รุ่นฐาน Directive/Chat Model (Class CHATGPT)
ขนาดรุ่น 8B 8B
ประเภทการฝึกอบรม Causal-LM (CLM) คำแนะนำการปรับแต่งอย่างละเอียด
วิธีการฝึกอบรม lora + จำนวนเต็ม emb/lm-head lora + จำนวนเต็ม emb/lm-head
เริ่มต้นโมเดล meta-llama-3-8b ดั้งเดิม V1: Llama-3-Chinese-8b
V2: Meta-Llama-3-8B-Instruct
V3: ผสมของ Inst/Inst-V2/Inst-Meta
สื่อการฝึกอบรม Universal Corpus ที่ไม่มีเครื่องหมาย (ประมาณ 120GB) ข้อมูลคำแนะนำที่ทำเครื่องหมายไว้ (ประมาณ 5 ล้านชิ้น)
ขนาดคำศัพท์ คำศัพท์ดั้งเดิม (128,256) คำศัพท์ดั้งเดิม (128,256)
รองรับความยาวบริบท 8K 8K
เทมเพลตอินพุต ไม่จำเป็น จำเป็นต้องใช้เทมเพลต Llama-3-Instruct
สถานการณ์ที่เกี่ยวข้อง ความต่อเนื่องของข้อความ: ให้ข้อความข้างต้นให้โมเดลสร้างข้อความต่อไปนี้ คำสั่งความเข้าใจ: คำถามและคำตอบการเขียนการแชทการโต้ตอบ ฯลฯ

ต่อไปนี้เป็นการเปรียบเทียบระหว่างเวอร์ชันคำสั่ง หากไม่มีการตั้งค่าที่ชัดเจนโปรดให้ความสำคัญกับเวอร์ชันคำแนะนำ -v3

รายการเปรียบเทียบ คำแนะนำ -v1 คำแนะนำ -v2 คำแนะนำ -v3
เวลาปล่อยเวลา 2024/4/30 2024/5/8 2024/5/30
โมเดลพื้นฐาน meta-llama-3-8b ดั้งเดิม Meta-llama-3-8b-Instruct (ดูวิธีการฝึกอบรม)
วิธีการฝึกอบรม ขั้นตอนที่ 1: 120G จีนคลังการฝึกอบรมก่อนการฝึกอบรมระยะที่ 2: 5 ล้านข้อมูลการเรียนการสอนปรับปรับละเอียด ใช้ข้อมูลคำสั่ง 5 ล้านโดยตรงเพื่อปรับแต่ง Model Fusion ดำเนินการโดยใช้ Inst-V1, Inst-V2 และ Inst-Meta และได้มาจากการปรับแต่งข้อมูลคำสั่งจำนวนเล็กน้อย (~ 5K ชิ้น)
ความสามารถของจีน [1] 49.3 / 51.5 51.6 / 51.6 55.2 / 54.8 ??
ความสามารถภาษาอังกฤษ [1] 63.21 66.68 66.81 ??
ความสามารถในการส่งข้อความยาว [1] 29.6 46.4 ?? 40.5
Mockup Arena Win Rate อัตรา/ELO [2] 49.4% / 1430 66.1% / 1559 83.6% / 1627 ??

บันทึก

[1] เอฟเฟกต์ความสามารถของจีนมาจาก C-eval (ถูกต้อง); เอฟเฟกต์ความสามารถของภาษาอังกฤษมาจาก LLM Loadboard (AVG); ความสามารถในการส่งข้อความยาวมาจาก Longbench (AVG); โปรดดูที่ส่วนของเอฟเฟกต์แบบจำลองสำหรับรายละเอียด [2] เวลาที่ได้มาของเอฟเฟกต์ Model Model: 2024/5/30 สำหรับการอ้างอิงเท่านั้น

ดาวน์โหลดที่อยู่

ชื่อนางแบบ เวอร์ชันเต็ม เวอร์ชัน lora เวอร์ชัน gguf
LLAMA-3-Chinese-8B-Instruct-V3
(โมเดลคำสั่ง)		 [? กอดหน้า]
[? ModelsCope]
[? Wisemodel]		 N/A [? กอดหน้า]
[? ModelsCope]
LLAMA-3-Chinese-8B-Instruct-V2
(โมเดลคำสั่ง)		 [? กอดหน้า]
[? ModelsCope]
[? Wisemodel]		 [? กอดหน้า]
[? ModelsCope]
[? Wisemodel]		 [? กอดหน้า]
[? ModelsCope]
Llama-3-Chinese-8b-Instruct
(โมเดลคำสั่ง)		 [? กอดหน้า]
[? ModelsCope]
[? Wisemodel]		 [? กอดหน้า]
[? ModelsCope]
[? Wisemodel]		 [? กอดหน้า]
[? ModelsCope]
LLAMA-3-Chinese-8B
(แบบจำลองแท่น)		 [? กอดหน้า]
[? ModelsCope]
[? Wisemodel]		 [? กอดหน้า]
[? ModelsCope]
[? Wisemodel]		 [? กอดหน้า]
[? ModelsCope]

คำอธิบายประเภทรุ่น:

  • แบบจำลองที่สมบูรณ์ : สามารถใช้โดยตรงสำหรับการฝึกอบรมและการใช้เหตุผลโดยไม่ต้องรวมขั้นตอนเพิ่มเติม
  • รุ่น LORA : จำเป็นต้องรวมเข้ากับโมเดลพื้นฐานก่อนที่จะสามารถแปลงเป็นรุ่นเต็มรูปแบบได้ วิธีการผสาน: ขั้นตอนการรวมแบบจำลอง
    • V1 Model Basic: Meta-llama-3-8B ดั้งเดิม
    • V2 Model Basic: Meta-llama-3-8b-Instruct
  • GGUF Model : รูปแบบการหาปริมาณที่เปิดตัวโดย LLAMA.CPP นั้นปรับให้เข้ากับเครื่องมือการอนุมานทั่วไปเช่น Ollama ขอแนะนำให้ดาวน์โหลดผู้ใช้ที่ต้องทำการปรับใช้การอนุมานเท่านั้น ชื่อรุ่นต่อท้ายคือ -im นั่นหมายความว่าเมทริกซ์ความสำคัญใช้สำหรับการวัดปริมาณโดยปกติจะมี PPL ที่ต่ำกว่าและแนะนำให้ใช้ (การใช้งานเหมือนกับเวอร์ชันปกติ)

บันทึก

หากคุณไม่สามารถเข้าถึง HF ได้คุณสามารถพิจารณาเว็บไซต์กระจกบางแห่ง (เช่น HF-Mirror.com) โปรดค้นหาและแก้ไขวิธีการเฉพาะด้วยตัวคุณเอง

การใช้เหตุผลและการปรับใช้

โมเดลที่เกี่ยวข้องในโครงการนี้ส่วนใหญ่สนับสนุนการหาปริมาณการใช้เหตุผลและวิธีการปรับใช้ต่อไปนี้ สำหรับรายละเอียดโปรดดูบทช่วยสอนที่เกี่ยวข้อง

เครื่องมือ คุณสมบัติ ซีพียู GPU การหาปริมาณ GUI API vllm การสอน
llama.cpp ตัวเลือกการหาปริมาณ GGUF ที่หลากหลายและการใช้เหตุผลในท้องถิ่นที่มีประสิทธิภาพ [ลิงก์]
? Transformers อินเทอร์เฟซการอนุมานของ Transformers [ลิงก์]
การเลียนแบบการโทร Openai API การสาธิตเซิร์ฟเวอร์ที่จำลองอินเทอร์เฟซ OpenAI API [ลิงก์]
Text-Generation-Webui วิธีการปรับใช้อินเทอร์เฟซ Web Front-end [ลิงก์]
สตูดิโอ LM ซอฟต์แวร์แชทแบบหลายแพลตฟอร์ม (พร้อมอินเทอร์เฟซ) [ลิงก์]
โอลลา การใช้เหตุผลแบบจำลองการจำลองในท้องถิ่น [ลิงก์]

เอฟเฟกต์แบบจำลอง

เพื่อประเมินผลกระทบของแบบจำลองที่เกี่ยวข้องโครงการนี้ได้ทำการประเมินผลการกำเนิดและการประเมินผลกระทบตามวัตถุประสงค์ (ระดับ NLU) ตามลำดับและประเมินโมเดลขนาดใหญ่จากมุมที่แตกต่างกัน ขอแนะนำให้ผู้ใช้ทดสอบงานที่พวกเขากังวลและเลือกรุ่นที่ปรับให้เข้ากับงานที่เกี่ยวข้อง

สร้างผลการประเมินผล

  • โครงการนี้ได้เปิดตัวแพลตฟอร์มการต่อสู้แบบจำลองออนไลน์แบบจำลองหลังจาก Fastchat Chatbot Arena ซึ่งสามารถเรียกดูและประเมินคุณภาพของการตอบสนองแบบจำลอง แพลตฟอร์มการต่อสู้ให้ตัวชี้วัดการประเมินเช่นอัตราการชนะและคะแนน ELO และสามารถดูผลลัพธ์ของอัตราการชนะของโมเดลคู่ต่อประตู ⚔ Model Arena: http://llm-arena.ymcui.com
  • ไดเรกทอรีตัวอย่างให้ตัวอย่างเอาท์พุทของ LLAMA-3-Chinese-8B-Instruct และ Instruct-Mixtral-Instruct และการเปรียบเทียบคะแนนจะดำเนินการผ่าน GPT-4-Turbo คะแนนเฉลี่ยของ LLAMA-3-Chinese-8B-Instruct คือ 8.1 และคะแนนเฉลี่ยของ Instruct จีน-มิกซ์ทรัล-Instruct คือ 7.8 - การเปรียบเทียบตัวอย่างเอาท์พุท: ตัวอย่าง
  • โครงการนี้ถูกย้ายเข้าสู่หัวใจของเครื่อง Sota! แพลตฟอร์มโมเดลและประสบการณ์ออนไลน์จะได้รับการรับรู้ในภายหลัง: https://sota.jiqizhixin.com/project/chinese-llama-alpaca-3

การประเมินผลตามวัตถุประสงค์

C-eval

C-Eval เป็นชุดประเมินผลแบบจำลองพื้นฐานของจีนที่ครอบคลุมซึ่งชุดการตรวจสอบและชุดทดสอบมีคำถามแบบปรนัย 1.3K และ 12.3K ซึ่งครอบคลุม 52 วิชาตามลำดับ โปรดดูโครงการนี้สำหรับรหัสการอนุมาน C-Eval: GitHub Wiki

แบบจำลอง ถูกต้อง (0-shot) ถูกต้อง (5-shot) ทดสอบ (0-shot) ทดสอบ (5-shot)
LLAMA-3-Chinese-8B-Instruct-V3 55.2 54.8 52.1 52.4
LLAMA-3-Chinese-8B-Instruct-V2 51.6 51.6 49.7 49.8
Llama-3-Chinese-8b-Instruct 49.3 51.5 48.3 49.4
LLAMA-3-Chinese-8B 47.0 50.5 46.1 49.0
Meta-Llama-3-8B-Instruct 51.3 51.3 49.5 51.0
meta-llama-3-8b 49.3 51.2 46.1 49.4
ภาษาจีน-มิกซ์ทรัล-Instruct (8x7b) 51.7 55.0 50.0 51.5
จีน-มิกซ์ทราล (8x7b) 45.8 54.2 43.1 49.1
Chinese-Alpaca-2-13b 44.3 45.9 42.6 44.0
จีน-llama-2-13b 40.6 42.7 38.0 41.6

cmmlu

CMMLU เป็นอีกชุดข้อมูลการประเมินผลของจีนที่ครอบคลุมโดยเฉพาะที่ใช้ในการประเมินความรู้และความสามารถในการใช้เหตุผลของแบบจำลองภาษาในบริบทของจีนซึ่งครอบคลุม 67 หัวข้อจากวิชาพื้นฐานสู่ระดับมืออาชีพขั้นสูงโดยมีคำถามแบบปรนัย 11.5K โปรดดูโครงการนี้สำหรับรหัสอนุมาน CMMLU: GitHub Wiki

แบบจำลอง ทดสอบ (0-shot) ทดสอบ (5-shot)
LLAMA-3-Chinese-8B-Instruct-V3 54.4 54.8
LLAMA-3-Chinese-8B-Instruct-V2 51.8 52.4
Llama-3-Chinese-8b-Instruct 49.7 51.5
LLAMA-3-Chinese-8B 48.0 50.9
Meta-Llama-3-8B-Instruct 53.0 53.5
meta-llama-3-8b 47.8 50.8
ภาษาจีน-มิกซ์ทรัล-Instruct (8x7b) 50.0 53.0
จีน-มิกซ์ทราล (8x7b) 42.5 51.0
Chinese-Alpaca-2-13b 43.2 45.5
จีน-llama-2-13b 38.9 42.5

mmlu

MMLU เป็นชุดข้อมูลการประเมินภาษาอังกฤษสำหรับการประเมินความสามารถในการเข้าใจภาษาธรรมชาติ มันเป็นหนึ่งในชุดข้อมูลหลักที่ใช้ในการประเมินความสามารถของโมเดลขนาดใหญ่ในปัจจุบัน ชุดการตรวจสอบและชุดทดสอบมีคำถามแบบปรนัย 1.5K และ 14.1K ตามลำดับครอบคลุม 57 วิชา โปรดดูโครงการนี้สำหรับรหัสการอนุมาน MMLU: GitHub Wiki

แบบจำลอง ถูกต้อง (0-shot) ถูกต้อง (5-shot) ทดสอบ (0-shot) ทดสอบ (5-shot)
LLAMA-3-Chinese-8B-Instruct-V3 64.7 65.0 64.8 65.9
LLAMA-3-Chinese-8B-Instruct-V2 62.1 63.9 62.6 63.7
Llama-3-Chinese-8b-Instruct 60.1 61.3 59.8 61.8
LLAMA-3-Chinese-8B 55.5 58.5 57.3 61.1
Meta-Llama-3-8B-Instruct 63.4 64.8 65.1 66.4
meta-llama-3-8b 58.6 62.5 60.5 65.0
ภาษาจีน-มิกซ์ทรัล-Instruct (8x7b) 65.1 69.6 67.5 69.8
จีน-มิกซ์ทราล (8x7b) 63.2 67.1 65.5 68.3
Chinese-Alpaca-2-13b 49.6 53.2 50.9 53.5
จีน-llama-2-13b 46.8 50.0 46.6 51.8

Longbench

Longbench เป็นมาตรฐานสำหรับการประเมินความสามารถในการเข้าใจข้อความที่ยาวนานของรุ่นขนาดใหญ่ ประกอบด้วย 6 หมวดหมู่หลักและ 20 งานที่แตกต่างกัน ความยาวเฉลี่ยของงานส่วนใหญ่อยู่ระหว่าง 5K-15K และมีข้อมูลการทดสอบประมาณ 4.75K ต่อไปนี้เป็นผลการประเมินผลของโมเดลโครงการนี้ในงานภาษาจีนนี้ (รวมถึงงานโค้ด) โปรดดูโครงการนี้สำหรับรหัสการอนุมาน Longbench: GitHub Wiki

แบบจำลอง QA เอกสารเดียว QA หลายเอกสาร สรุป การเรียนรู้ FS รหัส สังเคราะห์ เฉลี่ย
LLAMA-3-Chinese-8B-Instruct-V3 20.3 28.8 24.5 28.1 59.4 91.9 40.5
LLAMA-3-Chinese-8B-Instruct-V2 57.3 27.1 13.9 30.3 60.6 89.5 46.4
Llama-3-Chinese-8b-Instruct 44.1 24.0 12.4 33.5 51.8 11.5 29.6
LLAMA-3-Chinese-8B 16.4 19.3 4.3 28.7 14.3 4.6 14.6
Meta-Llama-3-8B-Instruct 55.1 15.1 0.1 24.0 51.3 94.5 40.0
meta-llama-3-8b 21.2 22.9 2.7 35.8 65.9 40.8 31.6
ภาษาจีน-มิกซ์ทรัล-Instruct (8x7b) 50.3 34.2 16.4 42.0 56.1 89.5 48.1
จีน-มิกซ์ทราล (8x7b) 32.0 23.7 0.4 42.5 27.4 14.0 23.3
Chinese-Alpaca-2-13b-16k 47.9 26.7 13.0 22.3 46.6 21.5 29.7
Chinese-llama-2-13b-16k 36.7 17.7 3.1 29.8 13.8 3.0 17.3
Chinese-Alpaca-2-7B-64K 44.7 28.1 14.4 39.0 44.6 5.0 29.3
Chinese-Llama-2-7B-64K 27.2 16.4 6.5 33.0 7.8 5.0 16.0

เปิดลีดเดอร์ LLM

Open LLM Leadboard เป็นมาตรฐานการประเมินความสามารถที่ครอบคลุมขนาดใหญ่ (ภาษาอังกฤษ) ที่ริเริ่มโดยทีม HuggingFaceH4 รวมถึงการทดสอบเดียว 6 ครั้งรวมถึง ARC, Hellaswag, MMLU, Trustfulqa, Winograde, GSM8K ต่อไปนี้เป็นผลการประเมินผลของโมเดลโครงการนี้ในรายการนี้

แบบจำลอง ส่วนโค้ง เฮลลาส mmlu TQA Winog GSM8K เฉลี่ย
LLAMA-3-Chinese-8B-Instruct-V3 63.40 80.51 67.90 53.57 76.24 59.21 66.81
LLAMA-3-Chinese-8B-Instruct-V2 62.63 79.72 66.48 53.93 76.72 60.58 66.68
Llama-3-Chinese-8b-Instruct 61.26 80.24 63.10 55.15 75.06 44.43 63.21
LLAMA-3-Chinese-8B 55.88 79.53 63.70 41.14 77.03 37.98 59.21
Meta-Llama-3-8B-Instruct 60.75 78.55 67.07 51.65 74.51 68.69 66.87
meta-llama-3-8b 59.47 82.09 66.69 43.90 77.35 45.79 62.55
ภาษาจีน-มิกซ์ทรัล-Instruct (8x7b) 67.75 85.67 71.53 57.46 83.11 55.65 70.19
จีน-มิกซ์ทราล (8x7b) 67.58 85.34 70.38 46.86 82.00 0.00 58.69

หมายเหตุ: เหตุผลหลักสำหรับความแตกต่างระหว่างผลลัพธ์ MMLU คือสคริปต์การประเมินผลแตกต่างกัน

การประเมินผลกระทบเชิงปริมาณ

ภายใต้ llama.cpp การแสดงเชิงปริมาณของ LLAMA-3-Chinese-8B (แบบจำลองพื้นฐาน) ได้รับการทดสอบดังแสดงในตารางด้านล่าง ความเร็วในการทดสอบจริงช้ากว่า Llama-2-7B รุ่นที่สองเล็กน้อย

F16 Q8_0 Q6_K Q5_K Q5_0 Q4_K Q4_0 Q3_K Q2_K
ขนาด (GB) 14.97 7.95 6.14 5.34 5.21 4.58 4.34 3.74 2.96
BPW 16.00 น 8.50 6.56 5.70 5.57 4.89 4.64 4.00 3.16
ppl 5.130 5.135 5.148 5.181 5.222 5.312 5.549 5.755 11.859
ความเร็ว PP 5.99 6.10 7.17 7.34 6.65 6.38 6.00 6.85 6.43
ความเร็ว TG 44.03 26.08 21.61 22.33 20.93 18.93 17.09 22.50 19.21

บันทึก

  • ขนาดรุ่น: หน่วย GB
  • BPW (บิตต่อน้ำหนัก): บิตพารามิเตอร์หน่วยตัวอย่างเช่นความแม่นยำเฉลี่ยที่แท้จริงของ Q8_0 คือ 8.50
  • PPL (ความสับสน): วัดในบริบท 8K (ความยาวรองรับดั้งเดิม) ค่าที่ต่ำกว่าจะดีกว่า
  • ความเร็ว PP/TG: จัดเตรียมการประมวลผลคำสั่ง (PP) และความเร็วในการสร้างข้อความ (TG) ของ Apple M3 Max (โลหะ), UNIT MS/โทเค็น, ค่าที่ต่ำกว่าก็ยิ่งเร็วขึ้นเท่านั้น

การฝึกอบรมและปรับแต่ง

การฝึกอบรมด้วยตนเองและการปรับเปลี่ยนที่ดี

  • การฝึกอบรมล่วงหน้าด้วยข้อมูลที่ไม่มีป้ายกำกับ: สคริปต์การฝึกอบรมล่วงหน้าวิกิ
  • ใช้ข้อมูลที่มีป้ายกำกับสำหรับคำสั่งการปรับที่ดี: คำสั่งการปรับสคริปต์การปรับวิกิ Wiki

เทมเพลตคำสั่ง

โครงการนี้ Llama-3-Chinese-Instruct ยังคงใช้เทมเพลตคำสั่ง Llama-3-Instruct ดั้งเดิม นี่คือชุดตัวอย่างการสนทนา:

<| bEGIN_OF_TEXT |> <| start_header_id |> ระบบ <| end_header_id | >>

คุณเป็นผู้ช่วยที่มีประโยชน์ <| eot_id |> <| start_header_id |> ผู้ใช้ <| end_header_id | >>

สวัสดี <| eot_id |> <| start_header_id |> ผู้ช่วย <| end_header_id | >>

สวัสดี! มีอะไรที่สามารถช่วยคุณได้หรือไม่? <| eot_id |>

ข้อมูลคำสั่ง

ต่อไปนี้เป็นข้อมูลคำแนะนำโอเพ่นซอร์สบางส่วนของโครงการนี้ สำหรับรายละเอียดโปรดตรวจสอบ: ข้อมูลคำสั่ง

ชื่อข้อมูล อธิบาย ปริมาณ
alpaca_zh_51k ข้อมูล Alpaca แปลโดยใช้ GPT-3.5 51K
stem_zh_instruction ข้อมูล STEM รวบรวมข้อมูลโดยใช้ GPT-3.5 รวมถึงฟิสิกส์เคมีการแพทย์ชีววิทยาและวิทยาศาสตร์โลก 256k
ruozhiba_gpt4 ข้อมูลคำถามและคำตอบ Ruozhiba ที่ได้รับโดยใช้ GPT-4O และ GPT-4T 2449

คำถามที่พบบ่อย

โปรดตรวจสอบให้แน่ใจว่ามีการแก้ปัญหาอยู่แล้วในคำถามที่พบบ่อยหรือไม่ก่อนที่จะส่งปัญหา สำหรับคำถามและคำตอบเฉพาะโปรดดูโครงการนี้ GitHub Wiki 

问题1：为什么没有像一期、二期项目一样做词表扩充？
问题2：会有70B版本发布吗？
问题3：为什么指令模型不叫Alpaca了？
问题4：本仓库模型能否商用？
问题5：为什么不对模型做全量预训练而是用LoRA？
问题6：为什么Llama-3-Chinese对话效果不好？
问题7：为什么指令模型会回复说自己是ChatGPT？
问题8：Instruct模型的v1（原版）和v2有什么区别？

อ้าง

หากคุณใช้ทรัพยากรที่เกี่ยวข้องสำหรับโครงการนี้โปรดดูรายงานทางเทคนิคที่อ้างถึงโครงการนี้: https://arxiv.org/abs/2304.08177 

 @article{chinese-llama-alpaca,
    title={Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca},
    author={Cui, Yiming and Yang, Ziqing and Yao, Xin},
    journal={arXiv preprint arXiv:2304.08177},
    url={https://arxiv.org/abs/2304.08177},
    year={2023}
}

สำหรับการวิเคราะห์ว่าจะขยายรายการคำโปรดดูใบเสนอราคา: https://arxiv.org/abs/2403.01851 

 @article{chinese-mixtral,
      title={Rethinking LLM Language Adaptation: A Case Study on Chinese Mixtral}, 
      author={Cui, Yiming and Yao, Xin},
      journal={arXiv preprint arXiv:2403.01851},
      url={https://arxiv.org/abs/2403.01851},
      year={2024}
}

คำเตือน

โครงการนี้ได้รับการพัฒนาตามโมเดล LLAMA-3 ที่เปิดตัวโดย Meta โปรดปฏิบัติตามข้อตกลงใบอนุญาตโอเพ่นซอร์สของ LLAMA-3 อย่างเคร่งครัดในระหว่างการใช้งาน หากการใช้รหัสบุคคลที่สามมีส่วนเกี่ยวข้องให้แน่ใจว่าได้ปฏิบัติตามข้อตกลงสิทธิ์การใช้งานโอเพ่นซอร์สที่เกี่ยวข้อง เนื้อหาที่สร้างขึ้นโดยแบบจำลองอาจส่งผลกระทบต่อความแม่นยำเนื่องจากวิธีการคำนวณปัจจัยสุ่มและการสูญเสียความแม่นยำเชิงปริมาณ ดังนั้นโครงการนี้ไม่ได้ให้การรับประกันความถูกต้องของผลลัพธ์ของโมเดลและจะไม่รับผิดชอบต่อการสูญเสียใด ๆ ที่เกิดจากการใช้ทรัพยากรที่เกี่ยวข้องและผลลัพธ์ผลลัพธ์ หากรูปแบบที่เกี่ยวข้องของโครงการนี้ถูกใช้เพื่อวัตถุประสงค์ทางการค้าผู้พัฒนาจะปฏิบัติตามกฎหมายและข้อบังคับในท้องถิ่นเพื่อให้แน่ใจว่าสอดคล้องกับเนื้อหาผลลัพธ์ของโมเดล โครงการนี้จะไม่รับผิดชอบต่อผลิตภัณฑ์หรือบริการใด ๆ ที่ได้รับจากนั้น

คำถามข้อเสนอแนะ

หากคุณมีคำถามใด ๆ โปรดส่งในปัญหา GitHub ถามคำถามอย่างสุภาพและสร้างชุมชนการสนทนาที่กลมกลืนกัน

  • ก่อนที่จะส่งคำถามโปรดตรวจสอบว่าคำถามที่พบบ่อยสามารถแก้ปัญหาได้หรือไม่ ขอแนะนำให้ตรวจสอบว่าปัญหาก่อนหน้านี้สามารถแก้ปัญหาของคุณได้หรือไม่
  • หากต้องการส่งคำถามโปรดใช้เทมเพลตปัญหาที่กำหนดโดยโครงการนี้เพื่อช่วยค้นหาคำถามเฉพาะอย่างรวดเร็ว
  • ทำซ้ำและปัญหาที่ไม่เกี่ยวข้องกับโครงการนี้จะถูกประมวลผลโดยบอทเสถียร โปรดเข้าใจ

เชิงอรรถ

  1. Cui และ Yao, 2024. การปรับภาษา LLM ใหม่: กรณีศึกษาเกี่ยวกับ Mixtral ของจีน↩

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด