หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

วรรณกรรม -alpaca2

ตั้งแต่คำศัพท์ไปจนถึงการปรับแต่งนี่คือทุกสิ่งที่คุณต้องการ



คู่มือผู้ใช้

  • การแนะนำโครงการ
  • ข้อมูลการฝึกอบรม
  • ⏬การปรับใช้แบบจำลอง
    • ดาวน์โหลดรุ่น
      • รูปแบบที่ผ่านการฝึกอบรมมาก่อนภาษาจีนตาม Llama2
      • รูปแบบการปรับจูนจีนตามวรรณกรรมแชท
    • ตัวอย่างการโทรแบบจำลอง
  • การฝึกอบรมคำศัพท์
  • การฝึกอบรมล่วงหน้า
  • การปรับที่ดี
    • การเตรียมข้อมูล
    • สคริปต์การปรับจูน
  • เอกสารอ้างอิง

การแนะนำโครงการ

พื้นที่เก็บข้อมูลนี้จะแสดงวิธีการสร้างคำศัพท์ของคุณเองจากคำศัพท์และใช้รูปแบบท่าเรือก่อนการฝึกอบรมและปรับตัวอย่างรหัสในที่เก็บส่วนใหญ่ได้รับการฝึกฝนตามเวอร์ชันการกอดของ Llama2 เนื่องจากพลังงานที่ จำกัด ของผู้เขียนมีข้อบกพร่องในสคริปต์ TPU ซึ่งใช้สำหรับการอ้างอิงเท่านั้น

ข้อมูลการฝึกอบรม

พิมพ์ อธิบาย
นวนิยายออนไลน์ ข้อมูลข้อความยาวคุณภาพสูง
Math23K ปัญหาคณิตศาสตร์จีน
LCCC ชุดบทสนทนาโอเพนซอร์สจีน

วิธีใช้ชุดข้อมูล LCCC: 

 from datasets import load_dataset
dataset = load_dataset("lccc", "base")  # or "large"



รายการคำศัพท์และแผนภาพการเปรียบเทียบข้อมูลของขั้นตอนการฝึกอบรมก่อน รูปแสดงจำนวนไฟล์และขนาดไฟล์ทั้งหมดของแต่ละแหล่งข้อมูลและเปรียบเทียบอักขระขั้นต่ำและสูงสุดและจำนวนอักขระเฉลี่ยในแต่ละไฟล์:

⏬การปรับใช้แบบจำลอง

ลิงค์ดาวน์โหลดอย่างเป็นทางการของ Meta: https://huggingface.co/meta-llama

โมเดลที่ผ่านการฝึกอบรมก่อนภาษาจีนพารามิเตอร์ LORA และโมเดลแชทได้รับการอัปโหลดไปยังใบหน้ากอด ปัจจุบันมีเพียง 13b รุ่น

ดาวน์โหลดรุ่น

รูปแบบที่ผ่านการฝึกอบรมมาก่อนภาษาจีนตาม Llama2

หมวดหมู่ ? ชื่อรุ่น รุ่นฐาน ดาวน์โหลดที่อยู่
การฝึกอบรมล่วงหน้า Taotie1/วรรณกรรม -alpaca2-13b meta-llama/llama-2-13b-hf ดาวน์โหลดรุ่น
Lora Taotie1/วรรณกรรม -alpaca2-13b-lora Taotie1/วรรณกรรม -alpaca2-13b ดาวน์โหลดรุ่น

รูปแบบการปรับจูนจีนตามวรรณกรรมแชท

หมวดหมู่ ? ชื่อรุ่น ดาวน์โหลดที่อยู่
แชท taotie1/วรรณกรรม-อัลปาคา 2-13b-chat ดาวน์โหลดรุ่น

ตัวอย่างการโทรแบบจำลอง

ตามข้อกำหนดของ TXT การติดตั้งสภาพแวดล้อมการติดตั้งโปรดเลือกเวอร์ชันของการติดตั้งไฟฉายตามอุปกรณ์ของคุณ 

 import torch
from transformers import AutoTokenizer , AutoModelForCausalLM
model = AutoModelForCausalLM . from_pretrained ( 'taotie1/literary-alpaca2-13B-chat' , device_map = 'auto' , torch_dtype = torch . float16 , load_in_8bit = True )
model = model . eval ()
tokenizer = AutoTokenizer . from_pretrained ( 'taotie1/literary-alpaca2-13B-chat' , use_fast = False )
tokenizer . pad_token = tokenizer . eos_token
input_ids = tokenizer ([ '<s>Human: 什么是计算机n </s><s>Assistant: ' ], return_tensors = "pt" , add_special_tokens = False ). input_ids . to ( 'cuda' )        
generate_input = {
    "input_ids" : input_ids ,
    "max_new_tokens" : 512 ,
    "do_sample" : True ,
    "top_k" : 50 ,
    "top_p" : 0.95 ,
    "temperature" : 0.3 ,
    "repetition_penalty" : 1.3 ,
    "eos_token_id" : tokenizer . eos_token_id ,
    "bos_token_id" : tokenizer . bos_token_id ,
    "pad_token_id" : tokenizer . pad_token_id
}
generate_ids  = model . generate ( ** generate_input )
text = tokenizer . decode ( generate_ids [ 0 ])
print ( text )

การฝึกอบรมคำศัพท์

ชื่อแรกและทำความสะอาดข้อมูลการฝึกอบรมของคุณ [ไม่บังคับ]

เลือกที่จะเรียกใช้รหัสการทำความสะอาดแบบสุ่มหรือทำความสะอาดทั้งหมดและคุณสามารถปรับแต่งกฎของคุณใน ill_ocr_regex.txt

เรียกใช้ full_sample_extraction.py เพื่อรวมข้อมูลเข้ากับไฟล์

อ้างถึง Train-Chinese-tokenizer.ipynb สำหรับการฝึกอบรมคำศัพท์และคุณสามารถปรับเปลี่ยนรหัสตามความต้องการของคุณเอง หลังจากการฝึกอบรมเสร็จสิ้นให้ใส่รายการคำศัพท์ของคุณลงในไดเรกทอรี my-tokenizer ผสานกับโทเค็นของ LLAMA2 ดั้งเดิมด้วยวิธีต่อไปนี้ 

 bash运行
'
Set PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python
python incorporation.py
'

เรียกใช้ text.py เพื่อทดสอบเอฟเฟกต์คำศัพท์

การฝึกอบรมล่วงหน้า

รหัสการฝึกอบรมที่เก็บนี้ใช้ DeepSpeed ​​เพื่อเร่งความเร็ว

  • โปรดแก้ไขพา ธ ของ Output_Model ที่สอดคล้องกันของคุณชุดข้อมูล pretrained_model_name และ tokenizer_name ในสคริปต์ pretrain pretrain-peft1.sh หากคุณต้องการอัปโหลดไปยังที่เก็บใบหน้ากอดของคุณโปรดตั้งค่า -push_to_hub เป็นจริงและเติมโทเค็นของคุณในพารามิเตอร์ -hub_token และแก้ไข -hub_model_id
  • โปรดแก้ไขพารามิเตอร์ -NNODES และ -NPROC_PER_NODE สำหรับหลายเครื่องและการ์ดหลายใบ 
如两机8卡：torchrun --nnodes 2 --nproc_per_node 8
  • คุณสามารถลบรหัส pretraining pretrain-peft1.py เพื่อให้ได้การฝึกอบรมการมีส่วนร่วมอย่างเต็มรูปแบบ 
    for name, param in model.named_parameters():
        if "model.embed_tokens" not in name:
            param.requires_grad = False
        else:
            param.requires_grad = True
  • หากเป็นการยากที่จะมาบรรจบกันหรือหน่วยความจำไม่เพียงพอโปรดใช้สคริปต์ pretrain 2 pretrain-peft2.sh ซึ่งจะช่วยให้คุณฝึกอบรมแบบจำลองเชิงปริมาณคุณสามารถปรับให้เข้ากับความต้องการของคุณได้โดยการปรับพารามิเตอร์ต่อไปนี้ 
      --load_in_kbits 设置量化,不为4或8则不启用量化
      --bf16 | --fp16 启用bf16需要gpu硬件支持
如果出现OOM请在deepspeed_config_peft2.json配置中添加：
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        },
        "overlap_comm": true,
        "contiguous_gradients": true,
        "sub_group_size": 1e9,
        "reduce_bucket_size": "auto",
        "stage3_prefetch_bucket_size": "auto",
        "stage3_param_persistence_threshold": "auto",
        "stage3_max_live_parameters": 1e9,
        "stage3_max_reuse_distance": 1e9,
        "stage3_gather_16bit_weights_on_model_save": true
    },

- การใช้สคริปต์ pretrain 2 pretrain-peft2.sh จะสร้างพารามิเตอร์ LORA คุณสามารถเรียกใช้ MERGE_LORA_LOW_MEM.PY สคริปต์ที่แก้ไขจาก Chinese-llama-Alpaca-2 เพื่อรวม 

 python merge_lora_low_mem.py
    --base_model /root/LiteraryAlpaca2 
    --lora_model /root/autodl-tmp/LiteraryAlpaca2-lora 
    --output_type huggingface 
    --output_dir /root/autodl-tmp/LiteraryAlpaca2

การปรับที่ดี

แสดงการปรับเปลี่ยนส่วนบุคคลในชุดข้อมูลอย่างง่าย:

การเตรียมข้อมูล

ใช้สคริปต์การแปลงในไดเรกทอรี SFT เพื่อแปลงชุดข้อมูลเป็นรูปแบบการฝึกอบรมที่จำเป็น ชุดข้อมูลต้นฉบับที่ใช้ในโครงการนี้ทั้งหมดอยู่ในรูปแบบ JSON โปรดแก้ไขสคริปต์การแปลงตามต้องการ:

  • รูปแบบ Stanford Alpaca: สคริปต์การแปลง LCD Math23K Script

รูปแบบไฟล์ JSON ที่สร้างขึ้นคือ: 

 [
  {"instruction" : ...,
   "input" : ...,
   "output" : ...},
  ...
]

ตัวอย่างเช่น: 

  {
    "instruction": "下面是人类之间的对话与交流",
    "input": "火锅 我 在 重庆 成都 吃 了 七八 顿 火锅",
    "output": [
      "哈哈哈哈 ！ 那 我 的 嘴巴 可能 要 烂掉 ！",
      "不会 的 就是 好 油腻"
    ]
  }
  • รูปแบบ CSV: สคริปต์การแปลง LCD Math23K สคริปต์

ไฟล์ CSV ที่แปลงแล้วมีคอลัมน์ของ "ข้อความ" แต่ละพฤติกรรมเป็นตัวอย่างการฝึกอบรมและแต่ละตัวอย่างการฝึกอบรมจะถูกจัดระเบียบลงในอินพุตของโมเดลในรูปแบบต่อไปนี้: 

 "<s>Human: "+...+"n</s><s>Assistant: "+...

ตัวอย่างเช่น: 

 <s>Human: 镇海雅乐学校二年级的小朋友到一条小路的一边植树．小朋友们每隔2米种一棵树（马路两头都种了树），最后发现一共种了11棵，这条小路长多少米．</s><s>Assistant: 根据方程式x=(11-1)*2解得:
20</s>

สคริปต์การปรับจูน

เรียกใช้ SFT/SFT-peft.sh ในไดเรกทอรี SFT เพื่อเริ่มการฝึกอบรม สำหรับรหัสการใช้งานเฉพาะโปรดดู SFT/SFT-peft.py

เอกสารอ้างอิง

  • Llama 2: Open Foundation และรุ่นแชทที่ปรับแต่งได้อย่างละเอียด
  • LORA: การปรับระดับต่ำของแบบจำลองภาษาขนาดใหญ่
  • Qlora: Finetuning ที่มีประสิทธิภาพของ LLMs เชิงปริมาณ
  • การเข้ารหัสข้อความที่มีประสิทธิภาพและมีประสิทธิภาพสำหรับ Llama และ Alpaca จีน

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด