llama.mmengine ดาวน์โหลด - llama.mmengine ซอร์สโค้ดดาวน์โหลดดาวน์โหลด

llama.mmengine

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

llama.mmengine

? ฝึก Llama กับ mmengine!

Llama.mmEngine เป็นที่เก็บการทดลองที่ใช้ประโยชน์จากเครื่องมือฝึกอบรม MMENGINE ซึ่งเดิมออกแบบมาสำหรับงานวิสัยทัศน์คอมพิวเตอร์เพื่อฝึกอบรมและปรับแต่งภาษาแบบปรับแต่ง เป้าหมายหลักของโครงการนี้คือการสำรวจความเข้ากันได้ของ mmengine กับแบบจำลองภาษาเรียนรู้เกี่ยวกับเทคนิคการปรับจูนและมีส่วนร่วมกับชุมชนโอเพนซอร์ซเพื่อการแบ่งปันความรู้และการทำงานร่วมกัน

- คุณสมบัติ

รองรับการโหลดรุ่น Llama ที่มีขนาดพารามิเตอร์ตั้งแต่ 7B ถึง 65B
แนะนำการสนับสนุนการปรับจูน
การปรับแต่งการปรับแต่งระดับต่ำ (LORA) การปรับแต่งการปรับแต่ง

- รายการสิ่งที่ต้องทำ

การสนับสนุนเชิงปริมาณ INT8
ปรับปรุงสคริปต์สร้าง
สนับสนุนการสูญเสียการตรวจสอบการตรวจสอบความถูกต้อง

- เริ่มต้น

การติดตั้ง

ติดตั้ง pytorch
ต่อไปนี้คู่มือนี้ https://pytorch.org/get-started/locally/
ตั้งค่า repo นี้
โคลน repo
```
git clone https://github.com/RangiLyu/llama.mmengine
cd llama.mmengine
```
ติดตั้งการพึ่งพา
```
pip install -r requirements.txt
```
เรียกใช้ setup.py
```
python setup.py develop
```

รับรุ่นลามาที่ผ่านการฝึกอบรมมาก่อน

โปรดดาวน์โหลดน้ำหนักรุ่นจาก Llama Repo อย่างเป็นทางการ

โฟลเดอร์จุดตรวจควรเป็นแบบนี้:

 checkpoints/llama
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── 13B
│   ...
├── tokenizer_checklist.chk
└── tokenizer.model

แปลงน้ำหนัก (ขอบคุณสำหรับสคริปต์จาก lit-llama):

 python scripts/convert_checkpoint.py 
    --output_dir checkpoints/mm-llama 
    --ckpt_dir checkpoints/llama 
    --tokenizer_path checkpoints/llama/tokenizer.model 
    --model_size 7B

การปรับแต่ง Lora

python tools/train.py configs/llama-7B_finetune_3e.py

การอนุมาน

python tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pth

- การบริจาค

ฉันขอขอบคุณที่คุณสนใจอย่างมากในการมีส่วนร่วมใน Llama.Mengine! โปรดทราบว่าโครงการนี้ได้รับการดูแลเป็นโครงการด้านส่วนบุคคลซึ่งหมายความว่าเวลาที่มีอยู่สำหรับการพัฒนาและการสนับสนุนมี จำกัด โดยที่ในใจฉันกรุณาสนับสนุนให้สมาชิกของชุมชนมีส่วนร่วมและมีส่วนร่วมอย่างแข็งขันโดยการส่งคำขอดึง!