llama dfdx

Llama 7b ใน Rust

repo นี้มีรูปแบบภาษา Llama 7B ยอดนิยมนำไปใช้อย่างเต็มที่ในภาษาการเขียนโปรแกรมสนิม!

ใช้ DFDX Tensors และ CUDA Acceleration

สิ่งนี้ดำเนินการ Llama โดยตรงใน F16 ซึ่งหมายความว่าไม่มีการเร่งความเร็วฮาร์ดแวร์ใน CPU ขอแนะนำให้ใช้ CUDA อย่างหนัก

นี่คือรุ่น 7B ที่ทำงานบน A10 GPU:

วิธีการวิ่ง

(ครั้งเดียว) การตั้งค่าน้ำหนักรุ่น

ดาวน์โหลดน้ำหนักรุ่น

1. ติดตั้ง Git LFS บน Ubuntu คุณสามารถเรียกใช้ sudo apt install git-lfs
2. เปิดใช้งาน GIT LFS ด้วย git lfs install
3. เรียกใช้คำสั่งต่อไปนี้เพื่อดาวน์โหลดน้ำหนักรุ่นในรูปแบบ pytorch (~ 25 GB):
   1. LLAMA 7B (~ 25 GB): git clone https://huggingface.co/decapoda-research/llama-7b-hf
   2. LLAMA 13B (~ 75 GB): git clone https://huggingface.co/decapoda-research/llama-13b-hf
   3. LLAMA 65B (~ 244 GB): git clone https://huggingface.co/decapoda-research/llama-65b-hf

แปลงรุ่น

1. (ไม่บังคับ) เรียกใช้ python3.x -m venv <my_env_name> เพื่อสร้างสภาพแวดล้อมเสมือนจริงของ Python โดยที่ x เป็นรุ่น Python ที่คุณต้องการ
2. (ไม่จำเป็นต้องใช้ 1. ) เรียกใช้ source <my_env_name>binactivate (หรือ <my_env_name>Scriptsactivate ถ้าบน windows) เพื่อเปิดใช้งานสภาพแวดล้อม
3. Run pip install numpy torch
4. เรียกใช้ python convert.py เพื่อแปลงน้ำหนักแบบจำลองเป็นรูปแบบที่เข้าใจได้เป็นสนิม: LLAMA 7B: python convert.py b. llama 13b: python convert.py llama-13b-hf c. Llama 65b: python convert.py llama-65b-hf

(ครั้งเดียว) คอมไพล์

คุณสามารถรวบรวมด้วยคำสั่งสนิมปกติ:

กับ Cuda:

cargo build --release -F cuda

ไม่มี cuda:

cargo build --release

เรียกใช้งาน

ด้วยค่าเริ่มต้น args:

./target/release/llama-dfdx --model < model-dir > generate " <prompt> "
./target/release/llama-dfdx --model < model-dir > chat
./target/release/llama-dfdx --model < model-dir > file < path to prompt file >

หากต้องการดูคำสั่ง/args ที่กำหนดเองที่คุณสามารถใช้:

./target/release/llama-dfdx --help