llama dfdx

Llama 7b dalam karat

Repo ini berisi model bahasa Llama 7B yang populer, sepenuhnya diimplementasikan dalam bahasa pemrograman karat!

Menggunakan tensor DFDX dan akselerasi CUDA.

Ini berjalan llama langsung di F16, yang berarti tidak ada akselerasi perangkat keras pada CPU. Menggunakan CUDA sangat disarankan.

Berikut adalah model 7B yang berjalan pada GPU A10:

Bagaimana menjalankan

(Sekali) mengatur bobot model

Unduh Bobot Model

1. Instal GIT LFS. Di ubuntu Anda dapat menjalankan sudo apt install git-lfs
2. Aktifkan GIT LFS dengan git lfs install .
3. Jalankan perintah berikut untuk mengunduh bobot model dalam format Pytorch (~ 25 GB):
   1. Llama 7B (~ 25 GB): git clone https://huggingface.co/decapoda-research/llama-7b-hf
   2. Llama 13B (~ 75 GB): git clone https://huggingface.co/decapoda-research/llama-13b-hf
   3. Llama 65B (~ 244 GB): git clone https://huggingface.co/decapoda-research/llama-65b-hf

Konversi model

1. (Opsional) Jalankan python3.x -m venv <my_env_name> Untuk membuat lingkungan virtual Python, di mana x adalah versi python yang Anda sukai
2. (Opsional, membutuhkan 1.) Jalankan source <my_env_name>binactivate (atau <my_env_name>Scriptsactivate If On Windows) untuk mengaktifkan lingkungan
3. Jalankan pip install numpy torch
4. Jalankan python convert.py untuk mengonversi bobot model menjadi format yang dapat dimengerti: a. Llama 7B: python convert.py b. Llama 13B: python convert.py llama-13b-hf c. Llama 65B: python convert.py llama-65b-hf

(Sekali) kompilasi

Anda dapat mengkompilasi dengan perintah karat normal:

Dengan cuda:

cargo build --release -F cuda

Tanpa Cuda:

cargo build --release

Jalankan yang dapat dieksekusi

Dengan Default Args:

./target/release/llama-dfdx --model < model-dir > generate " <prompt> "
./target/release/llama-dfdx --model < model-dir > chat
./target/release/llama-dfdx --model < model-dir > file < path to prompt file >

Untuk melihat perintah/arg kustom apa yang dapat Anda gunakan:

./target/release/llama-dfdx --help