llama dfdx

Lama 7b im Rost

Dieses Repo enthält das beliebte Lama 7B -Sprachmodell, das in der Rust -Programmiersprache vollständig implementiert ist!

Verwendet DFDX -Tensoren und Cuda -Beschleunigung.

Dies läuft Lama direkt in F16, was bedeutet, dass die CPU keine Hardwarebeschleunigung gibt. Die Verwendung von CUDA wird stark empfohlen.

Hier ist das 7B -Modell, das auf einer A10 -GPU ausgeführt wird:

Wie man rennt

(Einmal) Einrichten von Modellgewichten

Modellgewichte herunterladen

1. Installieren Sie GIT -LFS. Auf Ubuntu können Sie sudo apt install git-lfs
2. Aktivieren Sie die Git -LFs mit git lfs install .
3. Führen Sie die folgenden Befehle aus, um die Modellgewichte im Pytorch -Format (~ 25 GB) herunterzuladen:
   1. LLAMA 7B (~ 25 GB): git clone https://huggingface.co/decapoda-research/llama-7b-hf
   2. LLAMA 13B (~ 75 GB): git clone https://huggingface.co/decapoda-research/llama-13b-hf
   3. LAMA 65B (~ 244 GB): git clone https://huggingface.co/decapoda-research/llama-65b-hf

Konvertieren Sie das Modell

1. (Optional) Führen Sie python3.x -m venv <my_env_name> aus, um eine virtuelle Python -Umgebung zu erstellen, in der x Ihre bevorzugte Python -Version ist
2. (Optional, benötigt 1.) source <my_env_name>binactivate (oder <my_env_name>Scriptsactivate wenn unter Windows), um die Umgebung zu aktivieren
3. pip install numpy torch
4. Führen Sie python convert.py aus, um die Modellgewichte in das verständliche Format zu konvertieren: a. LAMA 7B: python convert.py b. LAMA 13B: python convert.py llama-13b-hf c. LAMA 65B: python convert.py llama-65b-hf

(Einmal) kompilieren

Sie können mit normalen Rostbefehlen kompilieren:

Mit Cuda:

cargo build --release -F cuda

Ohne Cuda:

cargo build --release

Führen Sie die ausführbare Datei aus

Mit Standardargs:

./target/release/llama-dfdx --model < model-dir > generate " <prompt> "
./target/release/llama-dfdx --model < model-dir > chat
./target/release/llama-dfdx --model < model-dir > file < path to prompt file >

Um zu sehen, welche Befehle/benutzerdefinierten Argumente Sie verwenden können:

./target/release/llama-dfdx --help