llama dfdx

Lama 7b à la rouille

Ce repo contient le modèle de langue LLAMA 7B populaire, pleinement implémenté dans le langage de programmation Rust!

Utilise des tenseurs DFDX et une accélération CUDA.

Cela fonctionne directement dans F16, ce qui signifie qu'il n'y a pas d'accélération matérielle sur le CPU. L'utilisation de CUDA est fortement recommandée.

Voici le modèle 7B fonctionnant sur un GPU A10:

Comment courir

(Une fois) Configuration des poids des modèles

Télécharger les poids du modèle

1. Installez Git LFS. Sur Ubuntu, vous pouvez exécuter sudo apt install git-lfs
2. Activez Git LFS avec git lfs install .
3. Exécutez les commandes suivantes pour télécharger les poids du modèle au format Pytorch (~ 25 Go):
   1. LLAMA 7B (~ 25 Go): git clone https://huggingface.co/decapoda-research/llama-7b-hf
   2. LLAMA 13B (~ 75 Go): git clone https://huggingface.co/decapoda-research/llama-13b-hf
   3. LLAMA 65B (~ 244 Go): git clone https://huggingface.co/decapoda-research/llama-65b-hf

Convertir le modèle

1. (Facultatif) Exécutez python3.x -m venv <my_env_name> pour créer un environnement virtuel Python, où x est votre version Python préférée
2. (Facultatif, nécessite 1.) Exécuter source <my_env_name>binactivate (ou <my_env_name>Scriptsactivate si sous Windows) pour activer l'environnement
3. Exécuter pip install numpy torch
4. Exécutez python convert.py pour convertir les poids du modèle en Rust Format compréhensible: a. Lama 7b: python convert.py b. LLAMA 13B: python convert.py llama-13b-hf c. Lama 65b: python convert.py llama-65b-hf

(Une fois) compiler

Vous pouvez compiler avec des commandes de rouille normales:

Avec Cuda:

cargo build --release -F cuda

Sans Cuda:

cargo build --release

Exécuter l'exécutable

Avec des args par défaut:

./target/release/llama-dfdx --model < model-dir > generate " <prompt> "
./target/release/llama-dfdx --model < model-dir > chat
./target/release/llama-dfdx --model < model-dir > file < path to prompt file >

Pour voir quelles commandes / args personnalisés vous pouvez utiliser:

./target/release/llama-dfdx --help