llama dfdx

錆びたllama 7b

このレポは、Rustプログラミング言語で完全に実装された人気のあるLlama 7B言語モデルが含まれています！

DFDXテンソルとCUDA加速を使用します。

これにより、F16で直接ラマが実行されます。つまり、CPUにハードウェアアクセラレーションはありません。 CUDAの使用をお勧めします。

これがA10 GPUで実行されている7Bモデルです。

実行方法

（1回）モデルの重みのセットアップ

モデルの重みをダウンロードします

1. git lfsをインストールします。 ubuntuではsudo apt install git-lfs実行できます
2. git lfs installを使用してGit LFSを有効にします。
3. 次のコマンドを実行して、Model WeightsをPytorch形式（〜25 GB）でダウンロードします。
   1. llama 7b（〜25 gb）： git clone https://huggingface.co/decapoda-research/llama-7b-hf
   2. llama 13b（〜75 gb）： git clone https://huggingface.co/decapoda-research/llama-13b-hf
   3. llama 65b（〜244 gb）： git clone https://huggingface.co/decapoda-research/llama-65b-hf

モデルを変換します

1. （オプション）python3.x x python3.x -m venv <my_env_name>を実行するには、python仮想環境を作成します。
2. （オプション、1が必要です。） source <my_env_name>binactivate （または<my_env_name>Scriptsactivate ）環境をアクティブにします
3. pip install numpy torch実行します
4. python convert.pyを実行して、モデルの重みを錆に変換して理解できる形式：a。 llama 7b： python convert.py b。 llama 13b： python convert.py llama-13b-hf c。 llama 65b： python convert.py llama-65b-hf

（1回）コンパイル

通常の錆コマンドでコンパイルできます。

cudaで：

cargo build --release -F cuda

cudaなし：

cargo build --release

実行可能ファイルを実行します

デフォルトのargsで：

./target/release/llama-dfdx --model < model-dir > generate " <prompt> "
./target/release/llama-dfdx --model < model-dir > chat
./target/release/llama-dfdx --model < model-dir > file < path to prompt file >

どのコマンド/カスタムARGを使用できるかを確認するには：

./target/release/llama-dfdx --help