llama dfdx

拉瑪7B在生鏽

該倉庫包含流行的Llama 7b語言模型，該模型完全實現了Rust編程語言！

使用DFDX張量和CUDA加速度。

這直接在F16中運行Llama，這意味著CPU上沒有硬件加速度。強烈建議使用CUDA。

這是在A10 GPU上運行的7B型號：

如何運行

（一次）設置模型權重

下載型號權重

1. 安裝git lfs。在Ubuntu上，您可以運行sudo apt install git-lfs
2. 使用GIT LFS git lfs install 。
3. 運行以下命令以下載Pytorch格式（〜25 GB）的模型權重：
   1. Llama 7b（〜25 GB）： git clone https://huggingface.co/decapoda-research/llama-7b-hf
   2. Llama 13b（〜75 GB）： git clone https://huggingface.co/decapoda-research/llama-13b-hf
   3. Llama 65B（〜244 GB）： git clone https://huggingface.co/decapoda-research/llama-65b-hf

轉換模型

1. （可選）運行python3.x -m venv <my_env_name>創建一個python虛擬環境，其中x是您喜歡的python版本
2. （可選，需要1.）運行source <my_env_name>binactivate （或<my_env_name>Scriptsactivate在Windows上）以激活環境
3. 運行pip install numpy torch
4. 運行python convert.py以將模型權重轉換為Rust可理解的格式： Llama 7b： python convert.py b。 Llama 13b： python convert.py llama-13b-hf c。 Llama 65B： python convert.py llama-65b-hf

（一次）編譯

您可以使用普通的生鏽命令進行編譯：

與Cuda：

cargo build --release -F cuda

沒有cuda：

cargo build --release

運行可執行文件

使用默認的args：

./target/release/llama-dfdx --model < model-dir > generate " <prompt> "
./target/release/llama-dfdx --model < model-dir > chat
./target/release/llama-dfdx --model < model-dir > file < path to prompt file >

要查看可以使用哪些命令/自定義ARG：

./target/release/llama-dfdx --help