llama dfdx

拉玛7B在生锈

该仓库包含流行的Llama 7b语言模型，该模型完全实现了Rust编程语言！

使用DFDX张量和CUDA加速度。

这直接在F16中运行Llama，这意味着CPU上没有硬件加速度。强烈建议使用CUDA。

这是在A10 GPU上运行的7B型号：

如何运行

（一次）设置模型权重

下载型号权重

1. 安装git lfs。在Ubuntu上，您可以运行sudo apt install git-lfs
2. 使用GIT LFS git lfs install 。
3. 运行以下命令以下载Pytorch格式（〜25 GB）的模型权重：
   1. Llama 7b（〜25 GB）： git clone https://huggingface.co/decapoda-research/llama-7b-hf
   2. Llama 13b（〜75 GB）： git clone https://huggingface.co/decapoda-research/llama-13b-hf
   3. Llama 65B（〜244 GB）： git clone https://huggingface.co/decapoda-research/llama-65b-hf

转换模型

1. （可选）运行python3.x -m venv <my_env_name>创建一个python虚拟环境，其中x是您喜欢的python版本
2. （可选，需要1.）运行source <my_env_name>binactivate （或<my_env_name>Scriptsactivate在Windows上）以激活环境
3. 运行pip install numpy torch
4. 运行python convert.py以将模型权重转换为Rust可理解的格式： Llama 7b： python convert.py b。 Llama 13b： python convert.py llama-13b-hf c。 Llama 65B： python convert.py llama-65b-hf

（一次）编译

您可以使用普通的生锈命令进行编译：

与Cuda：

cargo build --release -F cuda

没有cuda：

cargo build --release

运行可执行文件

使用默认的args：

./target/release/llama-dfdx --model < model-dir > generate " <prompt> "
./target/release/llama-dfdx --model < model-dir > chat
./target/release/llama-dfdx --model < model-dir > file < path to prompt file >

要查看可以使用哪些命令/自定义ARG：

./target/release/llama-dfdx --help