llama dfdx

Лама 7b в ржавчине

Этот репо содержит популярную языковую модель Llama 7b, полностью реализованную на языке программирования Rust!

Использует тензоры DFDX и ускорение CUDA.

Это работает непосредственно в F16, что означает, что на процессоре нет аппаратного ускорения. Использование CUDA широко рекомендуется.

Вот модель 7B, работающая на графическом процессоре A10:

Как бежать

(Однажды) Настройка веса модели

Скачать веса модели

1. Установите GIT LFS. На Ubuntu вы можете запустить sudo apt install git-lfs
2. Активируйте GIT LFS с git lfs install .
3. Запустите следующие команды для загрузки весов модели в формате Pytorch (~ 25 ГБ):
   1. Llama 7b (~ 25 ГБ): git clone https://huggingface.co/decapoda-research/llama-7b-hf
   2. Llama 13b (~ 75 ГБ): git clone https://huggingface.co/decapoda-research/llama-13b-hf
   3. Llama 65b (~ 244 ГБ): git clone https://huggingface.co/decapoda-research/llama-65b-hf

Преобразовать модель

1. (Необязательно) Запустите python3.x -m venv <my_env_name> создать виртуальную среду Python, где x является вашей предпочтительной версией Python
2. (Необязательно, требуется 1.) Запустите source <my_env_name>binactivate (или <my_env_name>Scriptsactivate если в Windows), чтобы активировать среду
3. Запустить pip install numpy torch
4. Запустите python convert.py , чтобы преобразовать веса модели в ржавчину понятный формат: a. Llama 7b: python convert.py b. Llama 13b: python convert.py llama-13b-hf c. Llama 65b: python convert.py llama-65b-hf

(Однажды) Скомпилируйте

Вы можете компилировать с обычными командами ржавчины:

С Cuda:

cargo build --release -F cuda

Без cuda:

cargo build --release

Запустите исполняемый файл

С ARGS по умолчанию:

./target/release/llama-dfdx --model < model-dir > generate " <prompt> "
./target/release/llama-dfdx --model < model-dir > chat
./target/release/llama-dfdx --model < model-dir > file < path to prompt file >

Чтобы увидеть, какие команды/пользовательские аргументы вы можете использовать:

./target/release/llama-dfdx --help