llama dfdx

Llama 7b in Rust

이 repo는 Rust 프로그래밍 언어로 완전히 구현 된 인기있는 LLAMA 7B 언어 모델이 포함되어 있습니다!

DFDX 텐서 및 CUDA 가속도를 사용합니다.

이것은 LLAMA를 F16에서 직접 실행하므로 CPU에 하드웨어 가속이 없음을 의미합니다. CUDA 사용은 크게 권장됩니다.

A10 GPU에서 실행되는 7B 모델은 다음과 같습니다.

달리는 방법

(한 번) 모델 가중치 설정

모델 가중치를 다운로드하십시오

1. Git LFS를 설치하십시오. Ubuntu에서는 sudo apt install git-lfs 실행할 수 있습니다
2. git lfs install 로 Git LFS를 활성화하십시오.
3. 다음 명령을 실행하여 Pytorch 형식 (~ 25GB)으로 모델 가중치를 다운로드하십시오.
   1. llama 7b (~ 25GB) : git clone https://huggingface.co/decapoda-research/llama-7b-hf
   2. llama 13B (~ 75GB) : git clone https://huggingface.co/decapoda-research/llama-13b-hf
   3. LLAMA 65B (~ 244 GB) : git clone https://huggingface.co/decapoda-research/llama-65b-hf

모델을 변환하십시오

1. (선택 사항) 실행 python3.x -m venv <my_env_name> x는 python 가상 환경을 만들려면 x 선호하는 Python 버전입니다.
2. (선택 사항, 1.) 실행 source <my_env_name>binactivate (또는 <my_env_name>Scriptsactivate ) 환경을 활성화합니다.
3. pip install numpy torch 실행하십시오
4. python convert.py 실행하려면 모델 가중치를 녹이 이해할 수있는 형식으로 변환합니다. llama 7b : python convert.py b. llama 13b : python convert.py llama-13b-hf c. llama 65b : python convert.py llama-65b-hf

(한 번) 컴파일

정상적인 Rust 명령으로 컴파일 할 수 있습니다.

Cuda와 함께 :

cargo build --release -F cuda

cuda없이 :

cargo build --release

실행 파일을 실행하십시오

기본 args :

./target/release/llama-dfdx --model < model-dir > generate " <prompt> "
./target/release/llama-dfdx --model < model-dir > chat
./target/release/llama-dfdx --model < model-dir > file < path to prompt file >

어떤 명령/사용자 정의 args를 사용할 수 있는지 확인하십시오.

./target/release/llama-dfdx --help