llama dfdx

Llama 7b en óxido

¡Este repositorio contiene el popular modelo de lenguaje LLAMA 7B, totalmente implementado en el lenguaje de programación de óxido!

Utiliza tensores DFDX y aceleración CUDA.

Esto se ejecuta directamente en F16, lo que significa que no hay aceleración de hardware en la CPU. El uso de CUDA es muy recomendable.

Aquí está el modelo 7B que se ejecuta en una GPU A10:

Cómo correr

(Una vez) configurar pesos de modelo

Descargar pesos de modelo

1. Instale Git LFS. En Ubuntu puedes ejecutar sudo apt install git-lfs
2. Active Git LFS con git lfs install .
3. Ejecute los siguientes comandos para descargar los pesos del modelo en formato Pytorch (~ 25 GB):
   1. Llama 7B (~ 25 GB): git clone https://huggingface.co/decapoda-research/llama-7b-hf
   2. Llama 13b (~ 75 GB): git clone https://huggingface.co/decapoda-research/llama-13b-hf
   3. Llama 65b (~ 244 GB): git clone https://huggingface.co/decapoda-research/llama-65b-hf

Convertir el modelo

1. (Opcional) Ejecute python3.x -m venv <my_env_name> para crear un entorno virtual de Python, donde x es su versión de Python preferida
2. (Opcional, requiere 1.) Ejecutar source <my_env_name>binactivate (o <my_env_name>Scriptsactivate si está en Windows) para activar el entorno
3. Ejecute pip install numpy torch
4. Ejecute python convert.py para convertir los pesos del modelo en Formato comprensible de oxidación: a. Llama 7b: python convert.py b. Llama 13B: python convert.py llama-13b-hf c. Llama 65b: python convert.py llama-65b-hf

(Una vez) compilar

Puedes compilar con comandos normales de óxido:

Con cuda:

cargo build --release -F cuda

Sin cuda:

cargo build --release

Ejecutar el ejecutable

Con args predeterminados:

./target/release/llama-dfdx --model < model-dir > generate " <prompt> "
./target/release/llama-dfdx --model < model-dir > chat
./target/release/llama-dfdx --model < model-dir > file < path to prompt file >

Para ver qué comandos/args personalizados puede usar:

./target/release/llama-dfdx --help