simple llm finetuner

título	emoji	color de color	colorto	sdk	app_file	cubierto
Finetuner LLM simple	?	amarillo	naranja	Gradio	app.py	FALSO

???? Este proyecto está efectivamente muerto. Utilice una de las siguientes herramientas en su lugar:

• https://github.com/hiyouga/llama-factory
• https://github.com/unslothai/unsloth
• https://github.com/oobabooga/text-generation-webui

---

? Finetuner LLM simple

Simple LLM Finetuner es una interfaz para principiantes diseñada para facilitar los ajustes de varios modelos de idiomas utilizando el método Lora a través de las GPU de la Biblioteca PEFT en productos básicos. Con un pequeño conjunto de datos y longitudes de muestra de 256, incluso puede ejecutar esto en una instancia regular de Colab Tesla T4.

Con esta interfaz de usuario intuitiva, puede administrar fácilmente su conjunto de datos, personalizar los parámetros, entrenar y evaluar las capacidades de inferencia del modelo.

Expresiones de gratitud

• https://github.com/zphang/minimal-llama/
• https://github.com/tloen/alpaca-lora
• https://github.com/huggingface/peft

Características

• Simplemente pegue los conjuntos de datos en la interfaz de usuario, separados por líneas en blanco dobles
• Parámetros ajustables para ajuste e inferencia
• UI para principiantes con explicaciones para cada parámetro

Empezando

Requisitos previos

• Linux o WSL
• GPU NVIDIA moderno con> = 16 GB de VRAM (pero podría ser posible funcionar con menos para longitudes de muestra más pequeñas)

Uso

Recomiendo usar un entorno virtual para instalar los paquetes requeridos. Condena preferida.

 conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch

En WSL, es posible que deba instalar CUDA manualmente siguiendo estos pasos, luego ejecutando lo siguiente antes de iniciar:

 export LD_LIBRARY_PATH=/usr/lib/wsl/lib

Clonar el repositorio e instalar los paquetes requeridos.

 git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt

Lanzarlo

 python app.py

Abra http://127.0.0.1:7860/ en su navegador. Prepare sus datos de entrenamiento separando cada muestra con 2 líneas en blanco. Pegue todo el conjunto de datos de entrenamiento en el cuadro de texto. Especifique el nuevo nombre del adaptador Lora en el cuadro de texto "Nombre del adaptador PEFT", luego haga clic en Train. Es posible que deba ajustar la longitud de secuencia máxima y el tamaño de lotes para que se ajuste a la memoria de su GPU. El modelo se guardará en el directorio lora/ .

Después de que se realice el entrenamiento, navegue a la pestaña "Inferencia", seleccione su Lora y juegue con ella.

¡Divertirse!

YouTube Walkthough

https://www.youtube.com/watch?v=ym1wandknz8

Licencia

Licencia de MIT