Wizard_QLoRA_Finetuning
1.0.0
Fineting algunos modelos de mago con qlora
https://youtu.be/hkt5nz0buso?si=hnmylp_z5sgzlmbm
El sintonización Finet se puede hacer con el script finetune.py . En este script, se descargará un modelo y se deleitará en uno de los conjuntos de datos en precisión de 4 bits. A medida que se realizan un progreso de Finetuning, los puntos de control se guardan en el directorio de salida especificado.
Después de que el modelo esté entrenado, uno de los archivos de punto de control debe fusionarse para que los pesos de Lora y los pesos viejos se combinen en una matriz de peso único, lo que hace que la inferencia sea más eficiente que si los tuviera divididos. merge.py la fusión dado un archivo de punto de control especificado y el tipo de modelo especificado.
La inferencia tiene algunos scripts. infer.py e infer.ipynb son similares y simplemente ejecutan una inferencia recta en un modelo dado. infer_interface.ipynb tiene una interfaz adicional usando Gradio.
upload.py se puede usar para cargar los modelos Huggingface al Hub fácilmente dado un nombre de repositorio para cargar. Asegúrese de obtener un token write desde Huggingface para cargar correctamente.
data_creation.ipynb es un ejemplo simple de creación de datos.
