LLaMA 8bit LoRA
1.0.0
8bit-lora o 4bit-lora
Repositorio para capacitar a un Lora para los modelos LLAMA (1 y 2) en Huggingface con cuantificación de 8 bits o 4 bits. La investigación solo para Llama 1, Llama 2 está abierta comercialmente.
Únase a nuestro servidor Discord para actualizaciones, soporte y colaboración
La creación del conjunto de datos, el entrenamiento, la fusión de peso y las instrucciones de cuantificación están en los documentos.
