LLaMA 8bit LoRA

Чат лама

8bit-lora или 4bit-lora

Репозиторий для обучения LORA для моделей LLAMA (1 и 2) на HuggingFace с 8-битным или 4-битным квантованием. Исследование только для ламы 1, Llama 2 открыто коммерчески.


Присоединяйтесь к нашему серверу Discord для обновлений, поддержки и сотрудничества

Создание набора данных, обучение, слияние веса и инструкции квантования в документах.

Проверьте наши обученные лора на Huggingface

Антропический HH

• 7b
• 13b
• 30b