LLaMA 8bit LoRA

Obrolan llama

8bit-lora atau 4bit-lora

Repositori untuk melatih model lora untuk llama (1 dan 2) pada permukaan pelukan dengan kuantisasi 8-bit atau 4-bit. Penelitian hanya untuk Llama 1, Llama 2 terbuka secara komersial.


Bergabunglah dengan server Discord kami untuk pembaruan, dukungan & kolaborasi

Penciptaan dataset, pelatihan, penggabungan berat, dan instruksi kuantisasi ada di dokumen.

Lihat Loras terlatih kami di Huggingface

HH antropik

• 7b
• 13b
• 30b