Repositori paling sederhana & implementasi yang rapi dari berbagai metode LORA untuk pelatihan/penyempurnaan model berbasis transformator (yaitu, Bert, GPTS).
Mengapa nanopeft?
- PEFT & LITGIT adalah perpustakaan yang hebat namun, meretas PEFT wajah pemeluk (penyempurnaan yang efisien parameter) atau paket Litgit sepertinya banyak pekerjaan untuk mengintegrasikan metode LORA baru dengan cepat dan membandingkannya.
- Dengan menjaga kode tetap sederhana, sangat mudah untuk meretas kebutuhan Anda, menambahkan metode LORA baru dari makalah di lapisan/ direktori, dan menyempurnakan dengan mudah sesuai kebutuhan Anda.
- Ini sebagian besar untuk tujuan eksperimental/penelitian, bukan untuk solusi yang dapat diskalakan.
Instalasi
Dengan pip
Anda harus menginstal nanopeft menggunakan perintah PIP
pip3 install git+https://github.com/monk1337/NanoPeft.git
