Le référentiel le plus simple et la mise en œuvre nette de différentes méthodes LORA pour la formation / les modèles basés sur les transformateurs à réglage fin (c.-à-d. Bert, GPT).
Pourquoi Nanopeft?
- PEFT & Litgit sont de grandes bibliothèques cependant, le piratage de la face étreinte PEFT (réglage fin économe en paramètres) ou des packages Litgit semble être beaucoup de travail pour intégrer rapidement une nouvelle méthode LORA et le comparer.
- En gardant le code si simple, il est très facile de pirater vos besoins, ajoutez de nouvelles méthodes LORA des articles dans les couches / répertoire et affinez facilement selon vos besoins.
- Ceci est principalement à des fins expérimentales / de recherche, et non pour des solutions évolutives.
Installation
Avec pip
Vous devez installer Nanopeft en utilisant la commande pip
pip3 install git+https://github.com/monk1337/NanoPeft.git
