Die einfachste Repository und die nette Implementierung verschiedener LORA-Methoden für Schulungen/Feinabstimmungsmodelle (dh Bert, GPTs).
Warum Nanopeft?
- Peft & Litgit sind großartige Bibliotheken, aber das Hacking der umarmenden Face PEFT (parametereffiziente Feinabstimmung) oder LITGIT-Pakete scheint eine Menge Arbeit zu sein, um eine neue LORA-Methode schnell zu integrieren und sie zu verhindern.
- Wenn Sie den Code so einfach halten, ist es sehr einfach, Ihre Anforderungen zu hacken, neue Lora-Methoden aus Papieren in den Schichten/ Verzeichnis hinzuzufügen und nach Ihren Anforderungen leicht zu optimieren.
- Dies gilt hauptsächlich für experimentelle/Forschungszwecke, nicht für skalierbare Lösungen.
Installation
Mit Pip
Sie sollten Nanopeft mit dem PIP -Befehl installieren
pip3 install git+https://github.com/monk1337/NanoPeft.git
