NanoPeft

Nanopeft

El repositorio más simple y la implementación ordenada de diferentes métodos LORA para los modelos basados ​​en el transformador de capacitación/ajuste fino (es decir, BERT, GPTS).

¿Por qué Nanopeft?

• Peft y Litgit son excelentes bibliotecas, sin embargo, piratear la cara de abrazo PEFT (ajustes finos de los parámetros) o los paquetes de litgit parece mucho trabajo para integrar un nuevo método Lora rápidamente y compararlo.
• Al mantener el código tan simple, es muy fácil piratear sus necesidades, agregar nuevos métodos Lora de los documentos en las capas/ directorio, y ajustar fácilmente según sus necesidades.
• Esto es principalmente para fines experimentales/de investigación, no para soluciones escalables.

Instalación

Con Pip

Debe instalar nanopeft usando el comando pip

pip3 install git+https://github.com/monk1337/NanoPeft.git