LoraCSE

?

Proyecto final de EECS 487: Introducción al procesamiento del lenguaje natural (UMICH)

Autor: Yilin Jia, Sikai Li, Yuqi Mai

Fecha: 18 de abril de 2023

Instrucciones

Este proyecto implica evaluar el rendimiento del modelo Loracse a través de una serie de experimentos. Aquí le mostramos cómo acceder y ejecutar el código:

• Abra el cuaderno Loracse.ipynb para ver y ejecute el código para todos los experimentos.
• Siga las instrucciones proporcionadas en el cuaderno para ejecutar los experimentos utilizando su GPU y ver los resultados.
• Después de ejecutar los experimentos, consulte el archivo Loracse.pdf que lo acompaña para un análisis detallado de los resultados.

El análisis proporcionado en loracse.pdf ofrece información sobre el rendimiento del modelo Loracse y su capacidad para manejar diferentes tipos de datos. Use esta información para mejorar la precisión del modelo para su caso de uso específico.

Actuación

Modelo	Avg. Sts
SUP-Loracse-Base-Base (tamaño por lotes 512)	81.55
Sup-Loracse-Roberta-Base (tamaño por lotes 512)	82.49
Sup-Loracse-Roberta-Large (tamaño por lotes 375)	84.69

Requisitos

Para ejecutar el experimento, que implica procesar grandes cantidades de datos con un tamaño por lotes de 512, su GPU debe tener al menos 40 GB de RAM. Aquí están las GPU compatibles:

• V100
• A6000
• A40
• RTX3090 (se requieren cuatro)

En este experimento, usamos cuatro A40.

Expresiones de gratitud

Nos gustaría reconocer los siguientes proyectos por sus contribuciones a nuestro trabajo:

• SIMCSE: Nuestro código ha aprendido mucho de la implementación y las ideas presentadas en este repositorio.
• PEFT: Hemos utilizado parte de la funcionalidad proporcionada por esta biblioteca para mejorar el rendimiento de nuestro código.

Agradecemos a los contribuyentes de estos proyectos por compartir su conocimiento y experiencia con la comunidad.

Trabajo futuro

• Aprende y usa Adalora para sintonizar.
• Acelerar la capacitación y la evaluación.
• Intenta ajustar Debertv3.
• Cargue el modelo a Huggingface.