LoraCSE

? Loracse: aprendizado contrastante de incorporação de sentença usando Lora

Projeto Final do EECS 487: Introdução ao processamento de linguagem natural (Umich)

Autor: Yilin Jia, Sikai Li, Yuqi Mai

Data: 18 de abril de 2023

Instruções

Este projeto envolve a avaliação do desempenho do modelo Loracse por meio de uma série de experimentos. Veja como acessar e executar o código:

• Abra o notebook Loracse.ipynb para visualizar e executar o código para todas as experiências.
• Siga as instruções fornecidas no notebook para executar os experimentos usando sua GPU e visualize os resultados.
• Depois de executar os experimentos, consulte o arquivo loracse.pdf que acompanha uma análise detalhada dos resultados.

A análise fornecida no Loracse.pdf oferece informações sobre o desempenho do modelo Loracse e sua capacidade de lidar com diferentes tipos de dados. Use essas informações para melhorar a precisão do modelo para o seu caso de uso específico.

Desempenho

Modelo	Avg. Sts
Sup-Loracse-Bert-Base (tamanho do lote 512)	81.55
Sup-Loracse-Roberta-Base (tamanho do lote 512)	82.49
Sup-Loracse-Roberta-Large (tamanho do lote 375)	84.69

Requisitos

Para executar o experimento, que envolve o processamento de grandes quantidades de dados com um tamanho em lote de 512, sua GPU deve ter pelo menos 40 GB de RAM. Aqui estão as GPUs compatíveis:

• V100
• A6000
• A40
• RTX3090 (quatro necessários)

Neste experimento, usamos quatro A40.

Agradecimentos

Gostaríamos de reconhecer os seguintes projetos por suas contribuições ao nosso trabalho:

• SIMCSE: Nosso código aprendeu muito com a implementação e as idéias apresentadas neste repositório.
• PEFT: usamos parte da funcionalidade fornecida por esta biblioteca para melhorar o desempenho do nosso código.

Agradecemos aos colaboradores desses projetos por compartilhar seus conhecimentos e conhecimentos com a comunidade.

Trabalho futuro

• Aprenda e use Adalora para sintonizar.
• Acelere o treinamento e a avaliação.
• Tente sintonizar o Debertv3.
• Carregue o modelo para Huggingface.