LoraCSE

? Loracse : Lora를 사용한 문장 임베딩에 대한 대조적 인 학습

EECS의 최종 프로젝트 487 : 자연어 처리 소개 (Umich)

Autor : Yilin Jia, Sikai Li, Yuqi Mai

날짜 : 2023 년 4 월 18 일

지침

이 프로젝트에는 일련의 실험을 통해 Loracse 모델의 성능을 평가하는 것이 포함됩니다. 코드에 액세스하고 실행하는 방법은 다음과 같습니다.

• loracse.ipynb 노트북을 열면 모든 실험에 대한 코드를보고 실행하십시오.
• 노트북에 제공된 지침을 따라 GPU를 사용하여 실험을 실행하고 결과를보십시오.
• 실험을 실행 한 후 결과에 대한 자세한 분석은 첨부 된 loracse.pdf 파일을 참조하십시오.

Loracse.pdf에서 제공된 분석은 Loracse 모델의 성능에 대한 통찰력과 다양한 유형의 데이터를 처리 할 수있는 능력을 제공합니다. 이 정보를 사용하여 특정 사용 사례에 대한 모델의 정확도를 향상시킵니다.

성능

모델	avg. STS
Sup-Loracse-Bert-Base (배치 크기 512)	81.55
Sup-Loracse-Roberta-Base (배치 크기 512)	82.49
Sup-Loracse-Roberta-Large (배치 크기 375)	84.69

요구 사항

배치 크기가 512 인 많은 양의 데이터를 처리하는 실험을 실행하려면 GPU에 40GB 이상의 RAM이 있어야합니다. 호환 GPU는 다음과 같습니다.

• v100
• A6000
• A40
• rtx3090 (필요한 4 명)

이 실험에서는 4 개의 A40을 사용합니다.

감사의 말

우리는 우리의 작업에 기여한 다음 프로젝트를 인정하고 싶습니다.

• SIMCSE : 우리의 코드는이 저장소에 제시된 구현과 아이디어에서 많은 것을 배웠습니다.
• PEFT : 우리는이 라이브러리에서 제공 한 기능 중 일부를 사용하여 코드의 성능을 향상 시켰습니다.

우리는 그들의 지식과 전문 지식을 지역 사회와 공유 한이 프로젝트의 기고자들에게 감사합니다.

미래의 일

• Adalora를 배우고 사용하여 조정하십시오.
• 훈련 및 평가를 가속화합니다.
• DEBERTV3를 조정하십시오.
• HuggingFace에 모델을 업로드하십시오.