LoraCSE

？loracse：loraを使用した文の埋め込みの対照的な学習

EECS 487の最終プロジェクト：自然言語処理の紹介（UMICH）

Autor：Yilin Jia、Sikai Li、Yuqi Mai

日付：2023年4月18日

説明書

このプロジェクトには、一連の実験を通じてロラケモデルのパフォーマンスを評価することが含まれます。コードにアクセスして実行する方法は次のとおりです。

• loracse.ipynbノートブックを開いて、すべての実験のコードを表示および実行します。
• ノートブックに記載されている指示に従って、GPUを使用して実験を実行し、結果を表示します。
• 実験を実行した後、結果の詳細な分析については、付随するloracse.pdfファイルを参照してください。

Loracse.pdfで提供される分析は、Loracseモデルのパフォーマンスと、さまざまな種類のデータを処理する能力に関する洞察を提供します。この情報を使用して、特定のユースケースのモデルの精度を向上させます。

パフォーマンス

モデル	平均。 sts
sup-loracse-bert-base（バッチサイズ512）	81.55
sup-loracse-roberta-base（バッチサイズ512）	82.49
sup-loracse-roberta-large（バッチサイズ375）	84.69

要件

512のバッチサイズで大量のデータを処理する実験を実行するには、GPUには少なくとも40GBのRAMが必要です。互換性のあるGPUは次のとおりです。

• V100
• A6000
• A40
• RTX3090（4つが必要）

この実験では、4つのA40を使用します。

謝辞

私たちは、私たちの仕事への貢献のために、以下のプロジェクトを認めたいと思います。

• SIMCSE：私たちのコードは、このリポジトリに表示されている実装とアイデアから多くのことを学びました。
• PEFT：このライブラリが提供する機能の一部を使用して、コードのパフォーマンスを向上させました。

これらのプロジェクトの貢献者に、彼らの知識と専門知識をコミュニティと共有してくれたことに感謝しています。

将来の仕事

• アダロラを学び、使用して調整します。
• トレーニングと評価を加速します。
• Debertv3を調整してみてください。
• モデルをHuggingfaceにアップロードします。