Title Generator with LLM PEFT

LLM＆PEFT（LORA）のタイトルジェネレーター

[更新]：Qloraを含む微調整されたLlama2がまもなく追加されます！

このプロジェクトの目的は、アカデミック記事の特定の要約からタイトルを生成することを目的としています。モデルは、ARXIVデータセットを使用してPEFTで調整されました。 2つの異なるモデルがLoraで調整されました（Hu et al。、2021）。 ARXIVデータセットでは、コンピューターサイエンスカテゴリの記事のみが選択されました。この数は、記憶と時間の制限のためにも削減されています。微調整されたモデルは、Huggingfaceスペースを介して利用できます。

• ハギングフェイススペースバート
• ハギングフェイススペースT5

プロジェクトには以下が含まれます：

• 低ランク適応方法（LORA）
• パラメーター効率的な微調整（PEFT）
• ハギングフェイスモデルトレーニング（T5ベース、バートベース）
• Rouge Scoreの評価メトリック
• ワンショット、ゼロショット評価、および命令プロンプトの追加
• モデルのマージとアップロードをハギングフェイスに
• ログの追跡、メモリ使用量、トレーニング、トレーニング、評価プロセス、トレーニング/テスト損失の視覚化のための経過時間
• ARXIVデータセットをコンピューターサイエンス（CS）の記事のみでフィルタリングするためのEDAおよびスクリプト。
• .JSONデータセットのフィルタリングと変換

外部ライブラリとパッケージ：

• トーチ
• ハギングフェイス
• トランス
• bitsandbytes
• peft
• 加速します
• 評価（ルージュスコア）
• ロラリブ
• TRL
• パンダ、numpy、matplotlib、tqdm、時間

トレーニングパラメーターと制限

• 6000のトレーニングサンプル、1000の検証サンプル、250のテストサンプルがデータセットからフィルタリングされています。
• （CS関連の論文の数は299131です。ただし、このプロジェクトの目的の1つは、PEFT/LORAを使用した小さなLLMの効率をチェックすることです。したがって、トレーニングデータサンプルが少なく、トレーニングエポックが少ないことが考慮されます。）
• モデルは6つのエポックのためにトレーニングされています。
• ロラの注意R=8 、 alpha=64 、 dropout=0.01 、 learning rate=2e-4 、 paged_adamW_32bit optimizer

結果

微調整されたバート

• メモリキャッシュ：11.2 gb
• トレーニング時間：11423.89 s

微調整されたT5

• メモリキャッシュ：13.7 GB
• トレーニング時間：9793.74秒

微調整されたBART出力

	オリジナルタイトル	生成されたタイトル
1	強く相関した量子システム用の量子回路	強く相関した多体ハミルトニアンの量子シミュレーション
2	Teko：外部知識を持つテキストリッチグラフニューラルネットワーク	外部知識を持つテキストリッチグラフニューラルネットワーク
3	貨物：ゲノム情報の効果的な形式の圧縮ストレージ	貨物：ゲノミクス用の圧縮アーカイブ
4	列車の地上通信のエネルギー効率の高い電力制御	高速列車のための電車の地上mmwave通信のエネルギー効率
5	機械学習研究におけるバイアスに関する調査	機械学習におけるバイアスのソースと結果を理解する
6	SA-UNET：網膜血管セグメンテーションのための空間的注意u-net	空間的注意u-net：目に関連する疾患に対する空間的注意
7	高速kセグメンテーションのための新しいヒューリスティックアルゴリズム	Kセグメンテーションのための新しいヒューリスティックアルゴリズム
8	ヘルスケアにおけるIoTの進歩と課題：短いレビュー	スマートヘルスケアとヘルスケア：スマートヘルスケアとセキュリティの比較分析
9	FVC：機能空間での深いビデオ圧縮に向けた新しいフレームワーク	学習ベースのビデオコーディングのための機能空間ビデオ圧縮

スクリーンショット

• BARTトレーニング/テスト損失（6エポック）

• T5トレーニング/テスト損失（6エポック）