QLoRA Fine tuning for Film Character Styled Responses from LLM

qlora-fine-film-film-character-styled-responses-from-llm

フィルム文字スタイルの応答を作成するためのカスタムテキストデータセットを使用した微調整llama2 LLMのコード

概要

このコードは、Qloraパラメーター効率的な微調整技術を利用して、リングのLordからGandalfのスタイルで応答を返すことができるテーラードLLAMA2 LLMを作成しました

プロジェクト構造

1. get_gandalf_data.py-オンラインリソースからのWebScrapesガンダルフテキストダイアログデータ

2. gandalf_dataset.py- webscrapedダイアログデータから生成されたgandalf.csvからクエリ/応答データセットを作成します

3. hyper_params.py-トレーニングループのハイパーパラメーターを定義します

4. TRAIN_GANDALF.py- Qlora PEFTテクニックを使用したカスタムガンダルフデータセットを使用したファインチューンベースLLAMA2モデル

5. evaluate.py-微調整されたllama2モデルをロードし、入力テキストへのガンダルフスタイルの応答を生成します

著者

ルイ・チャポ・サンダース