Alpaca 3B Fine Tuned

alpaca-3b-fine-fine

プロの仕事関連プロジェクト

このプロジェクトでは、Stanford Universityで最初に開発されたAlpaca 3Bパラメーターモデルの微調整プロセスを促進するコードとコラボラトリーノートを提供しました。微調整されている特定のモデルには、約30億パラメーターがあり、これはより小さなアルパカモデルの1つです。

このモデルは、低ランクの適応LORAを使用して、より少ない計算リソースとトレーニングパラメーターで実行されます。 bitsandbytesを使用して、8ビット形式でセットアップおよび実行して、コラボリ酸で使用できます。さらに、HuggingfaceのPEFTライブラリは、モデルを微調整するために使用されました。

ハイパーパラメーター：

1. micro_batch_size = 4（4つのGPUで動作します）
2. batch_size = 256
3. gradient_accumulation_steps = batch_size // micro_batch_size
4. エポック= 2（スタンフォードのアルパカは3を使用しています）
5. Learning_rate = 2e-5（スタンフォードのアルパカは2e-5を使用しています）
6. cutoff_len = 256（スタンフォードのアルパカは512を使用していますが、データの96％を占め、はるかに速く実行されます）
7. lora_r = 4
8. lora_alpha = 16
9. lora_dropout = 0.05

オリジナルモデルのクレジット：Xinyang（Young）GengとHao Liu OpenLM ResearchのHao Liu

微調整モデル：Ryanair/Alpaca-3B-fine-tuned（huggingface）