Wizard_QLoRA_Finetuning
1.0.0
qloraでいくつかのウィザードモデルを触知します
https://youtu.be/hkt5nz0buso?si=hnmylp_z5sgzlmbm
Finetuningは、 finetune.pyスクリプトで実行できます。このスクリプトでは、モデルがダウンロードされ、4ビット精度のデータセットの1つで微調整されます。 Finetuningの進行が行われているため、チェックポイントは指定された出力ディレクトリに保存されます。
モデルがトレーニングされた後、チェックポイントファイルの1つをマージして、ロラの重みと古いウェイトを単一の重みマトリックスに結合し、それらを分割した場合よりも推論を効率的にします。 merge.py指定されたチェックポイントファイルと指定されたモデルタイプが与えられたMergeを行います。
推論にはいくつかのスクリプトがあります。 infer.pyとinfer.ipynb似ており、特定のモデルで直接推論を実行するだけです。 infer_interface.ipynbは、グラデーションを使用して追加のインターフェイスがあります。
upload.py使用して、アップロードするリポジトリ名を与えられたハブにハグファイスモデルをハブにアップロードできます。適切にアップロードするには、ハグピースからwriteトークンを取得してください。
data_creation.ipynb 、データ作成の簡単な例です。
