Wizard_QLoRA_Finetuning

wizard_qlora_finetuning

用Qlora填充一些嚮導模型

演示

https://youtu.be/hkt5nz0buso?si=hhnmylp_z5sgzlmbm

管道

模型微調

可以使用finetune.py腳本進行填充。在此腳本中，將以4位精度下載並在其中一個數據集上下載和填充模型。隨著填充進度，檢查點將保存到指定的輸出目錄。

合併

訓練模型後，應合併一個檢查點文件之一，以便將洛拉的權重和舊重量合併為單個重量矩陣，從而使推理比讓它們分開的效率更高。 merge.py給定指定的檢查點文件和指定的模型類型的合併。

推理

推理有一些腳本。 infer.py和infer.ipynb相似，並且僅在給定模型上直接推斷。 infer_interface.ipynb具有使用Gradio的附加接口。

上傳/保存模型

upload.py可以用來將擁抱面模型上傳到集線器上，並可以輕鬆地給出一個回購名稱。確保從擁抱面獲得write令牌到正確上傳。

數據創建

data_creation.ipynb是數據創建的簡單示例。