Wizard_QLoRA_Finetuning
1.0.0
Создать несколько волшебных моделей с Qlora
https://youtu.be/hkt5nz0buso?si=hnmylp_z5sgzlmbm
Исключение может быть сделано с помощью сценария finetune.py . В этом скрипте модель будет загружена и создана на одном из наборов данных в 4-битной точке. По мере достижения прогресса в области создания контрольных точек сохраняются в указанном выходном каталоге.
После обучения модели один из файлов контрольной точки должен быть объединен, чтобы веси Lora и старые веса объединяются в единую матрицу веса, что делает вывод более эффективным, чем если бы вы их раскололи. merge.py делает слияние с учетом указанного файла контрольной точки и указанного типа модели.
Вывод имеет несколько сценариев. infer.py и infer.ipynb похожи и просто выполняйте прямой вывод на данной модели. infer_interface.ipynb имеет дополнительный интерфейс с использованием Gradio.
upload.py может использоваться для загрузки моделей HuggingFace в концентратор с учетом названия репо для загрузки. Обязательно получите токен write от HuggingFace, чтобы загрузить правильно.
data_creation.ipynb - это простой пример создания данных.
