Finetune LLAMA 2 On Your DataSet AutoTrain From Hugging Face

微调和推理Llama-3.1-8B模型

该项目演示了如何使用Lora适配器微调Llama-3.1-8b模型，应用聊天模板并将模型保存以进行推理。该模型对本地数据进行了培训，对参数有效培训进行了优化，并部署到了拥抱面枢纽。

概述

• 型号：具有4位量化的Llama-3.1-8b，用于有效的内存使用。
• 技术：使用LORA（低级适应）适配器，梯度检查点和聊天模板进行微调。
• 数据：用于培训的自定义本地CSV文件。
• 目标：训练和部署聊天机器人模型，能够以基于对话的格式处理用户输入。

特征

• 洛拉适配器：参数有效的微调。
• 量化：具有4位精度的有效内存使用情况。
• 聊天模板：结构化的对话与令牌化。
• 模型部署：以不同的量化格式保存并将模型推向拥抱面毂。

安装

要运行此项目，您需要安装所需的软件包。您可以在Google Colab或您的本地环境中进行设置：

pip install torch transformers datasets pandas unsloth trl