Finetune LLAMA 2 On Your DataSet AutoTrain From Hugging Face

微調和推理Llama-3.1-8B模型

該項目演示瞭如何使用Lora適配器微調Llama-3.1-8b模型，應用聊天模板並將模型保存以進行推理。該模型對本地數據進行了培訓，對參數有效培訓進行了優化，並部署到了擁抱面樞紐。

概述

• 型號：具有4位量化的Llama-3.1-8b，用於有效的內存使用。
• 技術：使用LORA（低級適應）適配器，梯度檢查點和聊天模板進行微調。
• 數據：用於培訓的自定義本地CSV文件。
• 目標：訓練和部署聊天機器人模型，能夠以基於對話的格式處理用戶輸入。

特徵

• 洛拉適配器：參數有效的微調。
• 量化：具有4位精度的有效內存使用情況。
• 聊天模板：結構化的對話與令牌化。
• 模型部署：以不同的量化格式保存並將模型推向擁抱面轂。

安裝

要運行此項目，您需要安裝所需的軟件包。您可以在Google Colab或您的本地環境中進行設置：

pip install torch transformers datasets pandas unsloth trl