simple llm finetuner

标题	表情符号	颜色	科洛特	SDK	app_file	固定
简单的LLM FINETUNER	？	黄色的	橙子	Gradio	app.py	错误的

???这个项目实际上已经死了。请改用以下工具之一：

• https://github.com/hiyouga/llama-factory
• https://github.com/unslothai/unsloth
• https://github.com/oobabooga/text-generation-webui

---

？简单的LLM FINETUNER

Simple LLM Finetuner是一个对初学者友好的界面，旨在通过商品NVIDIA GPU上的PEFT库使用LORA方法来促进各种语言模型。小数据集和样本长度为256，您甚至可以在常规的Colab Tesla T4实例上运行此操作。

使用此直观的UI，您可以轻松管理数据集，自定义参数，训练和评估模型的推理功能。

致谢

• https://github.com/zphang/minimal-llama/
• https://github.com/tloen/alpaca-lora
• https://github.com/huggingface/peft

特征

• 只需将数据集粘贴在UI中，被双空白分开
• 可调节参数用于微调和推理
• 对初学者友好的UI，每个参数都有解释

入门

先决条件

• Linux或WSL
• 现代的NVIDIA GPU具有> = 16 GB的VRAM（但对于较小的样品长度，可以使用较小的运行）

用法

我建议使用虚拟环境安装所需的软件包。康达首选。

 conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch

在WSL上，您可能需要通过遵循以下步骤手动安装CUDA，然后在启动之前运行以下操作：

 export LD_LIBRARY_PATH=/usr/lib/wsl/lib

克隆存储库并安装所需的软件包。

 git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt

启动它

 python app.py

打开http://127.0.0.0.1:7860/在您的浏览器中。通过用2个空白行将每个样本分开来准备培训数据。将整个培训数据集粘贴到文本框中。在“新的PEFT适配器名称”文本框中指定新的Lora适配器名称，然后单击火车。您可能需要调整最大序列长度和批处理大小，以适合您的GPU内存。该模型将保存在lora/ Directory中。

训练完成后，请导航到“推理”选项卡，选择您的LORA，然后使用它。

玩得开心！

YouTube步行

https://www.youtube.com/watch?v=ym1wandknz8

执照

麻省理工学院许可证