simple llm finetuner

標題	表情符號	顏色	科洛特	SDK	app_file	固定
簡單的LLM FINETUNER	？	黃色的	橘子	Gradio	app.py	錯誤的

???這個項目實際上已經死了。請改用以下工具之一：

• https://github.com/hiyouga/llama-factory
• https://github.com/unslothai/unsloth
• https://github.com/oobabooga/text-generation-webui

---

？簡單的LLM FINETUNER

Simple LLM Finetuner是一個對初學者友好的界面，旨在通過商品NVIDIA GPU上的PEFT庫使用LORA方法來促進各種語言模型。小數據集和样本長度為256，您甚至可以在常規的Colab Tesla T4實例上運行此操作。

使用此直觀的UI，您可以輕鬆管理數據集，自定義參數，訓練和評估模型的推理功能。

致謝

• https://github.com/zphang/minimal-llama/
• https://github.com/tloen/alpaca-lora
• https://github.com/huggingface/peft

特徵

• 只需將數據集粘貼在UI中，被雙空白分開
• 可調節參數用於微調和推理
• 對初學者友好的UI，每個參數都有解釋

入門

先決條件

• Linux或WSL
• 現代的NVIDIA GPU具有> = 16 GB的VRAM（但對於較小的樣品長度，可以使用較小的運行）

用法

我建議使用虛擬環境安裝所需的軟件包。康達首選。

 conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch

在WSL上，您可能需要通過遵循以下步驟手動安裝CUDA，然後在啟動之前運行以下操作：

 export LD_LIBRARY_PATH=/usr/lib/wsl/lib

克隆存儲庫並安裝所需的軟件包。

 git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt

啟動它

 python app.py

打開http://127.0.0.0.1:7860/在您的瀏覽器中。通過用2個空白行將每個樣本分開來準備培訓數據。將整個培訓數據集粘貼到文本框中。在“新的PEFT適配器名稱”文本框中指定新的Lora適配器名稱，然後單擊火車。您可能需要調整最大序列長度和批處理大小，以適合您的GPU內存。該模型將保存在lora/ Directory中。

訓練完成後，請導航到“推理”選項卡，選擇您的LORA，然後使用它。

玩得開心！

YouTube步行

https://www.youtube.com/watch?v=ym1wandknz8

執照

麻省理工學院許可證