simple llm finetuner

заголовок	эмодзи	Colorprom	колорто	SDK	app_file	прикреплен
Simple LLM Finetuner	?	желтый	апельсин	градио	app.py	ЛОЖЬ

??? Этот проект эффективно мертв. Вместо этого используйте один из следующих инструментов:

• https://github.com/hiyouga/llama-factory
• https://github.com/unslothai/unsloth
• https://github.com/oobabooga/text-generation-webui

---

? Simple LLM Finetuner

Simple LLM Finetuner-это удобный интерфейс для начинающих, предназначенный для облегчения тонкой настройки различных языковых моделей с использованием метода LORA через библиотеку PEFT на графических процессорах NVIDIA. С небольшим набором данных и длиной образца 256, вы даже можете запустить это на обычном экземпляре Colab Tesla T4.

С помощью этого интуитивного пользовательского интерфейса вы можете легко управлять своим набором данных, настраивать параметры, обучать и оценить возможности вывода модели.

Благодарности

• https://github.com/zphang/minimal-llama/
• https://github.com/tloen/alpaca-lora
• https://github.com/huggingface/peft

Функции

• Просто вставьте наборы данных в пользовательский интерфейс, разделенные двойными пустыми линиями
• Регулируемые параметры для тонкой настройки и вывода
• Пользовательский интерфейс для начинающих с объяснениями для каждого параметра

Начиная

Предварительные условия

• Linux или WSL
• Современный графический процессор NVIDIA с> = 16 ГБ VRAM (но может быть возможно работать с меньшими затратами для меньшей длины образца)

Использование

Я рекомендую использовать виртуальную среду для установки необходимых пакетов. Конда предпочтительнее.

 conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch

На WSL вам может потребоваться установить CUDA вручную, выполнив эти шаги, а затем запустив следующее перед запуском:

 export LD_LIBRARY_PATH=/usr/lib/wsl/lib

Клонировать репозиторий и установить необходимые пакеты.

 git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt

Запустить это

 python app.py

Откройте http://127.0.0.1:7860/ в вашем браузере. Подготовьте данные обучения, разделяя каждый образец с двумя пустыми линиями. Вставьте весь набор обучения в текстовый поле. Укажите новое имя адаптера LORA в «Новом названии адаптера PEFT», затем нажмите на поезд. Возможно, вам придется отрегулировать максимальную длину последовательности и размер партии, чтобы соответствовать памяти графического процессора. Модель будет сохранена в каталоге lora/ .

После того, как обучение будет выполнено, перейдите на вкладку «Вывод», выберите свою Лору и поиграйте с ней.

Веселиться!

YouTube прогулка

https://www.youtube.com/watch?v=ym1wandKnz8

Лицензия

MIT Лицензия