simple llm finetuner
1.0.0
| título | Emoji | colorfrom | Colorto | sdk | APP_FILE | preso |
|---|---|---|---|---|---|---|
Simples LLM Finetuner | ? | amarelo | laranja | Gradio | app.py | falso |
O simples LLM Finetuner é uma interface amigável para iniciantes, projetada para facilitar vários modelos de idiomas usando o método LORA através da biblioteca PEFT em commodity nvidia gpus. Com pequenos conjuntos de dados e comprimentos de amostra de 256, você pode até executá -lo em uma instância regular do Colab Tesla T4.
Com esta interface do usuário intuitiva, você pode gerenciar facilmente seu conjunto de dados, personalizar parâmetros, treinar e avaliar os recursos de inferência do modelo.
Eu recomendo usar um ambiente virtual para instalar os pacotes necessários. CONDA preferido.
conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch
Na WSL, pode ser necessário instalar o CUDA manualmente seguindo estas etapas e executando o seguinte antes de lançar:
export LD_LIBRARY_PATH=/usr/lib/wsl/lib
Clone o repositório e instale os pacotes necessários.
git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt
Inicie -o
python app.py
Abra http://127.0.0.1:7860/ no seu navegador. Prepare seus dados de treinamento separando cada amostra com 2 linhas em branco. Cole todo o conjunto de dados de treinamento na caixa de texto. Especifique o novo nome do adaptador Lora no "novo nome do adaptador peft" e clique em Train. Pode ser necessário ajustar o comprimento da sequência máxima e o tamanho do lote para ajustar sua memória GPU. O modelo será salvo no lora/ Diretório.
Após o treinamento, navegue até a guia "Inferência", selecione sua Lora e brinque com ela.
Divirta-se!
https://www.youtube.com/watch?v=ym1wandknz8
MIT Licença
