fine tunning
1.0.0
Introdução rápida a grandes modelos de linguagem (aprendizado teórico e prática de ajuste fina)
Use o arquivo requirements.txt para instalação do pacote de dependência do Python:
pip install -r requirements.txtGeralmente, as versões Driver GPU e CUDA são necessárias para atender às versões instaladas do Pytorch e TensorFlow.
A maioria dos modelos de idiomas grandes recém -lançados usam a versão mais recente do Pytorch v2.0+, que Pytorch acredita oficialmente é 11,8 e as versões de driver GPU correspondentes. Para obter detalhes, consulte a versão mínima do CUDA Resposta solicitada fornecida por Pytorch.
Em suma, é recomendável instalar diretamente a versão atual do CUDA 12.3 mais recente. Para detalhes, consulte o pacote oficial de instalação da NVIDIA.
Após a conclusão da instalação, use nvidia-smi para visualizar a versão:
nvidia-smiFri Mar 1 11:16:55 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 529.08 Driver Version: 529.08 CUDA Version: 12.0 |
| -------------------------------+----------------------+----------------------+
| GPU Name TCC/WDDM | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
| ===============================+======================+====================== |
| 0 NVIDIA GeForce ... WDDM | 00000000:01:00.0 Off | N/A |
| N/A 45C P8 6W / 30W | 0MiB / 4096MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
| ============================================================================= |
+-----------------------------------------------------------------------------+Para usar a API do OpenAI, você precisa obter uma chave de API no console OpenAI. Depois de ter a chave, você pode configurá -la como uma variável de ambiente:
Para sistemas baseados em UNIX, como Ubuntu ou MacOS, você pode executar o seguinte comando no terminal:
export OPENAI_API_KEY= '你的-api-key 'Para Windows, você pode usar o seguinte comando no prompt de comando:
set OPENAI_API_KEY=你的-api-keySobre requisitos, você pode baixá -lo de acordo com a situação
pip install -r requirements.txtA construção do ambiente de desenvolvimento inclui várias partes
O Miniconda é uma ferramenta de gerenciamento de ambiente Python que pode ser usada para criar e gerenciar vários ambientes Python. É uma alternativa leve para a Anaconda e não inclui nenhuma ferramenta IDE. O Miniconda pode baixar o pacote de instalação no site oficial. Você também pode baixá -lo no site do Mirror:
# 下载 Miniconda 安装包
$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 也可以使用curl命令下载
$ curl -O https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 Miniconda
$ bash Miniconda3-latest-Linux-x86_64.shDurante o processo de instalação, algumas perguntas precisam ser respondidas, como o caminho da instalação, se deve adicionar Miniconda às variáveis de ambiente etc. Após a conclusão da instalação, o terminal precisa ser reiniciado para fazer a variável ambiental entrar em vigor.
Você pode usar o seguinte comando para verificar se o Miniconda está instalado com sucesso:
$ conda --versionOs arquivos de configuração Miniconda são armazenados em ~/.condarc. Você pode modificá -los manualmente referindo -se ao documento ou pode usar o comando CONDA Config para modificá -los.
# 配置清华镜像
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
$ conda config --set show_channel_urls yes
# 查看~/.condarc配置
$ conda config --show-sources
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: True # 安装mamba
$ conda install -n base -c conda-forge mamba
# 安装micromamba
$ conda install -n base -c conda-forge micromambaEm seguida, você pode usar o comando Mamba ou Micromamba em vez do comando CONDA.
# 创建虚拟环境，指定 Python 版本为 3.11
(base) $ conda create -n transformers python=3.11
# 激活 openai 环境
$ conda activate transformersSe não houver uma descrição especial abaixo, todos eles serão realizados no ambiente OpenAI recém -criado aqui.
O Jupyter Lab é um ambiente de desenvolvimento interativo que pode ser executado em um navegador. Ele suporta uma variedade de linguagens de programação, incluindo Python, R, Julia, etc. O Jupyter Lab é fornecido por Conde-Forge. Configure a imagem primeiro e depois instale -a usando o seguinte comando:
(transformers) $ conda install jupyterlabAbraçar transformadores de rosto é um kit de ferramentas de processamento de linguagem natural baseado em pytorch e tensorflow, que fornece um grande número de modelos pré-treinados que podem ser usados para concluir uma variedade de tarefas de PNL. Abraçar transformadores de rosto pode ser instalado via conda:
(transformers) $ conda install -c huggingface transformersDocumentação de instalação: abraçando transformadores de rosto
Os transformadores precisam usar o TensorFlow para o raciocínio real do modelo. O comando a seguir instala as versões CPU e GPU do TensorFlow:
(transformers) $ pip install tensorflowSe você estiver usando um Mac, poderá instalar o plug-in de metal para o chip M1/M2 e também pode experimentar alguns modelos menores:
(transformers) $ pip install tensorflow-metalDocumentação de instalação:
Os transformadores precisam usar o Pytorch para o raciocínio real do modelo. As fontes de imagem Pytorch e Conde-Forge utilizadas foram configuradas na etapa anterior. Você pode usar o seguinte comando para instalar a versão pytorch correspondente à versão CUDA:
# Linux
# CUDA 11.8
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia
# CUDA 12.1
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c nvidia
# Mac
(transformers) $ conda install pytorch::pytorch torchvision torchaudioDocumentação de instalação: Pytorch
Ao processar imagens, áudio e outros dados, outras dependências precisam ser usadas, incluindo:
(transformers) $ conda install tqdm iprogress ffmpeg ffmpeg-python pillowDesejo que você progrida em seus estudos
