fine tunning

atrevido

Desde el despliegue modelo hasta el ajuste del modelo, este proyecto es un estudio de campamento de capacitación combinado con el proyecto de campamento de capacitación, autocomprensión, digestión y resumen, y aplicaciones innovadoras. Xiaobai puede estrella/bifurcación

Introducción rápida a modelos de idiomas grandes (aprendizaje teórico y práctica de ajuste fino)

Construir un entorno de desarrollo

• Python v3.10+
• Miniconda de gestión del medio ambiente de Python
• Python Interactive Development Environment Jupyter Lab
• Abrazando los transformadores de la cara
• Kit de herramientas de procesamiento de audio ffmpeg

Instalar el paquete de dependencia de Python

Utilice el archivo requirements.txt para la instalación del paquete de dependencia de Python:

pip install -r requirements.txt

Acerca de los conductores de GPU y las versiones CUDA

En general, se requieren versiones de controlador de GPU y CUDA para cumplir con las versiones instaladas de Pytorch y TensorFlow.

La mayoría de los modelos de idiomas grandes recién lanzados usan la versión más reciente de Pytorch V2.0+, que Pytorch cree oficialmente que es 11.8 y versiones de controlador de GPU coincidentes. Para obtener más detalles, consulte la respuesta mínima de CUDA solicitada respuesta proporcionada por Pytorch.

En resumen, se recomienda instalar la última versión CUDA 12.3 actual directamente. Para más detalles, consulte el paquete oficial de instalación de NVIDIA.

Una vez que se complete la instalación, use nvidia-smi para ver la versión:

nvidia-smi

Fri Mar  1 11:16:55 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 529.08       Driver Version: 529.08       CUDA Version: 12.0     |
| -------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
| ===============================+======================+====================== |
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A   45C    P8     6W /  30W |      0MiB /  4096MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
| ============================================================================= |
+-----------------------------------------------------------------------------+

Para usar la API de OpenAI, debe obtener una clave API de la consola OpenAI. Una vez que tenga la clave, puede configurarla como una variable de entorno:

Para sistemas basados ​​en UNIX como Ubuntu o MacOS, puede ejecutar el siguiente comando en el terminal:

 export OPENAI_API_KEY= '你的-api-key '

Para Windows, puede usar el siguiente comando en el símbolo del sistema:

 set OPENAI_API_KEY=你的-api-key

Sobre los requisitos, puede descargarlo de acuerdo con la situación

pip install -r requirements.txt

Construcción del entorno de desarrollo de transformadores

introducir

La construcción del entorno de desarrollo incluye varias piezas

• Miniconda
• Jupyter Lab
• Abrazando los transformadores de la cara, cuando necesita probar múltiples modelos, se recomienda instalar TensorFlow y Pytorch.
• Otros paquetes de dependencia

Miniconda

Miniconda es una herramienta de gestión del entorno de Python que se puede utilizar para crear y administrar múltiples entornos de Python. Es una alternativa liviana a Anaconda y no incluye ninguna herramienta IDE. Miniconda puede descargar el paquete de instalación del sitio web oficial. También puede descargarlo desde el sitio web de Mirror:

Instalación de Miniconda Environment

 # 下载 Miniconda 安装包
$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 也可以使用curl命令下载
$ curl -O https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 Miniconda
$ bash Miniconda3-latest-Linux-x86_64.sh

Durante el proceso de instalación, se deben responder algunas preguntas, como la ruta de instalación, si agregar Miniconda a las variables de entorno, etc. Después de completar la instalación, el terminal debe reiniciarse para que la variable de entorno surta efecto.

Puede usar el siguiente comando para verificar que Miniconda se instale correctamente:

$ conda --version

Configurar miniconda

Los archivos de configuración de Miniconda se almacenan en ~/.condarc. Puede modificarlos manualmente refiriéndose al documento, o puede usar el comando Conna Config para modificarlos.

1. Para acelerar las descargas de paquetes, puede configurar y usar fuentes de espejo doméstico:

 # 配置清华镜像
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
$ conda config --set show_channel_urls yes
# 查看~/.condarc配置
$ conda config --show-sources
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: True

2. Para acelerar la descarga del paquete Anaconda, puede usar Mamba o Micromamba en lugar de conda. Estas dos herramientas son sustitutos de Conda y almacenan en caché la información de la versión del paquete y no es necesario verificar cada vez que se instale el paquete. Esto puede mejorar de manera efectiva con Conda-Forge y otros más grandes. El método para instalar Mamba o Micromamba es el siguiente:

 # 安装mamba
$ conda install -n base -c conda-forge mamba
# 安装micromamba
$ conda install -n base -c conda-forge micromamba

Luego puede usar el comando Mamba o Micromamba en lugar del comando Conda.

Crear un entorno virtual

 # 创建虚拟环境，指定 Python 版本为 3.11
(base) $ conda create -n transformers python=3.11
# 激活 openai 环境
$ conda activate transformers

Si no hay una descripción especial a continuación, todos se llevarán a cabo en el entorno OpenAI recién creado aquí.

Jupyter Lab

Jupyter Lab es un entorno de desarrollo interactivo que puede ejecutarse en un navegador. Admite una variedad de lenguajes de programación, incluidos Python, R, Julia, etc. Jupyter Lab es proporcionado por Conda-Forge. Configure primero la imagen y luego instálela con el siguiente comando:

(transformers) $ conda install jupyterlab

Abrazando los transformadores de la cara

Hugging Face Transformers es un kit de herramientas de procesamiento del lenguaje natural basado en Pytorch y TensorFlow, que proporciona una gran cantidad de modelos previamente capacitados que se pueden usar para completar una variedad de tareas de PNL. Se pueden instalar transformadores faciales que se pueden instalar a través de Conda:

(transformers) $ conda install -c huggingface transformers

Documentación de instalación: Abrazando transformadores faciales

Instalar TensorFlow

Los transformadores deben usar TensorFlow para el razonamiento del modelo real. El siguiente comando instala las versiones de CPU y GPU de TensorFlow:

(transformers) $ pip install tensorflow

Si está utilizando una Mac, puede instalar un complemento de metal para el chip M1/M2, y también puede probar algunos modelos más pequeños:

(transformers) $ pip install tensorflow-metal

Documentación de instalación:

• flujo tensor
• tensorflow-metal

Instalar pytorch

Los transformadores deben usar Pytorch para el razonamiento del modelo real. Las fuentes de imagen Pytorch y Conda-Forge utilizadas se han configurado en el paso anterior. Puede usar el siguiente comando para instalar la versión de Pytorch correspondiente a la versión CUDA:

 # Linux
# CUDA 11.8
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia
# CUDA 12.1
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c nvidia

# Mac
(transformers) $ conda install pytorch::pytorch torchvision torchaudio

Documentación de instalación: Pytorch

Instalar otros paquetes de dependencia

Al procesar imágenes, audio y otros datos, se deben utilizar otras dependencias, que incluyan:

• TQDM, Barra de progreso de EPROGRESS
• FFMPEG, Herramientas de procesamiento de audio FFMPEG-Python
• Herramienta de procesamiento de imágenes de almohada

(transformers) $ conda install tqdm iprogress ffmpeg ffmpeg-python pillow

Te deseo progresar en sus estudios