fine tunning

auteur

Du déploiement du modèle au modèle de réglage des modèles, ce projet est une étude de camp de formation combinée au projet de camp d'entraînement, à la compréhension de soi, à la digestion et au résumé et aux applications innovantes. Xiaobai peut jouer / fourche

Introduction rapide aux grands modèles de langue (apprentissage théorique et pratique de réglage fin)

Construisez un environnement de développement

• Python v3.10 +
• Python Environment Management MiniConda
• Python Interactive Development Environment Jupyter Lab
• Transformeurs de face étreintes
• Boîte à outils de traitement audio ffmpeg

Installez le package de dépendance Python

Veuillez utiliser le fichier requirements.txt pour Python Dependency Package Installation:

pip install -r requirements.txt

Sur les pilotes GPU et les versions CUDA

Généralement, les versions GPU Driver et CUDA sont nécessaires pour répondre aux versions installées de Pytorch et TensorFlow.

La plupart des modèles de langage récemment récemment publiés utilisent la nouvelle version Pytorch V2.0 +, ce que Pytorch pense officiellement est 11,8 et les versions de pilotes GPU correspondants. Pour plus de détails, veuillez consulter la réponse minimale CUDA demandée par Pytorch.

En bref, il est recommandé d'installer directement la dernière version CUDA 12.3 actuelle. Pour plus de détails, veuillez consulter le progiciel d'installation officiel de Nvidia.

Une fois l'installation terminée, utilisez nvidia-smi pour afficher la version:

nvidia-smi

Fri Mar  1 11:16:55 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 529.08       Driver Version: 529.08       CUDA Version: 12.0     |
| -------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
| ===============================+======================+====================== |
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A   45C    P8     6W /  30W |      0MiB /  4096MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
| ============================================================================= |
+-----------------------------------------------------------------------------+

Afin d'utiliser l'API OpenAI, vous devez obtenir une clé API à la console OpenAI. Une fois que vous avez la clé, vous pouvez le définir comme une variable d'environnement:

Pour les systèmes basés sur UNIX tels que Ubuntu ou MacOS, vous pouvez exécuter la commande suivante dans le terminal:

 export OPENAI_API_KEY= '你的-api-key '

Pour Windows, vous pouvez utiliser la commande suivante dans l'invite de commande:

 set OPENAI_API_KEY=你的-api-key

À propos des exigences, vous pouvez le télécharger en fonction de la situation

pip install -r requirements.txt

Construction de l'environnement de développement des transformateurs

introduire

La construction de l'environnement de développement comprend plusieurs pièces

• Miniconda
• Laboratoire de Jupyter
• Étreindre les transformateurs de face, lorsque vous devez essayer plusieurs modèles, il est recommandé d'installer TensorFlow et Pytorch.
• Autres packages de dépendance

Miniconda

MiniConda est un outil de gestion de l'environnement Python qui peut être utilisé pour créer et gérer plusieurs environnements Python. Il s'agit d'une alternative légère à Anaconda et n'inclut aucun outil IDE. MiniConda peut télécharger le package d'installation sur le site officiel. Vous pouvez également le télécharger à partir du site Web Mirror:

Installation de l'environnement miniconda

 # 下载 Miniconda 安装包
$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 也可以使用curl命令下载
$ curl -O https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 Miniconda
$ bash Miniconda3-latest-Linux-x86_64.sh

Pendant le processus d'installation, certaines questions doivent être répondues, telles que le chemin d'installation, que ce soit pour ajouter des minicondes aux variables d'environnement, etc. Une fois l'installation terminée, le terminal doit être redémarré pour rendre la variable environnementale.

Vous pouvez utiliser la commande suivante pour vérifier que MiniConda est installée avec succès:

$ conda --version

Configurer MINICONDA

Les fichiers de configuration MiniConDA sont stockés dans ~ / .Condarc. Vous pouvez les modifier manuellement en vous référant au document, ou vous pouvez utiliser la commande Conda Config pour les modifier.

1. Afin d'accélérer les téléchargements de packages, vous pouvez configurer et utiliser des sources de miroir domestiques:

 # 配置清华镜像
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
$ conda config --set show_channel_urls yes
# 查看~/.condarc配置
$ conda config --show-sources
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: True

2. Pour accélérer le téléchargement du package Anaconda, vous pouvez utiliser Mamba ou Micromamba au lieu de Conda. Ces deux outils sont des substituts de conda et mettra en cache les informations de la version du package et n'ont pas besoin d'être vérifiés chaque fois que le package est installé. Cela peut efficacement améliorer le conda-forge et d'autres plus grands. La méthode pour installer Mamba ou Micromamba est la suivante:

 # 安装mamba
$ conda install -n base -c conda-forge mamba
# 安装micromamba
$ conda install -n base -c conda-forge micromamba

Ensuite, vous pouvez utiliser la commande mamba ou micromamba au lieu de la commande conda.

Créer un environnement virtuel

 # 创建虚拟环境，指定 Python 版本为 3.11
(base) $ conda create -n transformers python=3.11
# 激活 openai 环境
$ conda activate transformers

S'il n'y a pas de description spéciale ci-dessous, toutes seront effectuées dans l'environnement Openai nouvellement créé ici.

Laboratoire de Jupyter

Jupyter Lab est un environnement de développement interactif qui peut fonctionner dans un navigateur. Il prend en charge une variété de langages de programmation, notamment Python, R, Julia, etc. Jupyter Lab est fourni par Conda-Forge. Veuillez d'abord configurer l'image, puis l'installer à l'aide de la commande suivante:

(transformers) $ conda install jupyterlab

Transformeurs de face étreintes

Hugging Face Transformers est une boîte à outils de traitement du langage naturel basée sur Pytorch et TensorFlow, qui fournit un grand nombre de modèles pré-formés qui peuvent être utilisés pour effectuer une variété de tâches PNL. Les transformateurs de face étreintes peuvent être installés via Conda:

(transformers) $ conda install -c huggingface transformers

Documentation d'installation: transformateurs de face étreintes

Installer TensorFlow

Les transformateurs doivent utiliser TensorFlow pour le raisonnement réel du modèle. La commande suivante installe les versions CPU et GPU de TensorFlow:

(transformers) $ pip install tensorflow

Si vous utilisez un Mac, vous pouvez installer un plug-in en métal pour la puce M1 / ​​M2, et vous pouvez également essayer quelques modèles plus petits:

(transformers) $ pip install tensorflow-metal

Documentation d'installation:

• tensorflow
• Tensorflow-Metal

Installer Pytorch

Les transformateurs doivent utiliser Pytorch pour le raisonnement réel du modèle. Les sources d'image Pytorch et Conda-Forge utilisées ont été configurées à l'étape précédente. Vous pouvez utiliser la commande suivante pour installer la version Pytorch correspondant à la version CUDA:

 # Linux
# CUDA 11.8
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia
# CUDA 12.1
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c nvidia

# Mac
(transformers) $ conda install pytorch::pytorch torchvision torchaudio

Documentation d'installation: Pytorch

Installez d'autres packages de dépendance

Lors du traitement des images, de l'audio et d'autres données, d'autres dépendances doivent être utilisées, notamment:

• TQDM, EPROGRESS PROGRAD BAR
• outils de traitement audio ffmpeg, ffmpeg-python
• outil de traitement d'image d'oreiller

(transformers) $ conda install tqdm iprogress ffmpeg ffmpeg-python pillow

Je vous souhaite progresser dans vos études