fine tunning

feinem

Dieses Projekt ist eine Schulung Camp-Studie in Kombination mit dem Trainingslagerprojekt, dem Selbstverständnis, der Verdauung und der Zusammenfassung sowie innovativen Anwendungen. Xiaobai kann Stern/Gabel

Schnelle Einführung in große Sprachmodelle (theoretisches Lernen und Feinabstimmungspraxis)

Aufbau einer Entwicklungsumgebung

• Python v3.10+
• Python Environment Management Miniconda
• Python Interactive Development Environment Jupyter Labor
• Umarme Gesichtstransformatoren
• Audio -Verarbeitungs -Toolkit FFMPEG

Installieren Sie das Python -Abhängigkeitspaket

Bitte verwenden Sie die Datei requirements.txt -Datei für die Installation des Python -Abhängigkeitspakets:

pip install -r requirements.txt

Über GPU -Treiber und Cuda -Versionen

Im Allgemeinen müssen die GPU -Treiber- und CUDA -Versionen die installierten Versionen von Pytorch und TensorFlow erfüllen.

Die meisten neu veröffentlichten großsprachigen Modelle verwenden die neuere Pytorch v2.0+ -Version, von der Pytorch offiziell glaubt, dass sie 11,8 sind und die GPU -Treiberversionen übereinstimmen. Weitere Informationen finden Sie in der von Pytorch angeforderten Antwort der CUDA -Mindestversion.

Kurz gesagt, es wird empfohlen, die aktuelle neueste CUDA 12.3 -Version direkt zu installieren. Weitere Informationen finden Sie im offiziellen NVIDIA -Installationspaket.

Verwenden Sie nach Abschluss der Installation nvidia-smi Direktive, um die Version anzuzeigen:

nvidia-smi

Fri Mar  1 11:16:55 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 529.08       Driver Version: 529.08       CUDA Version: 12.0     |
| -------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
| ===============================+======================+====================== |
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A   45C    P8     6W /  30W |      0MiB /  4096MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
| ============================================================================= |
+-----------------------------------------------------------------------------+

Um die OpenAI -API zu verwenden, müssen Sie einen API -Schlüssel aus der OpenAI -Konsole erhalten. Sobald Sie den Schlüssel haben, können Sie ihn als Umgebungsvariable festlegen:

Für UNIX-basierte Systeme wie Ubuntu oder MacOS können Sie den folgenden Befehl im Terminal ausführen:

 export OPENAI_API_KEY= '你的-api-key '

Für Windows können Sie den folgenden Befehl in der Eingabeaufforderung verwenden:

 set OPENAI_API_KEY=你的-api-key

In Bezug auf Anforderungen können Sie es gemäß der Situation herunterladen

pip install -r requirements.txt

Konstruktion von Transformatoren Entwicklungsumfeld

einführen

Entwicklungsumfeldkonstruktion umfasst mehrere Teile

• Miniconda
• Jupyter Lab
• Wenn Sie mehrere Modelle ausprobieren müssen, wird empfohlen, sowohl Tensorflow als auch Pytorch zu installieren.
• Andere Abhängigkeitspakete

Miniconda

Miniconda ist ein Tool für das Umgebungsmanagement von Python, mit dem mehrere Python -Umgebungen erstellt und verwaltet werden können. Es ist eine leichte Alternative zu Anaconda und enthält keine IDE -Tools. Miniconda kann das Installationspaket von der offiziellen Website herunterladen. Sie können es auch von der Mirror -Website herunterladen:

Installation der Miniconda -Umgebung

 # 下载 Miniconda 安装包
$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 也可以使用curl命令下载
$ curl -O https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 Miniconda
$ bash Miniconda3-latest-Linux-x86_64.sh

Während des Installationsprozesses müssen einige Fragen beantwortet werden, wie z. B. der Installationspfad, ob Miniconda zu Umgebungsvariablen usw. Nach Abschluss der Installation mininal eingestuft werden, muss das Terminal neu gestartet werden, um die Umgebungsvariablen in Kraft zu setzen.

Sie können den folgenden Befehl verwenden, um zu überprüfen, ob Miniconda erfolgreich installiert ist:

$ conda --version

Konfigurieren Sie Miniconda

Miniconda -Konfigurationsdateien werden in ~/.condarc gespeichert. Sie können sie manuell ändern, indem Sie sich auf das Dokument beziehen, oder Sie können den Conda -Konfigurationsbefehl verwenden, um sie zu ändern.

1. Um Paketdownloads zu beschleunigen, können Sie Hausspiegelquellen konfigurieren und verwenden:

 # 配置清华镜像
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
$ conda config --set show_channel_urls yes
# 查看~/.condarc配置
$ conda config --show-sources
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: True

2. Um den Download des Anaconda -Pakets zu beschleunigen, können Sie Mamba oder Micromamba anstelle von Conda verwenden. Diese beiden Tools sind Ersetzer für Conda und werden die Paketversionsinformationen zwischenspeichern und müssen nicht jedes Mal überprüft werden, wenn das Paket installiert wird. Dies kann effektiv Verbesserung von Conda-forge und anderen größeren verbessern. Die Methode zur Installation von Mamba oder Micromamba lautet wie folgt:

 # 安装mamba
$ conda install -n base -c conda-forge mamba
# 安装micromamba
$ conda install -n base -c conda-forge micromamba

Dann können Sie den Befehl mamba oder micromamba anstelle des Conda -Befehls verwenden.

Erstellen Sie eine virtuelle Umgebung

 # 创建虚拟环境，指定 Python 版本为 3.11
(base) $ conda create -n transformers python=3.11
# 激活 openai 环境
$ conda activate transformers

Wenn es nachstehend keine besondere Beschreibung gibt, werden alle in der neu erstellten OpenAI -Umgebung hier durchgeführt.

Jupyter Lab

Jupyter Lab ist eine interaktive Entwicklungsumgebung, die in einem Browser ausgeführt werden kann. Es unterstützt eine Vielzahl von Programmiersprachen, darunter Python, R, Julia usw. Jupyter Lab wird von Conda-forge bereitgestellt. Bitte konfigurieren Sie zuerst das Bild und installieren Sie es dann mit dem folgenden Befehl:

(transformers) $ conda install jupyterlab

Umarme Gesichtstransformatoren

Sugging Face Transformers ist ein Toolkit für natürliche Sprachverarbeitung, das auf Pytorch und Tensorflow basiert, das eine große Anzahl vorgebildeter Modelle bietet, mit denen eine Vielzahl von NLP-Aufgaben ausgeführt werden können. Umarmende Gesichtstransformatoren können über Conda installiert werden:

(transformers) $ conda install -c huggingface transformers

Installationsdokumentation: Umarmende Gesichtstransformatoren

Tensorflow einbauen

Transformatoren müssen den Tensorflow für das tatsächliche Modellminimieren verwenden. Der folgende Befehl installiert die CPU- und GPU -Versionen von TensorFlow:

(transformers) $ pip install tensorflow

Wenn Sie einen Mac verwenden, können Sie das Metall-Plug-In für den M1/M2-Chip installieren und auch einige kleinere Modelle ausprobieren:

(transformers) $ pip install tensorflow-metal

Installationsdokumentation:

• Tensorflow
• Tensorflow-Metal

Pytorch installieren

Transformatoren müssen Pytorch für das tatsächliche Modellminimieren verwenden. Die verwendeten Pytorch- und Conda-Forge-Bildquellen wurden im vorherigen Schritt konfiguriert. Sie können den folgenden Befehl verwenden, um die Pytorch -Version zu installieren, die der CUDA -Version entspricht:

 # Linux
# CUDA 11.8
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia
# CUDA 12.1
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c nvidia

# Mac
(transformers) $ conda install pytorch::pytorch torchvision torchaudio

Installationsdokumentation: Pytorch

Installieren Sie andere Abhängigkeitspakete

Bei der Verarbeitung von Bildern, Audio- und anderen Daten müssen andere Abhängigkeiten verwendet werden, einschließlich:

• TQDM, E -Progress -Fortschrittsbalken
• FFMPEG, FFMPEG-Python-Audioverarbeitungstools
• Kissenbildverarbeitungswerkzeug

(transformers) $ conda install tqdm iprogress ffmpeg ffmpeg-python pillow

Ich wünsche Ihnen Fortschritte in Ihrem Studium