fine tunning

Fine-tunning

Dari penyebaran model hingga penyesuaian model, proyek ini adalah studi kamp pelatihan yang dikombinasikan dengan proyek kamp pelatihan, pemahaman diri, pencernaan dan ringkasan, dan aplikasi inovatif. Xiaobai dapat membintangi/garpu

Pengantar Cepat untuk Model Bahasa Besar (Pembelajaran Teoritis dan Praktik Menyetranya)

Membangun lingkungan pengembangan

• Python v3.10+
• Miniconda Manajemen Lingkungan Python
• Python Interactive Development Environment Jupyter Lab
• Memeluk transformator wajah
• Audio Processing Toolkit FFMPEG

Instal Paket Ketergantungan Python

Harap gunakan file requirements.txt untuk instalasi paket ketergantungan python:

pip install -r requirements.txt

Tentang pengemudi GPU dan versi CUDA

Secara umum, pengemudi GPU dan versi CUDA diharuskan untuk memenuhi versi Pytorch dan TensorFlow yang terpasang.

Sebagian besar model bahasa besar yang baru dirilis menggunakan versi Pytorch v2.0+ yang lebih baru, yang diyakini Pytorch secara resmi adalah 11,8 dan versi driver GPU yang cocok. Untuk detailnya, silakan merujuk ke versi minimum CUDA yang diminta balasan yang disediakan oleh Pytorch.

Singkatnya, disarankan untuk menginstal versi CUDA 12.3 terbaru saat ini. Untuk detailnya, silakan merujuk ke paket instalasi resmi NVIDIA.

Setelah instalasi selesai, gunakan nvidia-smi Directive untuk melihat versi:

nvidia-smi

Fri Mar  1 11:16:55 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 529.08       Driver Version: 529.08       CUDA Version: 12.0     |
| -------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
| ===============================+======================+====================== |
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A   45C    P8     6W /  30W |      0MiB /  4096MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
| ============================================================================= |
+-----------------------------------------------------------------------------+

Untuk menggunakan API OpenAI, Anda perlu mendapatkan kunci API dari konsol OpenAI. Setelah Anda memiliki kunci, Anda dapat mengaturnya sebagai variabel lingkungan:

Untuk sistem berbasis UNIX seperti Ubuntu atau MacOS, Anda dapat menjalankan perintah berikut di terminal:

 export OPENAI_API_KEY= '你的-api-key '

Untuk Windows, Anda dapat menggunakan perintah berikut di prompt perintah:

 set OPENAI_API_KEY=你的-api-key

Tentang persyaratan, Anda dapat mengunduhnya sesuai dengan situasinya

pip install -r requirements.txt

Transformers Pembangunan Lingkungan Konstruksi

memperkenalkan

Konstruksi lingkungan pengembangan mencakup beberapa bagian

• Miniconda
• Jupyter Lab
• Memeluk transformator wajah, ketika Anda perlu mencoba beberapa model, disarankan untuk menginstal TensorFlow dan Pytorch.
• Paket ketergantungan lainnya

Miniconda

Miniconda adalah alat manajemen lingkungan Python yang dapat digunakan untuk membuat dan mengelola beberapa lingkungan Python. Ini adalah alternatif yang ringan untuk Anaconda dan tidak termasuk alat IDE. Miniconda dapat mengunduh paket instalasi dari situs web resmi. Anda juga dapat mengunduhnya dari situs web Mirror:

Pemasangan lingkungan miniconda

 # 下载 Miniconda 安装包
$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 也可以使用curl命令下载
$ curl -O https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 Miniconda
$ bash Miniconda3-latest-Linux-x86_64.sh

Selama proses instalasi, beberapa pertanyaan perlu dijawab, seperti jalur instalasi, apakah akan menambahkan miniconda ke variabel lingkungan, dll. Setelah instalasi selesai, terminal perlu dimulai ulang untuk membuat variabel lingkungan berlaku.

Anda dapat menggunakan perintah berikut untuk memverifikasi bahwa miniconda berhasil diinstal:

$ conda --version

Konfigurasikan miniconda

File konfigurasi miniconda disimpan di ~/.condarc. Anda dapat memodifikasinya secara manual dengan merujuk pada dokumen, atau Anda dapat menggunakan perintah CONDA Config untuk memodifikasinya.

1. Untuk mempercepat unduhan paket, Anda dapat mengonfigurasi dan menggunakan sumber cermin domestik:

 # 配置清华镜像
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
$ conda config --set show_channel_urls yes
# 查看~/.condarc配置
$ conda config --show-sources
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: True

2. Untuk mempercepat pengunduhan paket Anaconda, Anda dapat menggunakan Mamba atau Micromamba, bukan Conda. Kedua alat ini adalah pengganti Conda dan akan menyimpan informasi versi paket dan tidak perlu diperiksa setiap kali paket diinstal. Ini dapat secara efektif meningkatkan conda-forge dan yang lebih besar lainnya. Metode untuk menginstal mamba atau micromamba adalah sebagai berikut:

 # 安装mamba
$ conda install -n base -c conda-forge mamba
# 安装micromamba
$ conda install -n base -c conda-forge micromamba

Kemudian Anda dapat menggunakan perintah mamba atau micromamba alih -alih perintah conda.

Buat lingkungan virtual

 # 创建虚拟环境，指定 Python 版本为 3.11
(base) $ conda create -n transformers python=3.11
# 激活 openai 环境
$ conda activate transformers

Jika tidak ada deskripsi khusus di bawah ini, semuanya akan dilakukan di lingkungan Openai yang baru dibuat di sini.

Jupyter Lab

Jupyter Lab adalah lingkungan pengembangan interaktif yang dapat berjalan di browser. Ini mendukung berbagai bahasa pemrograman, termasuk Python, R, Julia, dll. Jupyter Lab disediakan oleh Conda-Forge. Harap konfigurasikan gambar terlebih dahulu dan kemudian instal menggunakan perintah berikut:

(transformers) $ conda install jupyterlab

Memeluk transformator wajah

Memeluk Face Transformers adalah toolkit pemrosesan bahasa alami berdasarkan Pytorch dan TensorFlow, yang menyediakan sejumlah besar model pra-terlatih yang dapat digunakan untuk menyelesaikan berbagai tugas NLP. Memeluk transformator wajah dapat dipasang melalui conda:

(transformers) $ conda install -c huggingface transformers

Dokumentasi Instalasi: memeluk transformator wajah

Instal TensorFlow

Transformers perlu menggunakan TensorFlow untuk penalaran model yang sebenarnya. Perintah berikut menginstal versi CPU dan GPU dari TensorFlow:

(transformers) $ pip install tensorflow

Jika Anda menggunakan Mac, Anda dapat memasang plug-in logam untuk chip M1/M2, dan Anda juga dapat mencoba beberapa model yang lebih kecil:

(transformers) $ pip install tensorflow-metal

Dokumentasi Instalasi:

• Tensorflow
• Tensorflow-Metal

Instal Pytorch

Transformers perlu menggunakan pytorch untuk penalaran model yang sebenarnya. Sumber gambar Pytorch dan Conda-Forge yang digunakan telah dikonfigurasi pada langkah sebelumnya. Anda dapat menggunakan perintah berikut untuk menginstal versi Pytorch yang sesuai dengan versi CUDA:

 # Linux
# CUDA 11.8
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia
# CUDA 12.1
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c nvidia

# Mac
(transformers) $ conda install pytorch::pytorch torchvision torchaudio

Dokumentasi Instalasi: Pytorch

Instal Paket Ketergantungan Lainnya

Saat memproses gambar, audio dan data lainnya, dependensi lain perlu digunakan, termasuk:

• TQDM, Eprogress Progress Bar
• FFMPEG, Alat Pemrosesan Audio FFMPEG-Python
• Alat Pemrosesan Gambar Bantal

(transformers) $ conda install tqdm iprogress ffmpeg ffmpeg-python pillow

Semoga Anda maju dalam studi Anda