fine tunning
1.0.0
대형 언어 모델에 대한 빠른 소개 (이론 학습 및 미세 조정 실습)
Python Dependency 패키지 설치에는 requirements.txt 을 사용하십시오.
pip install -r requirements.txt일반적으로 GPU 드라이버 및 CUDA 버전은 설치된 버전의 Pytorch 및 Tensorflow를 충족해야합니다.
새로 출시 된 대부분의 대형 언어 모델은 최신 Pytorch v2.0+ 버전을 사용합니다. Pytorch는 공식적으로 11.8이고 일치하는 GPU 드라이버 버전을 공식적으로 생각합니다. 자세한 내용은 Pytorch가 제공 한 CUDA 최소 버전 요청 응답을 참조하십시오.
요컨대, 현재 최신 CUDA 12.3 버전을 직접 설치하는 것이 좋습니다. 자세한 내용은 공식 NVIDIA 설치 패키지를 참조하십시오.
설치가 완료되면 nvidia-smi 지시문을 사용하여 버전을보십시오.
nvidia-smiFri Mar 1 11:16:55 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 529.08 Driver Version: 529.08 CUDA Version: 12.0 |
| -------------------------------+----------------------+----------------------+
| GPU Name TCC/WDDM | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
| ===============================+======================+====================== |
| 0 NVIDIA GeForce ... WDDM | 00000000:01:00.0 Off | N/A |
| N/A 45C P8 6W / 30W | 0MiB / 4096MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
| ============================================================================= |
+-----------------------------------------------------------------------------+OpenAI API를 사용하려면 OpenAI 콘솔에서 API 키를 가져와야합니다. 키가 있으면 환경 변수로 설정할 수 있습니다.
Ubuntu 또는 MacOS와 같은 UNIX 기반 시스템의 경우 터미널에서 다음 명령을 실행할 수 있습니다.
export OPENAI_API_KEY= '你的-api-key 'Windows의 경우 명령 프롬프트에서 다음 명령을 사용할 수 있습니다.
set OPENAI_API_KEY=你的-api-key요구 사항에 대해 상황에 따라 다운로드 할 수 있습니다.
pip install -r requirements.txt개발 환경 구성에는 여러 부분이 포함됩니다
Miniconda는 여러 파이썬 환경을 생성하고 관리하는 데 사용할 수있는 파이썬 환경 관리 도구입니다. Anaconda에 대한 가벼운 대안이며 IDE 도구는 포함되지 않습니다. Miniconda는 공식 웹 사이트에서 설치 패키지를 다운로드 할 수 있습니다. Mirror 웹 사이트에서 다운로드 할 수도 있습니다.
# 下载 Miniconda 安装包
$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 也可以使用curl命令下载
$ curl -O https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 Miniconda
$ bash Miniconda3-latest-Linux-x86_64.sh설치 프로세스 중에는 설치 경로, 환경 변수에 미니콘다를 추가 할 것인지 등의 일부 질문에 답변해야합니다. 설치가 완료된 후에는 환경 변수를 발효 시키려면 터미널을 다시 시작해야합니다.
다음 명령을 사용하여 Miniconda가 성공적으로 설치되어 있는지 확인할 수 있습니다.
$ conda --versionMiniconda 구성 파일은 ~/.condarc에 저장됩니다. 문서를 참조하여 수동으로 수정하거나 Conda Config 명령을 사용하여 수정할 수 있습니다.
# 配置清华镜像
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
$ conda config --set show_channel_urls yes
# 查看~/.condarc配置
$ conda config --show-sources
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: True # 安装mamba
$ conda install -n base -c conda-forge mamba
# 安装micromamba
$ conda install -n base -c conda-forge micromamba그런 다음 Conda 명령 대신 Mamba 또는 Micromamba 명령을 사용할 수 있습니다.
# 创建虚拟环境，指定 Python 版本为 3.11
(base) $ conda create -n transformers python=3.11
# 激活 openai 环境
$ conda activate transformers아래에 특별한 설명이 없다면 여기에서 새로 만든 OpenAi 환경에서 모두 수행됩니다.
Jupyter Lab은 브라우저에서 실행할 수있는 대화식 개발 환경입니다. Python, R, Julia 등을 포함한 다양한 프로그래밍 언어를 지원합니다. Jupyter Lab은 Conda-Forge가 제공합니다. 먼저 이미지를 구성한 다음 다음 명령을 사용하여 설치하십시오.
(transformers) $ conda install jupyterlabHugging Face Transformers는 Pytorch 및 Tensorflow를 기반으로하는 자연어 처리 툴킷으로 다양한 NLP 작업을 완료하는 데 사용할 수있는 수많은 미리 훈련 된 모델을 제공합니다. 포옹 페이스 트랜스포머는 콘다를 통해 설치할 수 있습니다.
(transformers) $ conda install -c huggingface transformers설치 문서 : 포옹 얼굴 변압기
트랜스포머는 실제 모델 추론에 텐서 플로를 사용해야합니다. 다음 명령은 TensorFlow의 CPU 및 GPU 버전을 설치합니다.
(transformers) $ pip install tensorflowMac을 사용하는 경우 M1/M2 칩에 금속 플러그인을 설치할 수 있으며 소규모 모델을 시도 할 수도 있습니다.
(transformers) $ pip install tensorflow-metal설치 문서 :
변압기는 실제 모델 추론을 위해 Pytorch를 사용해야합니다. 사용 된 Pytorch 및 Conda-Forge 이미지 소스는 이전 단계에서 구성되었습니다. 다음 명령을 사용하여 Cuda 버전에 해당하는 Pytorch 버전을 설치할 수 있습니다.
# Linux
# CUDA 11.8
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia
# CUDA 12.1
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c nvidia
# Mac
(transformers) $ conda install pytorch::pytorch torchvision torchaudio설치 문서 : Pytorch
이미지, 오디오 및 기타 데이터를 처리 할 때는 다음을 포함하여 다른 종속성을 사용해야합니다.
(transformers) $ conda install tqdm iprogress ffmpeg ffmpeg-python pillow학업 진보를 기원합니다
