fine tunning
1.0.0
大規模な言語モデルの簡単な紹介（理論的学習と微調整の実践）
python依存関係パッケージのインストールには、 requirements.txtファイルを使用してください。
pip install -r requirements.txt一般的に、GPUドライバーとCUDAバージョンは、PytorchとTensorflowのインストールバージョンを満たすために必要です。
新しくリリースされた大規模な言語モデルのほとんどは、新しいPytorch v2.0+バージョンを使用しています。これは、Pytorchが正式に11.8であり、GPUドライバーバージョンと一致していると考えています。詳細については、Pytorchが提供するCUDA最小バージョンの要求された返信を参照してください。
要するに、現在の最新のCUDA 12.3バージョンを直接インストールすることをお勧めします。詳細については、公式NVIDIAインストールパッケージを参照してください。
インストールが完了したら、 nvidia-smi指令を使用してバージョンを表示します。
nvidia-smiFri Mar 1 11:16:55 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 529.08 Driver Version: 529.08 CUDA Version: 12.0 |
| -------------------------------+----------------------+----------------------+
| GPU Name TCC/WDDM | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
| ===============================+======================+====================== |
| 0 NVIDIA GeForce ... WDDM | 00000000:01:00.0 Off | N/A |
| N/A 45C P8 6W / 30W | 0MiB / 4096MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
| ============================================================================= |
+-----------------------------------------------------------------------------+Openai APIを使用するには、OpenaiコンソールからAPIキーを取得する必要があります。キーができたら、環境変数として設定できます。
UbuntuやMacOSなどのUNIXベースのシステムの場合、ターミナルで次のコマンドを実行できます。
export OPENAI_API_KEY= '你的-api-key 'Windowsの場合、コマンドプロンプトで次のコマンドを使用できます。
set OPENAI_API_KEY=你的-api-key要件については、状況に応じてダウンロードできます
pip install -r requirements.txt開発環境構造にはいくつかの部品が含まれています
Minicondaは、複数のPython環境の作成と管理に使用できるPython環境管理ツールです。これは、アナコンダの軽量な代替品であり、IDEツールは含まれていません。 Minicondaは、公式Webサイトからインストールパッケージをダウンロードできます。ミラーWebサイトからダウンロードすることもできます。
# 下载 Miniconda 安装包
$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 也可以使用curl命令下载
$ curl -O https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 Miniconda
$ bash Miniconda3-latest-Linux-x86_64.shインストールプロセス中に、インストールパスなど、環境変数にミニコンダを追加するなど、いくつかの質問に答える必要があります。インストールが完了した後、環境変数を有効にするには端末を再起動する必要があります。
次のコマンドを使用して、ミニコンダが正常にインストールされていることを確認できます。
$ conda --versionミニコンダ構成ファイルは〜/.condarcに保存されます。ドキュメントを参照して手動で変更するか、Conda Configコマンドを使用してそれらを変更することもできます。
# 配置清华镜像
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
$ conda config --set show_channel_urls yes
# 查看~/.condarc配置
$ conda config --show-sources
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: True # 安装mamba
$ conda install -n base -c conda-forge mamba
# 安装micromamba
$ conda install -n base -c conda-forge micromambaその後、Condaコマンドの代わりにMambaまたはMicromambaコマンドを使用できます。
# 创建虚拟环境，指定 Python 版本为 3.11
(base) $ conda create -n transformers python=3.11
# 激活 openai 环境
$ conda activate transformers以下に特別な説明がない場合、それらはすべてここで新しく作成されたOpenai環境で実行されます。
Jupyter Labは、ブラウザで実行できるインタラクティブな開発環境です。 Python、R、Juliaなど、さまざまなプログラミング言語をサポートしています。JupyterLabはConda-Forgeによって提供されています。最初に画像を構成してから、次のコマンドを使用してインストールしてください。
(transformers) $ conda install jupyterlabハギングフェイストランスは、PytorchとTensorflowに基づいた自然言語処理ツールキットであり、さまざまなNLPタスクを完了するために使用できる多数の事前に訓練されたモデルを提供します。抱きしめるフェイストランスはコンドラ経由で設置できます。
(transformers) $ conda install -c huggingface transformersインストールドキュメント：フェイストランスを抱き締める
トランスは、実際のモデルの推論にTensorflowを使用する必要があります。次のコマンドは、TensorflowのCPUおよびGPUバージョンをインストールします。
(transformers) $ pip install tensorflowMACを使用している場合は、M1/M2チップ用にMetal Pluginをインストールできます。また、小さなモデルを試すこともできます。
(transformers) $ pip install tensorflow-metalインストールドキュメント：
トランスは、実際のモデルの推論にPytorchを使用する必要があります。使用されたPytorchとConda-Forgeの画像ソースは、前のステップで構成されています。次のコマンドを使用して、CUDAバージョンに対応するPytorchバージョンをインストールできます。
# Linux
# CUDA 11.8
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia
# CUDA 12.1
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c nvidia
# Mac
(transformers) $ conda install pytorch::pytorch torchvision torchaudioインストールドキュメント：Pytorch
画像、オーディオ、その他のデータを処理する場合、以下を含むその他の依存関係を使用する必要があります。
(transformers) $ conda install tqdm iprogress ffmpeg ffmpeg-python pillowあなたがあなたの勉強の進歩を願っています
