Finetune_LLMs
1.0.0
このレポは、有名な引用データセットで大規模な言語モデル（LLMS）を微調整するコードが含まれています。
微調整のサポートされている方法は、ディープスピード、ロラ、またはクロラです。
もともと、リポジトリは、GPTJのモデル重量をダウンロードして変換しました。そのコードは、Branch original_youtubeの下でまだ見ることができます。
/quotes_datasetには、微調整のために適切にフォーマットされたデータセットが含まれています。このデータセットの作成については、こちらをご覧ください
/finetuning_repo元々レポからコードを含んでいます。これは、より多くのモデルとより多くの方法で作業するように変更したことです。
有給の専門家の助けが必要な場合、それはこのメールで入手できます
ビデオチュートリアルについては、元のレポコードの古いビデオをご覧ください。
Huggingfaceモデルを使用するためのより更新されたビデオはこちらで見ることができます
original_youtubeブランチにアクセスしてくださいコードを見たいのですが、もっと最新の方法を使用することを強くお勧めします
更新されたウォークスルーは、Nvidia-Dockerを使用して、プロセスの大部分から頭痛を取り除きます。
64ビットLinuxシステムがあり、A100のドライバーが必要な場合は、このようなコマンドを実行してセットアップできます。
wget https://us.download.nvidia.com/tesla/515.86.01/NVIDIA-Linux-x86_64-515.86.01.run
その後、Sudoでダウンロードされたプログラムを実行します。
chmod 777 NVIDIA-Linux-x86_64-515.86.01.run
sudo ./NVIDIA-Linux-x86_64-515.86.01.run
build_image.shを実行してDocker画像を作成します。 Docker画像を見つけられないというエラーが発生した場合は、新しいCUDAバージョンに更新してください。画像は定期的に非推奨です。次に、PRを開き、他の人のためにこの問題を修正できるようにします。 Docker画像を構築するには、数分かかることがあります。run_image.shを実行します。このスクリプトは、構築されたばかりのDocker画像を実行し、現在のディレクトリをDockerコンテナ内の/workspaceにマウントします。システム内のすべてのGPUが通過します。さらに、このコンテナが実行されるたびにダウンロードモデルを防ぐために、 .cacheも通過します。
