Llama3.1 FinetuningダウンロードLlama3.1 Finetuningソースコードダウンロード

Llama3.1 Finetuning

AI ソースコード

1.0.0

ダウンロード

llama3/3.1-finetuning

LLAMA3では、完全なパラメーターの微調整、Lora微調整、Qloraの微調整を実行します。さらに、QWEN1.5モデルの微調整もサポートされています。別のモデルに置き換えたい場合は、最も重要なことはデータを前処理することです。

ログを更新します

2023/07/28：baichuan2-7b-chatに微調整を追加します。
2024/07/24：llama3.1-8b-instructに微調整を追加しました。 transformers==4.43.1およびaccelerate==0.33.0 。
2024/07/22：
- glm-9b-chatに微調整を追加します。注：Modeling_chatglm.pyの791行をpadding_mask = padding_mask.to(torch.bfloat16)に置き換える必要があります。必要な変圧器バージョンは4.42.4です。 Packageを要件にインストールした後、トランスを再インストールする必要があります。
- QWEN1.5-7B-chatに微調整を追加しました。
- QWEN2-7B-Instructに微調整を追加します。
- Yi1.5-6b-chatに微調整を追加します。
2024/07/19：internlm2.5に微調整を追加しました。注：Internlm2.5はBF16を使用した微調整をサポートしていないため、FP16が実行コマンドで選択されます。
2024/10/04：QWEN2.5-7B-Instructに微調整を追加しました。 llama3.2-3b-instructに微調整を追加します。 pip install transformers --upgradeとpip install accelerate --upgrade 。

インストール依存関係

デバイスの実行：24gのグラフィックメモリを備えたグラフィックカードを使用するだけです。
python==3.8.8
pip install -r requirements.txt

データの準備

データはデータの下に保存されます。特定の形式は次のとおりです。

[
  {
    "conversations" : [
      {
        "from" : " user " ,
        "value" : "你是那个名字叫ChatGPT的模型吗？ "
      },
      {
        "from" : " assistant " ,
        "value" : "我的名字是西西嘛呦，并且是通过家里蹲公司的大数据平台进行训练的。 "
      }
	]
  }
  ...
]

上記の形式のデータを使用して、複数のラウンドの会話も準備されています。

モデルの準備

model_hubフォルダーを入力し、 python download_modelscope.pyを実行して、llama3-8b-instructモデルをダウンロードします。

細かい調整

スクリプトフォルダーを入力します。

完全なパラメーター微調整

機械の制限により、ここには完全なパラメーターの微調整はありません。条件がある場合は、試すことができます。

ロラ微調整

NPROC_PER_NODEおよびCUDA_VISIBLE_DEVICESで指定されたグラフィックカードの数は一貫している必要があります。

NCCL_P2P_DISABLE=1 
NCCL_IB_DISABLE=1 
CUDA_VISIBLE_DEVICES=0,1,2,4,5,6,7 
torchrun 
--nproc_per_node 7 
--nnodes 1 
--node_rank 0 
--master_addr localhost 
--master_port 6601 
../finetune_llama3.py 
--model_name_or_path " ../model_hub/LLM-Research/Meta-Llama-3-8B-Instruct/ " 
--data_path " ../data/Belle_sampled_qwen.json " 
--bf16 True 
--output_dir " ../output/llama3_8B_lora " 
--num_train_epochs 100 
--per_device_train_batch_size 1 
--per_device_eval_batch_size 1 
--gradient_accumulation_steps 8 
--evaluation_strategy " no " 
--save_strategy " steps " 
--save_steps 5 
--save_total_limit 1 
--learning_rate 1e-5 
--weight_decay 0.1 
--adam_beta2 0.95 
--warmup_ratio 0.01 
--lr_scheduler_type " cosine " 
--logging_steps 1 
--report_to " none " 
--model_max_length 4096 
--gradient_checkpointing True 
--lazy_preprocess True 
--deepspeed " ../config/ds_config_zero3_72B.json " 
--use_lora

qlora微調整

NPROC_PER_NODEおよびCUDA_VISIBLE_DEVICESで指定されたグラフィックカードの数は一貫している必要があります。 Qloraを使用して、単一の4090でトレーニングを完了します。

NCCL_P2P_DISABLE=1 
NCCL_IB_DISABLE=1 
CUDA_VISIBLE_DEVICES=0,1,2,4,5,6,7 
torchrun 
--nproc_per_node 7 
--nnodes 1 
--node_rank 0 
--master_addr localhost 
--master_port 6601 
../finetune_llama3.py 
--model_name_or_path " ../model_hub/LLM-Research/Meta-Llama-3-8B-Instruct/ " 
--data_path " ../data/Belle_sampled_qwen.json " 
--bf16 True 
--output_dir " ../output/llama3_8B_qlora " 
--num_train_epochs 100 
--per_device_train_batch_size 1 
--per_device_eval_batch_size 1 
--gradient_accumulation_steps 16 
--evaluation_strategy " no " 
--save_strategy " steps " 
--save_steps 5 
--save_total_limit 1 
--learning_rate 1e-5 
--weight_decay 0.1 
--adam_beta2 0.95 
--warmup_ratio 0.01 
--lr_scheduler_type " cosine " 
--logging_steps 1 
--report_to " none " 
--model_max_length 4096 
--gradient_checkpointing True 
--lazy_preprocess True 
--deepspeed " ../config/ds_config_zero2.json " 
--use_lora 
--load_in_4bit 
--q_lora

推論

llama3_single_predict.py：微調整前のモデルの推論を提供します。
llama3_lora_predict.py：ロラ調整ベースのモデルのマージをベースモデルに提供し、推論を実行します。
llama3_qlora_4bit_predict.py：Qloraベースの微調整モデルのマージを基本モデルに提供し、推論を実行します。
llama3_peft_qlora_predict.py：PEFTを使用して、推論のためにQloraアダプターをロードします。
llama3_peft_lora_predict.py：PEFTを使用して、LORAアダプターを推論するためにロードします。

トレーニング後の推論：

问题： 在互联网普及的时代，社交媒体已经成为了现代人生活中不可缺少的一部分。从微信、微博、 Facebook到Twitter 、 Instagram等等，社交媒体不仅满足了人们交流互动的需求，同时让人们更加容易地分享自己的生活瞬间、获取新闻资讯、找到志同道合的人群以及推广自己的业务。然而，与此同时，社交媒体也带来了一系列问题，如滥用个人信息、泄露隐私等。因此，如何正确地使用社交媒体已经成为了一个备受关注的话题。，总结上面这段文本的几个关键词

微调前结果： Arrrr , shiver me timbers ! Ye be wantin ' me to summarize the key words from that there text , eh ? Alright then , matey ! Here be the main points :

1. Social media ( the scourge o ' the seven seas ... er , I mean , the modern world )
2. Communication ( the lifeblood o ' the pirate' s existence ... er , I mean , the need for people to interact )
3. Sharing ( the treasure o ' the digital age... er, I mean, the ability to share one' s life moments )
4. Information ( the booty o ' the internet ... er , I mean , the news and knowledge shared online )
5. Privacy ( the anchor o ' security... er, I mean, the need to protect one' s personal info )
6. Correct usage ( the map to avoidin ' the rocky shores o' social media misuse ... er , I mean , the importance of using social media responsibly )

So hoist the colors , me hearties , and remember to use social media like a proper pirate : with caution , respect , and a keen eye for treasure !

微调后结果： 社交媒体、交流、分享、隐私、滥用信息