Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

Fitur

Menyediakan 3 fungsi utama:

  • Model LLM Pra-pelatihan: Mendukung pra-pelatihan model umum, termasuk: struktur dekoder (LLAMA, GPT), Struktur Encoder (GLM)
  • Evaluasi Model LLM: Lihat model seperti GPT, berdasarkan implementasi Zeroshot dan Sewshot
  • Pipa Pelatihan Model ChatGPT: Menurut pembelajaran untuk meringkas dari umpan balik manusia, tiga proses utama diimplementasikan: SFT, Model Hadiah dan RLHF
    • Dukungan Fase RLHF (1) Optimalisasi Bersama Hadiah dan Kebijakan (2) Optimalisasi Kebijakan dan Hadiah Membekukan Terpisah
    • Dukung DPO sebagai alternatif untuk hadiah+RLHF, yang secara signifikan dapat mengurangi penggunaan memori saat mencapai efek RL

Pengaturan

1. Instal Deepspeed 

git clone https://github.com/microsoft/DeepSpeed.git
cd deepspeed
rm -rf build
TORCH_CUDA_ARCH_LIST= " 7.0 " DS_BUILD_OPS=1 pip install -e . --global-option= " build_ext " --global-option= " -j8 " --no-cache -v --disable-pip-version-check 2>&1 | tee build.log

Jika Anda ingin membuat roda biner yang nyaman untuk pemasangan pada mesin lain, Anda dapat menggunakan perintah berikut, yang akan menghasilkan file yang dapat diinstal deepspeed-0.3.13+8cd046f-cp38-cp38-linux_x86_64.whl di dist . 

git clone https://github.com/microsoft/DeepSpeed.git
cd deepspeed
rm -rf build
TORCH_CUDA_ARCH_LIST= " 7.0 " DS_BUILD_OPS=1 python setup.py build_ext -j8 bdist_wheel 2>&1 | tee build.log

PS : Menurut gambar di bawah ini, TORCH_CUDA_ARCH_LIST="7.0" perlu disesuaikan dengan arsitektur GPU NVIDIA yang sesuai. image info

Atau jalankan torch.cuda.get_device_capability() untuk mendapatkan arsitektur GPU Anda sendiri

2. Instal Jieba

Saat menggunakan model kelas pangu, format khusus_tokennya adalah <sep> , <pad> , dll., Dan fungsi tokenize() di tokenization_gptpangu.py akan menggunakan jieba untuk segmentasi kata. Tetapi langsung pip install jieba akan secara langsung > < secara default. Menggunakan jieba.add_word("<sep>") tidak berpengaruh, karena jieba secara langsung menggunakan token yang akan secara otomatis dibagi, termasuk < >

Oleh karena itu, perlu dieksekusi: 

git clone https://github.com/fxsjy/jieba.git
cd jieba

Klonasi kode secara lokal dan ubah nilai re_han_default di jieba/__init__.py Perubahan spesifiknya adalah sebagai berikut:

  • Sebelum perubahan: 
 re_han_default = re . compile ( "([ u4E00 - u9FD5 a-zA-Z0-9+#&._%-]+)" , re . U )
  • Setelah modifikasi: 
 re_han_default = re . compile ( "([ u4E00 - u9FD5 a-zA-Z0-9+#&._%-<>]+)" , re . U )

Setelah modifikasi selesai, gunakan pip install . Untuk kompilasi dan instalasi lokal, dan ganti jieba asli. Setelah instalasi selesai, tambahkan jieba.add_word("<sep>") Ke kode (kode telah ditambahkan tokenisasi_gptpangu.py) untuk menyelesaikan masalah pemisahan token khusus <sep> menjadi beberapa ID.

3. Instal Apex (Opsional) 

git clone https://github.com/NVIDIA/apex
cd apex
pip install --global-option= " --cpp_ext " --global-option= " --cuda_ext " --no-cache -v --disable-pip-version-check .  2>&1 | tee build.log

Jika Anda ingin membuat roda biner yang nyaman untuk instalasi pada mesin lain, Anda dapat menggunakan perintah berikut, yang akan menghasilkan file yang dapat diinstal apex-0.0.1+7150e20-cp38-cp38-linux_x86_64.whl di dist Dist. 

git clone https://github.com/NVIDIA/apex
cd apex
python setup.py --cpp_ext --cuda_ext bdist_wheel 2>&1 | tee build.log

Unduh Data & Model

1. Unduh model pra-terlatih

Model ukuran alamat pelukan Alamat disk jaringan baidu Kode Ekstrak
Pangu-350m 659MB Sunzeyeah/Pangu-350m Pangu-350m C5JJ
Pangu-2.6b 9.8GB Sunzeyeah/pangu-2_6b Pangu-2.6b 2rad
Pangu-13b 23.6GB Sunzeyeah/Pangu-13b Pangu-13b u3dx
GLM-350M-Cina 679MB Sunzeyeah/GLM-350M-Chinese GLM-350M-Cina ii8e
GLM-10B-Cina 18.4g Sunzeyeah/GLM-10B-Chinese GLM-10B-Cina fynj
Chatglm-6b 25.6g SUNZEYEAH/CHATGLM-6B Chatglm-6b uq1k

PS : Model pra-terlatih yang disediakan oleh repo ini sedang mengunduh.

  • Untuk pytorch_model*.bin
    • Jika file sumber telah dimasukkan, tidak ada perubahan yang akan dilakukan
    • Jika file sumber tidak memasukkannya, itu dikonversi ke pytorch_model*.bin sesuai dengan pos pemeriksaan yang disediakannya.
  • File yang tersisa mungkin memiliki perubahan relatif terhadap file asli, termasuk: pemodelan _*. Py, tokenisasi _*. Py, konfigurasi _*. Py, config.json dan tokenizer.config

2. Unduh Data

Dataset ukuran alamat pelukan Alamat disk jaringan baidu Kode Ekstrak
Petunjuk Benchmark 500MB Petunjuk Benchmark m6gt
SFT & Hadiah Data 5GB Sunzeyeah/China_Chatgpt_corpus SFT & Hadiah Data ECYC
Ensiklopedi 652MB BAike_QA_2019 7Jad
Tahu tanya jawab 847MB Zhidao neds
bait 221MB bait 54ey
Teks kuno 125MB Klasik & Modern A4CR
Puisi kuno 87MB puisi Cina 5zzj
Komentar Berita Weibo 522MB Komentar Ringkasan Weibo W0G1

PS : SFT & Hadiah Data didasarkan pada ensiklopedia, pengetahuan, bait, teks kuno, puisi kuno, dan data komentar weibo berita, dan dapat langsung digunakan untuk pelatihan tahap SFT dan hadiah. Lihat data_prepare.py untuk detailnya

Penggunaan

1. LLM model pra-pelatihan

Pra-terlatih secara bertahap untuk Open Source LLM, berdasarkan implementasi kecepatan. Saat ini mendukung arsitektur model 2-kelas:

  • Struktur Decoder: Llama, Baichuan, Pangu
  • Struktur Encoder: GLM, Chatglm 
 cd examples
bash pretrain.sh

2. Evaluasi Model LLM

Ulasan Open Source Chinese LLMS untuk Zeroshot, OneShot atau Sewshot. Lihat eval_pretrain.py dan data.py untuk detailnya.

Tugas evaluasi yang didukung saat ini:

  • C-eval
  • Mmlu
  • Cluebenchmark: Metode Evaluasi dan Referensi Templat Propt Paper Pangu-Alpha

Model open source yang saat ini didukung:

  • Llama dan model turunan terkait
  • Chatglm (1 dan 2)
  • Baichuan
  • Qwen
  • Pangu
  • Glm 
 cd examples
bash eval_pretrain.sh

3. Sft

Pelatihan SFT Menggunakan Open Source LLM + SFT & Data Hadiah 

 cd examples
bash train_sft.sh

4. Model Hadiah

Pelatihan Model Hadiah Menggunakan SFT Model + SFT & Hadiah Data 

 cd examples
bash train_reward.sh

5. Rlhf

Menggunakan algoritma PPO dan model hadiah, model SFT selanjutnya diperbarui. Diimplementasikan berdasarkan kerangka open source deepspeedchat 

 cd examples
bash train_rlhf.sh

6. DPO

Menggunakan algoritma DPO untuk menggantikan pipa hadiah+RLHF, menghilangkan pelatihan model hadiah dan mencapai efek pelatihan RL, metode ini dapat secara signifikan mengurangi penggunaan memori. Diimplementasikan berdasarkan kerangka kerja open source TRL 

 cd examples
bash train_dpo.sh

Hasil

1. Evaluasi Model LLM

Hasil C-Eval 5-Shot Test Set (Tes)
Model Rata -rata Rata -rata (keras) TANGKAI Ilmu Sosial Sastra Lainnya
Baichuan2-13b-CHAT 56.30 34.20 48.20 70.00 60.50 54.20
xverse-13b 55.30 32.50 45.90 66.70 59.50 57.60
QWEN-7B-CHAT 54.70 35.40 47.90 68.30 58.70 50.00
BAICHUAN-13B-BASE 53.70 35.60 46.80 65.80 58.00 50.80
Baichuan2-7B-CHAT 52.50 33.80 45.70 64.20 56.60 50.20
Chatglm2-6b 51.20 33.40 46.90 63.00 51.60 47.70
Baichuan-13b-chat 47.90 31.50 41.40 56.80 53.00 46.50
Baichuan-7b 44.20 31.70 39.20 53.30 47.30 41.90
Ziya-llama-13b-v1.1 40.10 30.30 35.80 47.30 42.80 38.50
Chatglm1.1-6b 38.10 28.60 33.60 46.70 40.90 35.70
ATOMGPT-13B-56K 37.60 25.30 32.00 44.70 42.80 36.10
Llama2-13b-chat 37.10 29.30 34.60 43.60 35.90 37.00
Chatglm-6b 36.30 27.20 32.90 42.80 38.10 34.90
Llama-30b 35.90 29.90 34.40 42.40 33.30 35.60
Llama2-7b-chat 33.50 27.30 31.60 38.10 33.80 32.70
Ziya-llama-13b-pretrain-v1 31.10 22.20 27.40 36.50 33.80 30.40
Llama-13b 29.8 24.20 28.40 33.70 29.60 29.00
Llama-7b 26.80 26.70 26.20 27.60 25.70 28.10
Hasil MMLU 5-Shot Test Set (Tes)
Model Rata -rata TANGKAI Ilmu Sosial Sastra Lainnya
Baichuan2-13b-CHAT 56.90 47.28 66.23 52.90 63.50
Llama-30b 56.33 44.68 65.64 54.60 61.57
xverse-13b 55.24 45.60 64.51 50.32 63.27
QWEN-7B-CHAT 54.13 41.76 63.43 50.81 62.50
Llama2-13b-chat 53.98 44.52 63.40 49.37 61.21
BAICHUAN-13B-BASE 53.46 43.86 63.14 49.73 59.28
Baichuan2-7B-CHAT 53.11 43.51 62.26 49.58 59.12
Baichuan-13b-chat 51.12 41.61 59.11 47.52 58.31
Ziya-llama-13b-v1.1 51.06 41.89 57.71 49.22 56.54
Llama2-7b-chat 48.10 39.64 56.28 43.61 55.39
Llama-13b 46.51 37.23 52.71 44.35 53.04
Chatglm2-6b 45.83 38.75 52.06 43.20 50.82
ATOMGPT-13B-56K 42.75 36.02 49.04 38.80 49.30
Baichuan-7b 41.96 36.63 47.77 37.55 48.31
Ziya-llama-13b-pretrain-v1 41.61 33.61 46.01 39.85 48.05
Chatglm1.1-6b 40.07 32.95 44.55 39.23 44.12
Chatglm-6b 37.87 32.41 43.80 35.60 41.00
Llama-7b 28.53 26.10 28.76 28.52 24.81
Hasil Verifikasi Cluebenchmark (dev.json)
Dataset Metode Metrik Jenis tugas Zero-shot Beberapa shot
GLM-350M-Cina Pangu-350m Pangu-2.6b GLM-10B-Cina Pangu-13b GLM-350M-Cina Pangu-350m Pangu-2.6b GLM-10B-Cina Pangu-13b
Ocnli Ppl ACC Nli 0.3074 0.3369 0.3061 0.3288 0.3301 0.3298 0.3352 0.3216
Cmnli Ppl ACC Nli 0.3279 0.3302 0.3310 0.3338 0.3358 0.3356 0.3328 0.3300
Chid Ppl ACC Cloze (multi-choices) 0,0734 0,0916 0,0670 0.1016 0.1018 0,0979 0.1007 0,0996
CMRC2018 Generasi f1 MRC 0,093 0,0979 0.1007 0.1392 0,021 0,09345 0,097 0.1007
Cluewsc2020 Ppl ACC WSC 0.4934 0.5328 0,5592 0.5131 0.4671 0.5526 0.4473 0.4671
C3 Ppl ACC Penalaran akal sehat 0.2360 0.2426 0.2418 0.2573 0.2567 0.2476 0.2559 0.2515
AFQMC Ppl ACC Klasifikasi Teks 0.6306 0.4582 0.4914 0.4960 0,5000 0.4872 0.4993 0.5018
CSL Ppl ACC Klasifikasi Teks 0.4943 0.4913 0.4666 0.5126 0.4996 0,5140 0.5036 0.4973
Iflytek Ppl ACC Klasifikasi Teks 0.1292 0.3058 0.265 0.2620 0.2408 0.2539 0.2535 0.2524
Tnews Ppl ACC Klasifikasi Teks 0.1582 0.2022 0.2449 0.2489 0.2527 0.2555 0.2466 0.2494

2. Sft

Parameter pelatihan model:

Model Jumlah parameter pelatihan Volume Data Ukuran batch Panjang urutan perangkat keras Penggunaan memori video kecepatan Jam per zaman
GLM-350M-Cina 355m 5.4m 4 512 V100 16G 13g 3.7 s/iter 88H
Pangu-350m 345m 5.4m 48 512 A100 80G 78g 1.91 s/iter 27.5H
Pangu-2.6b 2.6b 5.4m 8 512 A100 80G 79.4g 9.61 s/iter 116H

Unduh SFT Model:

Model pra-terlatih Dataset SFT ukuran alamat pelukan Alamat disk jaringan baidu Kode Ekstrak
Pangu-350m SFT & Hadiah Data 1.3GB Sunzeyeah/Pangu-350m-SFT Pangu-350m-SFT 0F8J
Pangu-2.6b SFT & Hadiah Data 9.8GB Sunzeyeah/pangu-2_6b-sft Pangu-2.6b-sft R13W
Pangu-2.6b-SFT Contoh Generasi 
 # 生成参数
max_length = 512
max_length_generation = 100
top_k = 10
temperature = 0.8
do_sample=True

 [Input] 我不能确定对方是不是喜欢我,我却想分分秒秒跟他在一起,有谁能告诉我如何能想他少一点<sep>回答:
[Generated] 你爱他就多关心他,少在他面前表现出你的脆弱。这样他才更会爱你。


[Input] 一次次买彩,一次次倾听那比分,一次次兴奋,一次次失落,一次次无归而返!最终还是任8~~~~<sep>回答:
[Generated] 我也是这样,买彩的时间也不长,但是每次都是这样。。。。。。。

[Input] 现代文:太祖很高兴地说:凭着这样的部下去作战,还担心不能取胜么?<sep>古文:
[Generated] 太祖悦曰:此自是以去,何忧不胜?

[Input] 现代文:十一年秋,丞相伯颜与阿术会师襄阳,遣阿剌罕率诸翼军攻郢、复诸州,十月夺取郢州之南门堡。<sep>古文:
[Generated] 十一年秋,丞相伯颜与阿术会师襄阳,遣阿剌罕率诸翼军攻郢、复诸州,十月夺郢州之南门堡。

[Input] 以孔⁇的风格,写一篇经书,题为中庸<sep>
[Generated] 我闻昔者夫子之言也,曰:吾道一以贯之。其或行之或不行,吾未知之。是故君子慎其独也。吾未见好德如好色者也。好德如好色者,未之有也。好德如好色者,既已之有也。君子不以言举人,不以人废言。好德如好色者,其如命何!吾

[Input] 以陆游的风格,写一首七言诗,题为晨起<sep>
[Generated] 秋光满纸清⁇明,睡醒一江万马奔。自笑身如枯木鹤,何妨食饱作闲人。

[Input] 上联:霜风几笔雕残画<sep>下联:
[Generated] 云海千山叠翠峰

[Input] 新闻内容:据悉,这名14岁的女生在Facebook上发布了戏谑考试的博文,其中使用了胡志明1946年反对法国殖民者的讲话,随后被越南当局停课一年。越南官员称,该学生歪曲了历史事件,侮辱了老师的情感。多数网友虽对越南当局做法不满,但都表示,至少他们还能上Facebook.<sep>摘要:越南女生Facebook上模仿胡志明讲话被停课<sep>评论:
[Generated] 这女的,还真有勇气,我喜欢你!

[Input] 新闻内容:习近平天津考察时勉励大学生志存高远、脚踏实地,转变择业观念,坚持从实际出发,勇于到基层一线和艰苦地方去,把人生的路一步步走稳走实,善于在平凡岗位上创造不平凡的业绩<sep>摘要:习近平勉励大学生转变择业观念勇于到基层和艰苦地方去<sep>评论:
[Generated] 现在的社会,很多年轻人都是在父母的安排下,去了不同的单位,在不同的地方工作,在不同的城市生活,这就导致了年轻人的思维方式,价值观都不一样,这也导致了年轻人的成长道路,也有很多的不安全感,这也是很正常的事情,年轻人需要正确的引导,正确的引导,也需要正确的引导!

[Input] 问题:劳动仲裁申请法院强制执行,法院强制执行需要多长时间<sep>回答:
[Generated] 一般申请法院强制执行需要3-6个月时间,具体需要看法院的执行措施。

[Input] 问题:银行贷款50万,30年!年利率是4.41怎么算一个月还多少钱<sep>回答:
[Generated] 若申请的是招行贷款,要计算贷款利息或者每月还款金额,需要知道贷款本金,贷款期限,还款方式,贷款年利率。若上述信息都确认到,可以通过我行贷款计算器尝试计算,登录招行官网右下方找到“理财计算器”--“个人贷款计算器”可以计算。

3. Model Hadiah

Parameter pelatihan model:

Model Jumlah parameter pelatihan Volume Data Ukuran batch Panjang urutan perangkat keras Penggunaan memori video kecepatan Jam per zaman
Pangu-350m 131m 12m 32 512 A100 80G 72.6g 1.91 s/iter 105h
Pangu-2.6b 815m 12m 8 512 A100 80G 80.7g 423H

Unduh model hadiah:

Model pra-terlatih Dataset SFT ukuran alamat pelukan Alamat disk jaringan baidu Kode Ekstrak
Pangu-350m SFT & Hadiah Data 1.3GB Sunzeyeah/Pangu-350m-Reward Pangu-350m-Reward 4GJU

4. Rlhf

Untuk diperbarui

5. Eksperimen Deepspeed

Untuk memverifikasi apakah efisiensi pelatihan menggunakan kecepatan dalam pada model pra-terlatih yang berbeda dapat mencapai efek yang diklaim secara resmi (akselerasi, penghematan GPU, dll.), Benchmarking dilakukan

  • Skenario Eksperimental: Pelatihan Panggung SFT
  • Parameter Eksperimental: max_sequence_length=512
Hasil Eksperimen DeepPeed
Model data Secara keseluruhan memakan waktu/zaman Memakan waktu untuk satu sampel tunggal Penggunaan memori Penggunaan memori video Model dan kuantitas GPU FP16 BF16 Tahap Kecepatan Dalam Offload Optimizer memori pin Offload Param offload Tumpang tindih Comm Allgather Bucket Ukuran Parameter Tahap3 Max Live Ukuran batch Langkah akumulasi gradien CHECKPOINTING GRADIEN setengah model
T5-Large WMT16-EN-RO, total 610.000 sampel 43H 0.5S/IT 7.1g 1*14529MB 1*V100 16G BENAR - - - - - - - - 2 8 PALSU PALSU
152H 1.78S/IT 38.26g 1*11663MB 1*V100 16G BENAR - 2 BENAR BENAR - PALSU 2e8 - 2 8 PALSU PALSU
250h 2.95S/IT 38.74G 1*7255MB 1*V100 16G BENAR - 2 BENAR BENAR - PALSU 1e5 - 2 8 PALSU PALSU
62H 5.8S/IT 86.81g 8*7811MB 8*V100 16G BENAR - 2 BENAR BENAR - PALSU 1e5 - 2 8 PALSU PALSU
- - - Oom 1*V100 16G BENAR - 2 BENAR BENAR - PALSU 2e8 - 16 8 PALSU PALSU
- - - Oom 1*V100 16G BENAR - 2 BENAR BENAR - PALSU 1e5 - 16 8 PALSU PALSU
290h 3.48S/IT 46.53g 1*6655MB 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 2e8 2e8 2 8 PALSU PALSU
380h 4.5S/IT 43.48g 1*5263MB 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e5 1e5 2 8 PALSU PALSU
215H 4.9S/IT 47.31g 2*5019MB 2*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e5 1e5 2 8 PALSU PALSU
1370h 64S/IT 57.55g 4*4701MB 4*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e5 1e5 2 8 PALSU PALSU
948H 90 -an/IT 72.54g 8*4585MB 8*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e5 1e5 2 8 PALSU PALSU
Pangu-2.6b Set Verifikasi Data SFT & Hadiah, dengan total 10.000 sampel 2h 5.76S/IT 67.86G 1*15631MB 1*V100 16G BENAR - 2 BENAR BENAR - PALSU 2e8 - 2 8 PALSU PALSU
2.1h 6.15S/IT 67.88G 1*15705MB 1*V100 16G BENAR - 2 BENAR BENAR - PALSU 1e5 - 2 8 PALSU PALSU
4.5h 13.3S/IT 81.02g 1*15449MB 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 2e8 2e8 2 8 PALSU PALSU
11.5H 8.2S/IT 75.89g 1*15299MB 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e5 1e5 2 8 PALSU PALSU
5.5h 7.8S/IT 81.16g 2*14851MB 2*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e5 1e5 2 8 PALSU PALSU
6.2h 18.3S/IT 97.31g 4*14389MB 4*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e5 1e5 2 8 PALSU PALSU
6.6h 38S/IT 118.82g 8*14335MB 8*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e5 1e5 2 8 PALSU PALSU
Chatglm-6b Set Verifikasi Data SFT & Hadiah, dengan total 10.000 sampel - - 120.45g Oom 1*V100 16G BENAR - 2 BENAR BENAR - PALSU 1e5 - 1 8 BENAR BENAR
- - 120.48G Oom 1*V100 16G BENAR - 2 BENAR BENAR - PALSU 1e3 - 1 8 PALSU BENAR
- - 153.02g Oom 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e2 1e2 1 8 PALSU BENAR
- - 154g Oom 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 2e8 2e8 1 8 BENAR BENAR
21.2h 60 -an/IT 154g 1*10443MB 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 2e8 mobil 1 8 BENAR BENAR
21.5H 60 -an/IT 152.81g 1*10409MB 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e5 1e5 1 8 BENAR BENAR
23.5H 65S/IT 153.36g 1*9229MB 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e3 1e3 1 8 BENAR BENAR
14H 80 -an 158.21g 2*8631MB 2*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e3 1e3 1 8 BENAR BENAR
7.8h 90 -an/IT 168.38G 4*6743MB 4*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e3 1e3 1 8 BENAR BENAR
4H 90 -an/IT 189.34G 8*6729MB 8*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e3 1e3 1 8 BENAR BENAR
1H 100S/IT 189.38G 8*10047MB 8*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e3 1e3 4 8 BENAR BENAR
50 menit 40 -an/IT 189.39g 8*14763MB 8*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e3 1e3 8 2 BENAR BENAR
35 menit 113S/IT 189.39g 8*14763MB 8*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e3 1e3 8 8 BENAR BENAR
- - 189.34G Oom 8*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e3 1e3 10 8 BENAR BENAR
GLM-10B-Cina Set Verifikasi Data SFT & Hadiah, dengan total 10.000 sampel - - - Oom 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 2e8 2e8 1 8 BENAR PALSU
- - - Oom 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 2e8 mobil 1 8 BENAR PALSU
- - - Oom 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e5 1e5 1 8 BENAR PALSU
- - - Oom 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e3 1e3 1 8 BENAR PALSU
- - - Oom 1*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e2 1e2 1 8 BENAR PALSU
- - - Oom 2*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e2 1e2 1 8 BENAR PALSU
- - - Oom 4*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e2 1e2 1 8 BENAR PALSU
- - Oom - 8*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e2 1e2 1 8 BENAR PALSU
- - - Oom 4*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e2 1e2 1 8 BENAR BENAR
- - - Oom 6*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e2 1e2 1 8 BENAR BENAR
- - Oom - 8*V100 16G BENAR - 3 BENAR BENAR BENAR PALSU 1e2 1e2 1 8 BENAR BENAR

PS : Konfigurasi Deepspeed untuk parameter dan pengalaman tuning.

6. Eksperimen Lora

Untuk memverifikasi peningkatan efisiensi pelatihan Lora, pembandingan dilakukan

  • Skenario Eksperimental: Pelatihan Panggung SFT
  • Data eksperimental: set verifikasi data SFT & hadiah, dengan total 10.000 sampel
  • Parameter Eksperimental: max_sequence_length=512, lora_alpha=1, lora_train_bias='none'
Hasil Eksperimen Lora
Model Peringkat lora Jumlah parameter pelatihan Kecepatan yang dalam Ukuran batch Model dan kuantitas GPU Penggunaan memori video Memakan waktu untuk satu sampel tunggal Secara keseluruhan memakan waktu/zaman
Pangu-2.6b - 2.6b - 8 1*A100 80G 1*79421MB 9.66S/IT 12.5 menit
1000 1.5b - 8 1*A100 80G 1*76129MB 11.61S/IT 15 menit
500 758MB - 12 1*A100 80G 1*77179MB 16.2S/IT 14 menit
100 151mb - 16 1*A100 80G 1*81103MB 18.6S/IT 12 menit
50 75MB - 16 1*A100 80G 1*80809MB 17.8S/IT 11.5 menit
10 15MB - 16 1*A100 80G 1*78735MB 17.6S/IT 11.5 menit
100 151mb Tahap = 2, W Ofloading Dua Puluh Empat 1*A100 80G 1*76933MB 25.5S/IT 11 menit
100 151mb Tahap = 3, W Ofloading Dua Puluh Empat 1*A100 80G 1*77259MB 46.5S/IT 20 menit
Chatglm-6b - 6.2b - 3 1*A100 80G 1*79206MB 6.7S/IT 23.5 menit
1000 1.9b - 6 1*A100 80G 1*78840MB 12.8S/IT 22.5 menit
500 994MB - 6 1*A100 80G 1*68832MB 12.4S/IT 21.5 menit
Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua