Unduh deep_training - deep_training SOUME CODE DOWNTER

deep_training

Kode Sumber AI

v0.3.1

Unduh

Transformer adalah semua yang Anda butuhkan.

Kerangka kerja pelatihan mendalam berdasarkan transformator

instal dan unduh

Pip Instal -u Deep_training
Instalasi Kode Sumber

 pip uninstall deep_training
pip install -U git+https://github.com/ssbuild/deep_training.git

Kode sumber menginstal ulang

 pip install -U git+https://github.com/ssbuild/deep_training.git --no-deps --force-reinstall

memperbarui

2024-06-10
- 0.3.1 Dukungan GLM4 https://github.com/ssbuild/glm4_finetoning GLM4V https://github.com/ssbuild/glm4v_finetoning
2024-02-15
- 0.2.11 Dukungan Internlm2 https://github.com/ssbuild/internlm2_fineuning
2023-12-02
- 0.2.10 Perbarui model QWEN untuk 1.8b 7b 14b 72b
- 0.2.10.post0 fix qwen attention_mask
2023-11-13
- Rilis 0.2.9
- 0.2.9.post0 dukungan chatglm3-6b-32k
2023-10-22
- 0.2.7
  - Dukungan Klip Lengkap Pelatihan https://github.com/ssbuild/clip_finenetuning
  - Dukung ASR SEQ2SEQ PELATIHAN LENGKAP https://github.com/ssbuild/asr_seq2seq_finenetuning
  - Dukung Pelatihan Lengkap ASR CTC https://github.com/ssbuild/asr_ctc_finenetuning
  - Dukungan Deteksi Objek Pelatihan Lengkap https://github.com/ssbuild/detection_finenetuning
  - Dukungan Segmentation Semantik Pelatihan Lengkap https://github.com/ssbuild/semantic_segmentation
  - Dukung chatglm3 pelatihan lengkap https://github.com/ssbuild/chatglm3_finenetuning
- 0.2.7.post1
  - Dukung pelatihan lengkap skywork https://github.com/ssbuild/skywork_finenetuning
- 0.2.7.post2
  - Dukung Bluelm Lengkap Pelatihan https://github.com/ssbuild/bluelm_finenetuning
- 0.2.7.post3
  - Dukung pelatihan penuh yi https://github.com/ssbuild/yi_finenetuning
- 0.2.7.post4
  - Perbaiki Serialisasi Dataclass di Deepspeed
2023-10-16
- 0.2.6 Dukungan Muti-Model
  - VisualGlm Lengkap Pelatihan https://github.com/ssbuild/visualglm_finenetuning
  - Qwen-VL Lengkap Pelatihan https://github.com/ssbuild/qwen_vl_finenetuning
2023-10-07
- 0.2.5
  - Dukungan Pelatihan Colossalai, Strategi DDP, Gemini, Gemini_Auto, Zero2, Zero2_CPU, 3D
- 0.2.5.post2
  - Dukungan pelatihan akselerator, perbaiki beberapa bug di akselerator dan pelatih HF
- 0.2.5.post4
  - Perbaiki pelatih beberapa bug
2023-09-26
- 0.2.4
  - Support Transformers Trainer dan QWEN-7B Versi Baru dan Qwen-14b. Versi lama tidak lagi didukung. Versi lama dapat menginstal deep_training <= 0.2.3
- 0.2.4.post3
  - Dukung IA3 Finenetuning
2023-09-21
- 0.2.3
  - Dukungan DPO Lengkap Pelatihan DPO_Finenetuning
2023-09-06
- 0.2.2
  - Sesuaikan Baichuan Modul Penamaan Sesuaikan Baichuan V2 Pelatihan Lengkap Baichuan2_Fineuning
- 0.2.2.post0
  - Perbaiki Baichuan PTV2
- 0.2.2.post1
  - Perbaiki rwkv4 bug
- 0.2.2.post4
  - Perbaiki Llama dan Baichuan Mask Bug
2023-09-02
- 0.2.1
  - Perbaiki model llama
2023-08-23
- 0.2.0
  - Lepaskan penyesuaian internal Lora
- 0.2.0.post1
  - Tambahkan obrolan XVerse-13b dan perbaiki muti lora
2023-08-16
- 0.1.21
  - rilis menambahkan 5 metode skala tali, perbaiki chatglm2-6b-32k penalaran rope_ratio
- 0.1.21.post1
  - Perbaiki tali lumut
2023-08-09
- 0.1.17
  - Perbarui model Qwen
- 0.1.17.post0
  - Perbarui Konfigurasi Qwen
2023-08-08
- 0.1.15.rc2
  - Dukungan XVerse-13b Pelatihan Penuh XVerse_Finenetuning
2023-08-05
- 0.1.13
  - Dukungan Qwen (大全) Pelatihan Lengkap Qwen_finenetuning
- 0.1.13.post2
  - Perbaiki kuantisasi bug
- 0.1.14
  - Rilis Perbaiki Stream Qwen
2023-07-18
- 0.1.12
  - Dukung Internlm (Cendekia) Pelatihan Lengkap Internlm_Finenetuning
  - Dukungan Baichuan V2 Pelatihan Lengkap Baichuan2_Fineuning
  - Perbaiki adalora beberapa bug
  - Dukung Pelatihan Dunia RWKV
2023-07-04
- 0.1.11 RC1
  - Dukung Model Baichuan Pelatihan Lengkap Baichuan_finenetuning
  - Dukungan model chatglm2 pelatihan lengkap chatglm2_fineuning
- 0.1.11
  - Perbaiki Baichuan dan chatglm2 beberapa bug
  - Dukung conv2d untuk lora
  - Dukungan Dataset Parket Panah
2023-06-06
2023-06-06
- 0.1.10
  - rilis tambahkan qlora dan mendukung lebih banyak pengoptimal dan penjadwal
  - Mendukung Prompt Lora untuk Pelatihan Deeppeed
  - Dukungan pelatihan lengkap rwkv4 rwkv_finenetuning
- 0.1.10.post0
  - Perbaiki pengaturan paket untuk kode CPP dan CU untuk RWKV4
- 0.1.10.post1
  - Perbaiki infer untuk rwkv4
2023-05-24
- 0.1.8
  - Perbaiki bobot beban di prompt_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-05-19
- 0.1.7
  - Perbaiki bug 0.1.5 RL
- 0.1.7.post1
  - Perbaiki chatglm-6b-int4, chatglm-6b-int4 p-tuning-v2 pelatihan, perbaiki ILQL Lightning Impor
  - Perbaiki bobot beban di prompt_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-05-10
- 0.1.5
  - Perbaiki Modul Pelatihan Tambahan Kustom Lora V2
  - Dukungan Hadiah PPO LLM Pelatihan Lengkap RLHF_LLM
  - Dukungan Hadiah PPO CHATGLM Pelatihan Lengkap RLHF_CHATGLM
  - Dukungan hadiah ppo chatyuan pelatihan lengkap rlhf_chatyuan
- 0.1.5.post2 rilis
  - Perbaiki Modul Prompt Modules_to_Save Modul Pelatihan Tambahan Kustom
  - Dukung ILQL Offline Mode Training ILQL Lengkap Pelatihan RLHF_LLM
- 0.1.5.post4 rilis
  - Perbaiki model opt hidden_size untuk ppo ilql
  - Perbaiki PPOTRAINER ILQLTRAINER DEEPKEED SAJA BERAT
  - Impor Admaw dari Transformers atau tetapi Torch Pertama
2023-05-02
- 0.1.4
  - Dukungan prompt_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-04-21
- 0.1.3rc0
  - Dukungan model obrolan lumut referensi pelatihan lengkap moss_finenetuning
  - Moss dikuantifikasi int4 int8 penalaran
- 0.1.3.post0
  - Versi baru ini didasarkan pada Lightning, Pytorch-Lightning, dan Modul Numpy-IO diganti namanya.
2023-04-11
- 0.1.2
  - Refactor Lora V2, tambahkan Adora
- 0.1.2.post0
  - Perbaiki LOVA V1, LOVA V2 LOAD_IN_8BIT
2023-04-07
- Deep_training 0.1.1
  - Perbarui chatglm config
2023-04-02
- Lepaskan 0.1.0 dan Lightning> = 2
2023-03-15
- 0.0.18
  - Dukungan model chatglm (versi stabil> = 0.0.18.post7) Referensi pelatihan penuh chatglm_finenetuning
- Perbaiki keseimbangan data proses kecepatan dalam
- 0.0.18.post9
  - Tambahkan Antarmuka Antarmuka Output Stream Stream_chat
- 0.0.20 Chatglm Lora
  - Lanjutkan pelatihan dengan bobot pemuatan, memodifikasi pengkodean data, dan mengadaptasi bobot
- 0.0.21.post0
  - Perbaiki chatglm Deepseceed Stage 3 Weight Loading
2023-03-09
- Menambahkan model llama (versi paralel) untuk referensi pelatihan lengkap llama_finenetuning
2023-03-08
- Menambahkan model llama (versi paralel non-model) untuk pelatihan lengkap referensi poetry_training
2023-03-02
- Tambahkan pelatihan Lora, singa, pengoptimal domba, referensi pelatihan lengkap chatyuan_finenetuning
2023-02-15
- Menambahkan Model Pra-Terlatih Palm Pra
2023-02-13
- Tambahkan model koreksi kesalahan tata bahasa Cina Geoctor, model koreksi kesalahan tata bahasa seq2seq
2023-02-09
- Menambahkan pra-pelatihan T5Decoder untuk puisi, model pra-pelatihan LAMDA untuk puisi, model pra-pelatihan T5Encoder
2023-02-07
- Menambahkan opsi pengkodean posisi dekomposisi hierarkis sehingga transformator dapat menangani teks ultra-panjang
2023-01-24
- Tambahkan puisi gpt2 pra-pelatihan, puisi t5 pra-pelatihan, puisi unilm pra-pelatihan
2023-01-20
- Tambahkan FGM Pelatihan Presiden, FGSM_LOCAL, freeat, PGD, FGSM, freeat_local, di antaranya Freeat disarankan untuk menggunakan freeat_local, FGSM disarankan untuk menggunakan FGSM_LOCAL
2023-01-19
- Model proptbertcse yang diawasi dan tidak diawasi
2023-01-16
- Menambahkan Diffcse yang diawasi dan tidak diawasi model
2023-01-13
- Tambahkan model esimcse
2023-01-11
- Tambahkan model vektor kalimat tsdae
2023-01-09
- Tambahkan pengawasan yang tidak jelas dan non-supervisation, pengawasan simcse dan non-supervisation, ekstraksi model relasional SPN4RE
2023-01-06
- Tambahkan Ekstraksi Model Relasional Oneerel, Ekstraksi Model Relasional PRGC, Ekstraksi Model Entitas Murni
2022-12-24
- Tambahkan model distilasi model UNILM dan model ekstraksi acara
2022-12-16
- Entitas ekstraksi kaskade CRF_CASCAD CRF
- Span ner dapat mengekstraksi entitas dengan dua metode implementasi: multi-label tumpang tindih dan multi-label non-tumpang tindih.
- Model ekstraksi entitas seleksi multi-header MHS_NER
- Model ekstraksi entitas w2ner
- Ekstraksi entitas TplinkerPlus
- model ekstraksi relasional tpliner
- TPLINKERPLUS Model Ekstraksi Relasional
- Model ekstraksi hubungan multi-head mhslinker mhslinker
2022-11-17 :
- Seri Simcse-Unilm
- Seri Simcse-Bert-WWM
- Kehilangan lingkaran
- afqmc siamese net serupa
2022-11-15 :
- UNILM AUTOTITLE SEQ2SEQ AUTOTITLE
- Klasifikasi Normal, Ekstrak Pointer Diberi Ekstrak, Ekstrak CRF Nama Entitas
- Klasifikasi Prefixtuning, Klasifikasi Prefixtuning, Ekstrak Pointer Prefixtuning Named Entities, Prefixtuning Extracts CRF Named Entities
2022-11-12 :
- gplinker (ekstraksi pointer global)
- Casrel (kerangka penandaan biner cascade baru untuk referensi ekstraksi triple relasional https://github.com/weizhepei/casrel)
- Spliner (Pointer Extracts Relationship Sigmoid Pointer atau Pointer Sederhana)
2022-11-11 :
- cluener_pointer Cina bernama ekstraksi entitas dan cluener crf cina bernama ekstraksi entitas
- Kategori Cina Tnews
2022-11-06 :
- Tugas pra-pelatihan untuk model seperti MLM, GPT2, T5

tugas

Pra-Pelatihan :
- Data Referensi Subset dari Dataset Klasifikasi Teks Berita ThucNews
- Contoh pra-pelatihan MLM Bert Roberta dan pra-pelatihan Cina lainnya
- Contoh Pra-Pelatihan LM GPT2 dan Pra-Pelatihan Cina Lainnya
- SEQ2SEQ Pra-Pelatihan Contoh T5 Kecil dan Pra-Pelatihan Cina Lainnya
- UNILM Pra-Pelatihan Contoh Unilm Bert Roberta dan Pra-Pelatihan Tiongkok Lainnya & NBSP
Kategori Cina :
- Contoh Klasifikasi Cina Tnews
Ekstraksi entitas bernama :
- Data referensi Cluner
- Ekstraksi Pointer Global Cluener
- Ekstraksi CRF Cluener
- ekstraksi cepat cluener crf
- ekstraksi seleksi multi-header cluener mhs ner
- ekstraksi cluener span pointer
- ekstraksi kaskade crf cluener
- Ekstrak Cluener TplinkerPlus
- Ekstrak murni
- Ekstraksi Cluener W2ner
Ekstraksi hubungan
- Data Data Referensi Data dan Data Fase Pertama Piala Faryan
- Ekstraksi hubungan gplinker
- ekstraksi hubungan casrel
- Ekstraksi hubungan spliner
- Ekstraksi hubungan mhslinker
- ekstraksi hubungan tplinker
- Ekstraksi hubungan TplinkerPlus
- Ekstraksi Hubungan Oneerel
- Ekstraksi hubungan PRGC
- Ekstraksi hubungan spn4re
Ekstraksi acara
- Data Referensi Data Duee Event Extraction DUEE V1.0 Dataset
- Ekstraksi acara gplinker
Seri Prompt :
- Contoh PrefixPrompt Tnews Klasifikasi Cina
- Contoh Prefixtuning Tnews Klasifikasi Cina
- Contoh Prefixtuning Cluener Bernama Ekstraksi Pointer Global
- Contoh prefixtuning cluener bernama entitas ekstraksi CRF
- Contoh Propt MLM Membangun Template Data yang Ditetapkan Sendiri, dan Referensi Pelatihannya adalah Pretrain/MLM_PRATRAIN
- Contoh Prompt LM Membangun Template Data yang Ditetapkan Sendiri, dan Referensi Pelatihan adalah Pretrain/SEQ2SEQ_PRATRAIN, pretrain/lm_prainrain
Seri Simcse :
- Seri SimCSE-UNILM Contoh UNILM+SUMCE Referensi Data Subset dari Dataset Klasifikasi Teks Teks ThucNews
- Seri Simcse-Bert-WWM Contoh MLM+Subset Data Referensi Simcse dari Dataset Klasifikasi Teks Berita ThucNews
SENSENSE EMBEDDING :
- Lingkaran Kehilangan Contoh Kehilangan Lingkaran Tnews
- Contoh bersih siamese afqmc siamese net serupa

Pengoptimal

   lamb,adma,adamw_hf,adam,adamw,adamw_torch,adamw_torch_fused,adamw_torch_xla,adamw_apex_fused,
   adafactor,adamw_anyprecision,sgd,adagrad,adamw_bnb_8bit,adamw_8bit,lion,lion_8bit,lion_32bit,
   paged_adamw_32bit,paged_adamw_8bit,paged_lion_32bit,paged_lion_8bit,
   lamb_fused_dp adagrad_cpu_dp adam_cpu_dp adam_fused_dp

penjadwal

  linear,WarmupCosine,CAWR,CAL,Step,ReduceLROnPlateau, cosine,cosine_with_restarts,polynomial,
  constant,constant_with_warmup,inverse_sqrt,reduce_lr_on_plateau