ดาวน์โหลด deep_training - ดาวน์โหลดซอร์สโค้ด deep

หม้อแปลงคือสิ่งที่คุณต้องการ

กรอบการฝึกอบรมลึกบนพื้นฐานของหม้อแปลง

ติดตั้งและดาวน์โหลด

การติดตั้ง pip -u deep_training
การติดตั้งซอร์สโค้ด

 pip uninstall deep_training
pip install -U git+https://github.com/ssbuild/deep_training.git

ซอร์สโค้ดติดตั้งใหม่

 pip install -U git+https://github.com/ssbuild/deep_training.git --no-deps --force-reinstall

อัปเดต

2024-06-10
- 0.3.1 สนับสนุน glm4 https://github.com/ssbuild/glm4_finetoning glm4v https://github.com/ssbuild/glm4v_finetoning
2024-02-15
- 0.2.11 สนับสนุน internlm2 https://github.com/ssbuild/internlm2_fineuning
2023-12-02
- 0.2.10 อัปเดตรุ่น Qwen สำหรับ 1.8b 7b 14b 72b
- 0.2.10.post0 แก้ไข qwen atternest_mask
2023-11-13
- 0.2.9 รีลีส
- 0.2.9.post0 สนับสนุน chatglm3-6b-32k
2023-10-22
- 0.2.7
  - สนับสนุนคลิปการฝึกอบรมที่สมบูรณ์ https://github.com/ssbuild/clip_finenetuning
  - สนับสนุน ASR SEQ2SEQ การฝึกอบรมเต็มรูปแบบ https://github.com/ssbuild/asr_seq2seq_finenetuning
  - สนับสนุน ASR CTC การฝึกอบรมที่สมบูรณ์ https://github.com/ssbuild/asr_ctc_finenetuning
  - สนับสนุนการตรวจจับวัตถุที่สมบูรณ์การฝึกอบรม https://github.com/ssbuild/detection_finenetuning
  - สนับสนุนการแบ่งส่วนความหมายที่สมบูรณ์การฝึกอบรม
  - สนับสนุน chatglm3 การฝึกอบรมที่สมบูรณ์ https://github.com/ssbuild/chatglm3_finenetuning
- 0.2.7.post1
  - สนับสนุนการฝึกอบรม Skywork ที่สมบูรณ์ https://github.com/ssbuild/skywork_finenetuning
- 0.2.7.post2
  - สนับสนุนการฝึกอบรมที่สมบูรณ์แบบ bluelm https://github.com/ssbuild/bluelm_finenetuning
- 0.2.7.post3
  - สนับสนุนการฝึกอบรมเต็มรูปแบบ https://github.com/ssbuild/yi_finenetuning
- 0.2.7.post4
  - แก้ไข Dataclass serialization ใน DeepSpeed
2023-10-16
- 0.2.6 สนับสนุน muti-model
  - Visualglm การฝึกอบรมที่สมบูรณ์ https://github.com/ssbuild/visualglm_finenetuning
  - qwen-vl การฝึกอบรมที่สมบูรณ์ https://github.com/ssbuild/qwen_vl_finenetuning
2023-10-07
- 0.2.5
  - สนับสนุนการฝึกอบรม Colossalai, กลยุทธ์ DDP, Gemini, Gemini_Auto, Zero2, Zero2_CPU, 3D
- 0.2.5.post2
  - รองรับการฝึกอบรมเร่งความเร็วแก้ไขข้อผิดพลาดในตัวเร่งความเร็วและ HF Trainer
- 0.2.5.post4
  - แก้ไขข้อบกพร่องบางอย่างเทรนเนอร์
2023-09-26
- 0.2.4
  - สนับสนุน Transformers Trainer และ QWEN-7B รุ่นใหม่และ QWEN-14B เวอร์ชันเก่าไม่รองรับอีกต่อไป เวอร์ชันเก่าสามารถติดตั้ง deep_training <= 0.2.3
- 0.2.4.post3
  - สนับสนุน ia3 finenetuning
2023-09-21
- 0.2.3
  - สนับสนุน DPO การฝึกอบรมที่สมบูรณ์ DPO_FINENETUNING
2023-09-06
- 0.2.2
  - ปรับการตั้งชื่อโมดูล Baichuan ปรับ Baichuan v2 การฝึกอบรมที่สมบูรณ์ baichuan2_fineuning
- 0.2.2.post0
  - แก้ไข Baichuan PTV2
- 0.2.2.post1
  - แก้ไขข้อผิดพลาด rwkv4
- 0.2.2.post4
  - แก้ไขข้อผิดพลาดหน้ากาก Llama และ Baichuan
2023-09-02
- 0.2.1
  - แก้ไขโมเดลลามา
2023-08-23
- 0.2.0
  - ปล่อยการปรับภายใน Lora
- 0.2.0.post1
  - เพิ่มการแชท Xverse-13b และแก้ไข muti lora
2023-08-16
- 0.1.21
  - การเปิดตัวเพิ่มวิธีการมาตราส่วนเชือก 5 วิธีแก้ไข chatglm2-6b-32k การใช้เหตุผล rope_ratio
- 0.1.21.post1
  - แก้ไขเชือกมอส
2023-08-09
- 0.1.17
  - อัปเดตรุ่น Qwen
- 0.1.17.post0
  - อัปเดต qwen config
2023-08-08
- 0.1.15.rc2
  - สนับสนุน Xverse-13b การฝึกอบรมเต็มรูปแบบ xverse_finenetuning
2023-08-05
- 0.1.13
  - สนับสนุน Qwen (大全) การฝึกอบรมที่สมบูรณ์ qwen_finenetuning
- 0.1.13.post2
  - แก้ไขข้อบกพร่องเชิงปริมาณ
- 0.1.14
  - Release Fix Qwen Stream
2023-07-18
- 0.1.12
  - สนับสนุน Internlm (Scholar) การฝึกอบรมที่สมบูรณ์ internlm_finenetuning
  - สนับสนุน Baichuan v2 การฝึกอบรมที่สมบูรณ์ baichuan2_fineuning
  - แก้ไขข้อบกพร่องของ Adalora
  - สนับสนุนการฝึกอบรม RWKV World
2023-07-04
- 0.1.11 RC1
  - สนับสนุน Baichuan Model การฝึกอบรมที่สมบูรณ์ baichuan_finenetuning
  - สนับสนุน chatglm2 รุ่นที่สมบูรณ์การฝึกอบรม chatglm2_fineuning
- 0.1.11
  - แก้ไขข้อบกพร่องของ Baichuan และ Chatglm2
  - สนับสนุน Conv2D สำหรับ LORA
  - ชุดข้อมูลลูกศร Parquet
2023-06-06
2023-06-06
- 0.1.10
  - ปล่อยเพิ่ม Qlora และรองรับเครื่องมือเพิ่มประสิทธิภาพและตัวกำหนดเวลาเพิ่มเติม
  - สนับสนุน Lora Prompt สำหรับการฝึกอบรม DeepSpeed
  - สนับสนุน rwkv4 การฝึกอบรมที่สมบูรณ์ rwkv_finenetuning
- 0.1.10.post0
  - แก้ไขการตั้งค่าแพ็คเกจสำหรับรหัส CPP และ CU สำหรับ RWKV4
- 0.1.10.post1
  - แก้ไขอนุมานสำหรับ rwkv4
2023-05-24
- 0.1.8
  - แก้ไขน้ำหนักโหลดใน prompt_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-05-19
- 0.1.7
  - แก้ไขข้อบกพร่อง 0.1.5 RL
- 0.1.7.post1
  - แก้ไข chatglm-6b-int4, การฝึกอบรม chatglm-6b-int4 p-tuning-v2, แก้ไข ILQL Lightning นำเข้า
  - แก้ไขน้ำหนักโหลดใน prompt_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-05-10
- 0.1.5
  - แก้ไขโมดูลการฝึกอบรมเพิ่มเติมที่กำหนดเอง lora v2 modules_to_save
  - สนับสนุนรางวัล PPO LLM การฝึกอบรมที่สมบูรณ์ RLHF_LLM
  - สนับสนุนรางวัล PPO chatglm การฝึกอบรมที่สมบูรณ์ rlhf_chatglm
  - สนับสนุนรางวัล PPO Chatyuan การฝึกอบรมที่สมบูรณ์ RLHF_CHATYUAN
- 0.1.5.post2 รีลีส
  - แก้ไขโมดูลการฝึกอบรมเพิ่มเติมที่กำหนดเอง
  - สนับสนุนการฝึกโหมดออฟไลน์ ILQL ILQL การฝึกอบรมที่สมบูรณ์ RLHF_LLM
- 0.1.5.post4 รีลีส
  - แก้ไขโมเดล OPT HIDDEN_SIZE สำหรับ PPO ILQL
  - แก้ไข ppotrainer ilqltrainer deepspeed ประหยัดน้ำหนัก
  - นำเข้า Admaw จาก Transformers หรือ But Torch ก่อน
2023-05-02
- 0.1.4
  - รองรับพรอมต์ _tuning, p_tuning, prefix_tuning, adaption_prompt
2023-04-21
- 0.1.3RC0
  - สนับสนุนรูปแบบการแชทมอสที่สมบูรณ์การฝึกอบรมอ้างอิง moss_finenetuning
  - มอสเชิงปริมาณ int4 int8 การใช้เหตุผล
- 0.1.3.post0
  - เวอร์ชันใหม่ขึ้นอยู่กับสายฟ้า, Pytorch-Lightning และโมดูล NumPy-IO ถูกเปลี่ยนชื่อ
2023-04-11
- 0.1.2
  - Refactor Lora v2 เพิ่ม adora
- 0.1.2.post0
  - แก้ไข Lova v1, lova v2 load_in_8bit
2023-04-07
- deep_training 0.1.1
  - อัปเดต chatglm config
2023-04-02
- ปล่อย 0.1.0 และฟ้าผ่า> = 2
2023-03-15
- 0.0.18
  - สนับสนุนรุ่น chatglm (เวอร์ชันเสถียร> = 0.0.18.post7) การฝึกอบรมเต็มรูปแบบอ้างอิง chatglm_finenetuning
- แก้ไขความสมดุลของข้อมูลกระบวนการ DeepSpeed
- 0.0.18.post9
  - เพิ่มอินเทอร์เฟซ stream output stream_chat
- 0.0.20 Chatglm Lora
  - ฝึกอบรมต่อด้วยการโหลดน้ำหนักปรับเปลี่ยนการเข้ารหัสข้อมูลและปรับน้ำหนัก
- 0.0.21.post0
  - แก้ไขการโหลดน้ำหนัก chatglm deepspeed stage 3
2023-03-09
- การเพิ่มโมเดล llama (เวอร์ชันคู่ขนาน) สำหรับการฝึกอบรมที่สมบูรณ์อ้างอิง llama_finenetuning
2023-03-08
- การเพิ่มโมเดล llama (เวอร์ชันคู่ขนานที่ไม่ใช่แบบจำลอง) สำหรับการฝึกอบรมที่สมบูรณ์อ้างอิง poetry_training
2023-03-02
- เพิ่มการฝึกอบรม Lora, Lion, Lamb Optimizer, การฝึกอบรมที่สมบูรณ์อ้างอิง chatyuan_finenetuning
2023-02-15
- การเพิ่มแบบจำลองบทกวีปาล์มที่ผ่านการฝึกอบรมล่วงหน้า
2023-02-13
- เพิ่มรูปแบบการแก้ไขข้อผิดพลาดไวยากรณ์ของจีน Geoctor, SEQ2SEQ ไวยากรณ์ข้อผิดพลาดข้อผิดพลาด
2023-02-09
- เพิ่ม T5Decoder ก่อนการฝึกอบรมสำหรับบทกวีแบบจำลองการฝึกอบรมล่วงหน้า LAMDA สำหรับบทกวีแบบจำลองการฝึกอบรม T5ENCODER
2023-02-07
- การเพิ่มตัวเลือกการเข้ารหัสตำแหน่งการสลายตัวแบบลำดับชั้นเพื่อให้หม้อแปลงสามารถจัดการกับข้อความที่ยาวเป็นพิเศษ
2023-01-24
- เพิ่มบทกวี GPT2 ก่อนการฝึกอบรมบทกวี T5 Pre-Training, Poetry Unilm Pre-Training
2023-01-20
- เพิ่มการฝึกอบรมที่เป็นปฏิปักษ์ FGM, FGSM_LOCAL, FREEAT, PGD, FGSM, FREEAT_LOCAL ซึ่งแนะนำให้ใช้ FREEAT
2023-01-19
- เพิ่มโมเดล Proptbertcse ที่ดูแลและไม่ได้รับการดูแล
2023-01-16
- เพิ่มโมเดล Diffcse ภายใต้การดูแลและไม่ได้รับการดูแล
2023-01-13
- เพิ่มโมเดล esimcse
2023-01-11
- เพิ่มโมเดลเวกเตอร์ประโยค TSDAE
2023-01-09
- เพิ่มการกำกับดูแลของ Infonce และการไม่ใช้อำนาจการกำกับดูแลของ SimcSe และการแยกแบบจำลองเชิงสัมพันธ์ SPN4RE
2023-01-06
- เพิ่มการสกัดแบบจำลองความสัมพันธ์ของ Oneerel, การสกัดแบบจำลองเชิงสัมพันธ์ PRGC, การสกัดแบบจำลองเอนทิตีบริสุทธิ์
2022-12-24
- เพิ่มการกลั่นแบบจำลอง Unilm และโมเดลการสกัดเหตุการณ์
2022-12-16
- CRF_CASCAD CRF CASCADE ENTRACTION
- SPAN NER สามารถแยกเอนทิตีด้วยวิธีการใช้งานสองวิธี: การทับซ้อนกันหลายฉลากและการไม่ใช้งานแบบหลายฉลาก
- MHS_NER Multi-Header Entity Extraction Model
- โมเดลการสกัดเอนทิตี W2ner
- การสกัดเอนทิตี TplinkerPlus
- แบบจำลองการสกัดเชิงสัมพันธ์ของ TPLINER
- โมเดลการสกัดเชิงสัมพันธ์ของ TplinkerPlus
- โมเดลการแยกความสัมพันธ์แบบหลายหัว MHSLINKER
2022-11-17 :
- ซีรีส์ Simcse-Unilm
- ซีรีส์ Simcse-Bert-WWM
- TNEWS Circle Loss
- AFQMC Siamese Net คล้ายกัน
2022-11-15 :
- UNILM Autotitle SEQ2SEQ AUTOTITLE
- การจำแนกประเภทปกติสารสกัดตัวชี้ชื่อเอนทิตีสารสกัด CRF ชื่อเอนทิตี
- การจำแนกประเภทล่วงหน้าการจำแนกประเภท prefixtuning สารสกัด pointer pointer pointer ที่ชื่อ entities, prefixtuning สารสกัด CRF ที่มีชื่อว่าเอนทิตี
2022-11-12 :
- Gplinker (การสกัดตัวชี้ทั่วโลก)
- Casrel (กรอบการติดแท็กแบบคาสเคดแบบใหม่สำหรับการอ้างอิงการสกัดสามครั้ง https://github.com/weizhepei/casrel)
- spliner (ตัวชี้แยกความสัมพันธ์ sigmoid pointer หรือตัวชี้ง่าย ๆ )
2022-11-11 :
- Cluener_pointer Chinese Extraction Entity และ Cluener CRF ภาษาจีนชื่อการสกัดเอนทิตี
- หมวดหมู่ภาษาจีน TNEWS
2022-11-06 :
- งานฝึกอบรมล่วงหน้าสำหรับแบบจำลองเช่น MLM, GPT2, T5

งาน

การฝึกอบรมล่วงหน้า :
- ข้อมูลการอ้างอิงข้อมูลย่อย ของชุดข้อมูลการจำแนกข้อความข่าวของ Thucnews
- ตัวอย่าง การฝึกอบรมก่อนการฝึกอบรม MLM Bert Roberta และการฝึกอบรมก่อนภาษาจีนอื่น ๆ
- ตัวอย่าง การฝึกอบรมล่วงหน้าของ LM GPT2 และการฝึกอบรมก่อนภาษาจีนอื่น ๆ
- ตัวอย่าง การฝึกอบรมล่วงหน้า SEQ2SEQ T5 ขนาดเล็กและการฝึกอบรมภาษาจีนอื่น ๆ
- ตัวอย่าง การฝึกอบรมก่อนการฝึกอบรม UNILM Bert Roberta และการฝึกอบรมก่อนการฝึกอบรมภาษาจีนอื่น ๆ และ NBSP อื่น ๆ
หมวดหมู่ภาษาจีน :
- ตัวอย่าง การจำแนกประเภทภาษาจีน
การสกัดเอนทิตีชื่อ :
- ข้อมูลอ้างอิง
- การสกัดตัวชี้ทั่วโลกของ Cluener
- การสกัด crf crf
- cluener crf การสกัดพรอมต์
- cluener mhs ner การเลือกการเลือกหลายหัว
- Cluener Span Pointer Extraction
- Cluener CRF Cascade Extraction
- cluener tplinkerplus สารสกัด
- สารสกัดบริสุทธิ์
- cluener w2ner สกัด
การสกัดความสัมพันธ์
- ข้อมูลอ้างอิง Duie และ Faryan Cup Data First First Data
- การสกัดความสัมพันธ์ Gplinker
- การสกัดความสัมพันธ์ของ Casrel
- การสกัดความสัมพันธ์แบบ spliner
- การสกัดความสัมพันธ์ MHSlinker
- การสกัดความสัมพันธ์ของ Tplinker
- การสกัดความสัมพันธ์ tplinkerplus
- การสกัดความสัมพันธ์ของ Oneerel
- การสกัดความสัมพันธ์ PRGC
- การสกัดความสัมพันธ์ spn4re
การสกัดเหตุการณ์
- ข้อมูลอ้างอิง Duee Event Event Event Duee V1.0 ชุดข้อมูล
- การสกัดเหตุการณ์ gplinker
ซีรีส์พรอมต์ :
- ตัวอย่าง PrefixPrompt tnews การจำแนกประเภทภาษาจีน
- ตัวอย่าง ล่วงหน้าการจำแนกประเภทภาษาจีน
- ตัวอย่าง prefixtuning cluener ชื่อ Entity Global Pointer Extraction
- ตัวอย่าง prefixtuning cluener ชื่อการสกัด CRF เอนทิตี
- ตัวอย่าง Propt MLM สร้างเทมเพลตข้อมูลที่กำหนดด้วยตัวเองและการอ้างอิงการฝึกอบรมคือ pretrain/mlm_pretrain
- ตัวอย่าง พรอมต์ LM สร้างเทมเพลตข้อมูลที่กำหนดด้วยตัวเองและการอ้างอิงการฝึกอบรมคือ pretrain/seq2seq_pretrain, pretrain/lm_pretrain
Simcse series :
- SimcSe-UNILM SERIES ตัวอย่าง UNILM+SIMCE DATA DATA SUB
- Simcse-bert-wwm ซีรีส์ ตัวอย่าง MLM+ชุดข้อมูลข้อมูลอ้างอิงของ SIMCSE ของชุดข้อมูลการจำแนกข้อความข่าว Thucnews
วงดนตรีฝัง :
- ตัวอย่าง การสูญเสียวงกลม tnews การสูญเสียวงกลม
- ตัวอย่าง สุทธิของสยาม Afqmc Siamese Net คล้ายกัน

การเพิ่มประสิทธิภาพ

   lamb,adma,adamw_hf,adam,adamw,adamw_torch,adamw_torch_fused,adamw_torch_xla,adamw_apex_fused,
   adafactor,adamw_anyprecision,sgd,adagrad,adamw_bnb_8bit,adamw_8bit,lion,lion_8bit,lion_32bit,
   paged_adamw_32bit,paged_adamw_8bit,paged_lion_32bit,paged_lion_8bit,
   lamb_fused_dp adagrad_cpu_dp adam_cpu_dp adam_fused_dp

ผู้กำหนดตารางเวลา

  linear,WarmupCosine,CAWR,CAL,Step,ReduceLROnPlateau, cosine,cosine_with_restarts,polynomial,
  constant,constant_with_warmup,inverse_sqrt,reduce_lr_on_plateau