deep_training Download - deep_training Source Code Download

deep_training

كود الذكاء الاصطناعي

v0.3.1

تنزيل

المحول هو كل ما تحتاجه.

إطار تدريب عميق على أساس المحولات

تثبيت وتنزيل

PIP تثبيت -u deep_training
تثبيت رمز المصدر

 pip uninstall deep_training
pip install -U git+https://github.com/ssbuild/deep_training.git

رمز المصدر إعادة التثبيت

 pip install -U git+https://github.com/ssbuild/deep_training.git --no-deps --force-reinstall

تحديث

2024-06-10
- 0.3.1 دعم glm4 https://github.com/ssbuild/glm4_finetoning glm4v https://github.com/ssbuild/glm4v_finetoning
2024-02-15
- 0.2.11 دعم internlm2 https://github.com/ssbuild/internlm2_fineuning
2023-12-02
- 0.2.10 تحديث نموذج Qwen لـ 1.8b 7b 14b 72b
- 0.2.10.Post0 Fix Qwen Hound_mask
2023-11-13
- 0.2.9 إطلاق
- 0.2.9.Post0 دعم chatglm3-6b-32k
2023-10-22
- 0.2.7
  - دعم مقطع كامل التدريب https://github.com/SSBUILD/CLIP_FINENETUNING
  - دعم ASR SEQ2SEQ التدريب الكامل https://github.com/SSBUILD/ASR_SEQ2SEQ_FINENETUNING
  - دعم ASR CTC التدريب الكامل https://github.com/SSBUILD/ASR_CTC_FINENETUNING
  - دعم الكشف عن الكائنات كاملة التدريب https://github.com/ssbuild/detection_finenetuning
  - دعم التجزئة الدلالية كاملة التدريب https://github.com/ssbuild/semantic_segressation
  - دعم chatglm3 التدريب الكامل https://github.com/SSBUILD/CHATGLM3_FINENETUNING
- 0.2.7.post1
  - دعم Skywork التدريب الكامل https://github.com/ssbuild/skywork_finenetuning
- 0.2.7.post2
  - دعم bluelm التدريب الكامل https://github.com/ssbuild/bluelm_finenetuning
- 0.2.7.post3
  - دعم yi التدريب الكامل https://github.com/SSBUILD/YI_FINENETUNING
- 0.2.7.post4
  - إصلاح تسلسل DataClass في العميق
2023-10-16
- 0.2.6 دعم muti-model
  - VisualGLM التدريب الكامل https://github.com/ssbuild/visualglm_finenetuning
  - Qwen-Vl التدريب الكامل https://github.com/ssbuild/qwen_vl_finenetuning
2023-10-07
- 0.2.5
  - دعم تدريب Colossalai ، الإستراتيجية DDP ، Gemini ، Gemini_auto ، Zero2 ، Zero2_CPU ، 3D
- 0.2.5.post2
  - دعم تدريب مسرع ، إصلاح بعض الأخطاء في مسرع ومدرب HF
- 0.2.5.post4
  - إصلاح المدرب بعض الأخطاء
2023-09-26
- 0.2.4
  - دعم Transformers Trainer و Qwen-7B إصدار جديد و Qwen-14B. الإصدار القديم لم يعد مدعومًا. يمكن للإصدار القديم تثبيت deep_training <= 0.2.3
- 0.2.4.post3
  - دعم ia3 finenetuning
2023-09-21
- 0.2.3
  - دعم DPO التدريب الكامل dpo_finenetuning
2023-09-06
- 0.2.2
  - ضبط وحدة Baichuan تسمية ضبط Baichuan v2 التدريب الكامل Baichuan2_Fineuning
- 0.2.2.post0
  - إصلاح Baichuan PTV2
- 0.2.2.post1
  - إصلاح RWKV4 خطأ
- 0.2.2.post4
  - إصلاح Llama و Baichuan Mask Bug
2023-09-02
- 0.2.1
  - إصلاح نموذج Llama
2023-08-23
- 0.2.0
  - إطلاق التعديل الداخلي لورا
- 0.2.0.post1
  - أضف دردشة Xverse-13B وإصلاح Muti Lora
2023-08-16
- 0.1.21
  - يضيف الإصدار 5 طرق مقياس الحبل ، إصلاح chatglm2-6b-32k المنطق rope_ratio
- 0.1.21.Post1
  - إصلاح حبل الطحلب
2023-08-09
- 0.1.17
  - تحديث نموذج Qwen
- 0.1.17.Post0
  - تحديث Qwen config
2023-08-08
- 0.1.15.RC2
  - دعم Xverse-13B التدريب الكامل xverse_finenetuning
2023-08-05
- 0.1.13
  - دعم Qwen (大全) التدريب الكامل qwen_finenetuning
- 0.1.13.Post2
  - إصلاح علة الكمي
- 0.1.14
  - إطلاق إصلاح Qwen Stream
2023-07-18
- 0.1.12
  - دعم internlm (باحث) التدريب الكامل internlm_finenetuning
  - دعم Baichuan V2 التدريب الكامل Baichuan2_Fineuning
  - إصلاح Adalora بعض الأخطاء
  - دعم التدريب العالمي RWKV
2023-07-04
- 0.1.11 RC1
  - دعم نموذج Baichuan الكامل التدريب Baichuan_Finenetuning
  - دعم chatglm2 نموذج كامل التدريب chatglm2_fineuning
- 0.1.11
  - إصلاح Baichuan و ChatGlm2 بعض الأخطاء
  - دعم conv2d لوراء
  - دعم مجموعة بيانات Parquet Arrow
2023-06-06
2023-06-06
- 0.1.10
  - إصدار إضافة Qlora ودعم المزيد من المحسّن والجدولة
  - دعم موجه لورا لتدريب السرعة العميقة
  - دعم RWKV4 التدريب الكامل RWKV_FINENETUNING
- 0.1.10.Post0
  - إصلاح إعداد الحزمة ل CPP و CU رمز RWKV4
- 0.1.10.post1
  - إصلاح الاستدلال ل RWKV4
2023-05-24
- 0.1.8
  - إصلاح وزن الحمل في report_tuning ، p_tuning ، prefix_tuning ، exaption_prompt
2023-05-19
- 0.1.7
  - إصلاح 0.1.5 RL البق
- 0.1.7.post1
  - إصلاح chatglm-6b-inn4 ، chatglm-6b-int4 p-tuning-v2 التدريب ، إصلاح ILQL Lightning استيراد
  - إصلاح وزن الحمل في report_tuning ، p_tuning ، prefix_tuning ، exaption_prompt
2023-05-10
- 0.1.5
  - إصلاح وحدات Lora V2
  - دعم مكافأة PPO LLM التدريب الكامل RLHF_LLM
  - دعم مكافأة ppo chatglm تدريب كامل rlhf_chatglm
  - دعم مكافأة ppo chatyuan التدريب الكامل rlhf_chatyuan
- 0.1.5.post2 الإصدار
  - إصلاح الوحدات المطلعة _to_save وحدات تدريب إضافية مخصصة
  - دعم التدريب على وضع ILQL غير متصل بـ ILQL التدريب الكامل RLHF_LLM
- 0.1.5.post4 الإصدار
  - إصلاح نموذج OPT Hidden_Size لـ PPO ILQL
  - إصلاح ppotrainer ilqltrainer speedspeed حفظ الوزن
  - استيراد admaw من Transformers أو ولكن الشعلة أولاً
2023-05-02
- 0.1.4
  - دعم promper_tuning ، p_tuning ، prefix_tuning ، exaption_prompt
2023-04-21
- 0.1.3RC0
  - دعم نموذج الدردشة الطحلب الكامل مرجع التدريب moss_finenetuning
  - MOSS كمية int4 int8 التفكير
- 0.1.3.post0
  - يعتمد الإصدار الجديد على Lightning و Pytorch-Lightning و Module Numpy-Io.
2023-04-11
- 0.1.2
  - Refactor Lora V2 ، أضف Adora
- 0.1.2.post0
  - إصلاح LOVA V1 ، LOVA V2 LOAD_IN_8BIT
2023-04-07
- deep_training 0.1.1
  - تحديث chatglm config
2023-04-02
- إطلاق 0.1.0 والبرق> = 2
2023-03-15
- 0.0.18
  - دعم نموذج chatglm (إصدار مستقر> = 0.0.18.post7) تدريب كامل مرجع chatglm_finenetuning
- إصلاح توازن بيانات عملية العميق
- 0.0.18.post9
  - إضافة واجهة إخراج الدفق stream_chat واجهة
- 0.0.20 ChatGlm Lora
  - متابعة التدريب مع التحميل الأوزان ، وتعديل ترميز البيانات ، وتكييف الأوزان
- 0.0.21.Post0
  - إصلاح chatglm speedspeed المرحلة 3 تحميل الوزن
2023-03-09
- إضافة نموذج LLAMA (نسخة متوازية) لرجال التدريب الكامل LLAMA_FINENETUNING
2023-03-08
- إضافة نموذج LLAMA (إصدار غير موازي غير النموذج) للحصول على Poetry_training التدريب الكامل
2023-03-02
- أضف تدريب لورا ، الأسد ، محسّن لامب ، مرجعي تدريب كامل chatyuan_finenetuning
2023-02-15
- إضافة النموذج المدرب مسبقًا على النخيل بالشعر
2023-02-13
- أضف نموذج تصحيح الخطأ الصيني GEOCTOR ، نموذج تصحيح خطأ القواعد SEQ2SEQ
2023-02-09
- تمت إضافة T5Decoder قبل التدريب للشعر ، نموذج التدريب المسبق LAMDA للشعر ، نموذج التدريب قبل T5Encoder
2023-02-07
- إضافة خيار ترميز موضع التحلل الهرمي بحيث يمكن للمحولات التعامل مع نص طويل للغاية
2023-01-24
- أضف الشعر GPT2 قبل التدريب ، الشعر T5 قبل التدريب ، الشعر يونيلم قبل التدريب
2023-01-20
- أضف تدريبًا عنيفًا FGM ، FGSM_LOCAL ، FREEAT ، PGD ، FGSM ، FREEAT_LOCAL ، من بينها FREEAT لاستخدام FREEAT_LOCAL ، يوصى باستخدام FGSM لاستخدام FGSM_LOCAL
2023-01-19
- تمت إضافة نماذج proptbertcse الخاضعة للإشراف وغير الخاضعة للإشراف
2023-01-16
- إضافة نماذج غير خاضعة للإشراف وغير خاضعة للإشراف
2023-01-13
- إضافة نموذج esimcse
2023-01-11
- أضف نموذج ناقل الجملة TSDAE
2023-01-09
- أضف إشراف Infonce وعدم الإشراف ، والإشراف على SIMCSE وعدم الإشراف ، SPN4RE استخراج النموذج العلائقي
2023-01-06
- أضف استخراج النموذج العلائقي Oneerel ، استخراج نموذج PRGC العلائقي ، استخراج نموذج الكيان النقي
2022-12-24
- أضف نماذج تقطير نموذج Unilm واستخراج الأحداث
2022-12-16
- CRF_CASCAD CRF Cascade Extraction Entity
- يمكن لـ SPAN NER استخراج الكيانات بطريقتين للتنفيذ: متداخلة متعددة العلامات وغير متداخلة غير متداخلة.
- نموذج استخراج كيان اختيار MHS_NER متعدد الرؤوس
- نموذج استخراج كيان W2NER
- استخراج كيان TPlinkerPlus
- نموذج الاستخراج العلائقي tpliner
- نموذج الاستخراج العلائقي tplinkerplus
- نموذج استخراج العلاقة بين MHSLinker Multi-Head Selection
2022-11-17 :
- Simcse-Unilm Series
- Simcse-Bert-WWM Series
- خسارة دائرة Tnews
- AFQMC Siamese Net مماثلة
2022-11-15 :
- unilm autotitle seq2seq autotitle
- التصنيف الطبيعي ، مستخلصات المؤشرات المسماة ، مستخلصات CRF المسماة كيانات
- تصنيف البادئة ، تصنيف البادئة ، مستخلصات مؤشر البادئة ، كيانات مسماة ، مستخلصات CRF بادئة كيانات مسماة
2022-11-12 :
- Gplinker (استخراج المؤشر العالمي)
- CASREL (إطار عمل علامات ثنائية CASCADE لتراجع الاستخراج الثلاثي العلائقي https://github.com/WEIZHEPEI/CASREL)
- spliner (مستخلص المؤشر علاقة مؤشر سيني أو مؤشر بسيط)
2022-11-11 :
- Cluener_pointer الصينية المسمى استخراج الكيان و Cluener CRF الصينية المسمى استخراج الكيان
- TNEWS الفئة الصينية
2022-11-06 :
- مهام التدريب قبل التدريب للنموذج مثل MLM ، GPT2 ، T5

المهام

ما قبل التدريب :
- مراجع البيانات مجموعة فرعية من مجموعة بيانات تصنيف نص الأخبار thucnews
- أمثلة MLM قبل التدريب بيرت روبرتا وغيرها من التدريب الصيني قبل التدريب
- مثال على التدريب قبل التدريب GPT2 وغيره من التدريب الصيني قبل التدريب
- SEQ2SEQ مثال قبل التدريب T5 الصغيرة وغيرها من التدريب الصيني قبل التدريب
- أمثلة على التدريب قبل التدريب يونيلم بيرت روبرتا وغيرها من التدريب الصيني و NBSP
الفئة الصينية :
- مثال على التصنيف الصيني tnews
استخراج الكيان المسمى :
- مرجع البيانات cluner
- استخراج المؤشر العالمي Cluener
- استخراج Cluener CRF
- استخراج موجه Cluener CRF
- Cluener MHS NER Multi Header Expection
- استخراج مؤشر Cluener Span
- استخراج Cluener CRF Cascade
- Cluener tplinkerplus مستخلص
- مستخلص نقي
- Cluener W2ner استخراج
استخراج العلاقة
- مرجع بيانات DUI
- استخراج العلاقة gplinker
- استخراج العلاقة CASREL
- استخراج العلاقة spliner
- MHSLinker استخراج العلاقة
- استخراج العلاقة tplinker
- TplinkerPlus استخراج العلاقة
- استخراج العلاقة Oneerel
- استخراج العلاقة PRGC
- SPN4RE استخراج العلاقة
استخراج الحدث
- بيانات مرجعية بسبب استخراج الحدث بسبب مجموعة بيانات V1.0
- استخراج حدث gplinker
السلسلة السريعة :
- مثال على التصنيف الصيني tnews
- أمثلة بادئة تصنيف tnews الصيني
- مثال بادئة Cluener اسمه Entity Global Coftraction
- مثال بادئة Cluener اسمه CRF استخراج CRF
- مثال PROPT MLM يقوم بإنشاء قالب البيانات الذي تم تعيينه من قبل نفسك ، ومرجع التدريب هو presrain/mlm_pretrain
- مثال على ذلك ، يقوم LM بإنشاء قالب البيانات الذي تم تعيينه من قبل نفسك ، ومرجع التدريب هو presrain/seq2seq_pretrain ، presrain/lm_pretrain
سلسلة Simcse :
- Simcse-Unilm Series مثال Unilm+Simce مرجع بيانات فرعية من مجموعة بيانات تصنيف نص الأخبار Thucnews
- Simcse-Bert-WWM Series مثال MLM+SIMCSE مرجع البيانات الفرعية لمجموعة بيانات تصنيف نص الأخبار THUCNEWS
التضمين المجيد :
- مثال على فقدان الدائرة خسارة دائرة TNEWS
- مثال صافي سيامي AFQMC Siamese Net مماثلة

مُحسّن

   lamb,adma,adamw_hf,adam,adamw,adamw_torch,adamw_torch_fused,adamw_torch_xla,adamw_apex_fused,
   adafactor,adamw_anyprecision,sgd,adagrad,adamw_bnb_8bit,adamw_8bit,lion,lion_8bit,lion_32bit,
   paged_adamw_32bit,paged_adamw_8bit,paged_lion_32bit,paged_lion_8bit,
   lamb_fused_dp adagrad_cpu_dp adam_cpu_dp adam_fused_dp

جدولة

  linear,WarmupCosine,CAWR,CAL,Step,ReduceLROnPlateau, cosine,cosine_with_restarts,polynomial,
  constant,constant_with_warmup,inverse_sqrt,reduce_lr_on_plateau