Téléchargement deep_training - Téléchargement du code source deep

deep_training

Code Source AI

v0.3.1

Télécharger

Le transformateur est tout ce dont vous avez besoin.

Framework d'entraînement profond basé sur les transformateurs

Installer et télécharger

pip install -u Deep_training
Installation du code source

 pip uninstall deep_training
pip install -U git+https://github.com/ssbuild/deep_training.git

Réinstallation du code source

 pip install -U git+https://github.com/ssbuild/deep_training.git --no-deps --force-reinstall

mise à jour

2024-06-10
- 0.3.1 Support GLM4 https://github.com/ssbuild/glm4_finetoning GLM4V https://github.com/ssbuild/glm4v_finetoning
2024-02-15
- 0.2.11 Support Interlm2 https://github.com/ssbuild/internlm2_fineuning
2023-12-02
- 0.2.10 Mise à jour du modèle QWEN pour 1,8b 7b 14b 72b
- 0.2.10.Post0 Fix Qwen Attention_mask
2023-11-13
- 0,2.9 Libération
- 0.2.9.Post0 Prise en charge du chatglm3-6b-32k
2023-10-22
- 0.2.7
  - Clip de support Formation complète https://github.com/ssbuild/clip_finenetuning
  - Prise en charge de la formation complète ASR SEQ2SEQ https://github.com/ssbuild/ASR_SEQ2SEQ_FINENENUNING
  - Prise en charge de la formation complète ASR CTC https://github.com/ssbuild/ASR_CTC_FINENENETUNING
  - Soutenir la détection de l'objet Formation complète https://github.com/ssbuild/dection_finenenetuning
  - Soutien de la segmentation sémantique Formation complète https://github.com/ssbuild/semantic_segmentation
  - Prise en charge de la formation complète ChatGlm3 https://github.com/ssbuild/chatglm3_finenenuning
- 0.2.7.Post1
  - Soutien de la formation complète de Skywork https://github.com/ssbuild/skywork_finenetuning
- 0.2.7.Post2
  - Support BlueLm Training Training https://github.com/ssbuild/blueLm_FineneNetuning
- 0.2.7.post3
  - Soutenez la formation complète de yi https://github.com/ssbuild/yi_finenetuning
- 0.2.7.post4
  - Correction de la sérialisation de la classe de données dans Deeppeed
2023-10-16
- 0.2.6 Support Muti-model
  - VisualGlm Formation complète https://github.com/ssbuild/visualglm_finnenetuning
  - Qwen-vl Formation complète https://github.com/ssbuild/qwen_vl_finenenuning
2023-10-07
- 0.2.5
  - Soutenir Colossalai Training, Strategy DDP, Gemini, Gemini_Auto, Zero2, Zero2_CPU, 3D
- 0.2.5.Post2
  - Soutenez la formation sur l'accélérateur, corrigez un peu de bogue dans l'accélérateur et l'entraîneur HF
- 0.2.5.Post4
  - Correction de l'entraîneur du bug
2023-09-26
- 0.2.4
  - Support Transformers Trainer et QWEN-7B NOUVELLE VERSION ET QWEN-14B. L'ancienne version n'est plus prise en charge. L'ancienne version peut installer Deep_training <= 0.2.3
- 0.2.4.Post3
  - Support IA3 FinEnetuning
2023-09-21
- 0.2.3
  - Soutenir le DPO Formation complète DPO_FINENENUNING
2023-09-06
- 0.2.2
  - Ajuster le nom de module baichuan ajuster Baichuan v2 formation complète baichuan2_fineuning
- 0.2.2.post0
  - Fix Baichuan PTV2
- 0.2.2.post1
  - Correction de Rwkv4 un bogue
- 0.2.2.post4
  - Correction du bogue de masque de lama et de Baichuan
2023-09-02
- 0.2.1
  - Fix Model Llama
2023-08-23
- 0.2.0
  - Libérez le réglage interne de LORA
- 0.2.0.Post1
  - Ajouter le chat xverse-13b et fixer Muti Lora
2023-08-16
- 0.1.21
  - La libération ajoute 5 méthodes d'échelle de corde, fixer ChatGlm2-6b-32k Ropeing Rope_Ratio
- 0.1.21.Post1
  - Correction de la corde de mousse
2023-08-09
- 0.1.17
  - Mettre à jour le modèle QWEN
- 0.1.17.Post0
  - Mettre à jour la configuration QWen
2023-08-08
- 0.1.15.RC2
  - Soutenir xverse-13b Formation complète Xverse_FineneNetuning
2023-08-05
- 0.1.13
  - Soutenir Qwen (大全) Formation complète QWEN_FINENENUNING
- 0.1.13.Post2
  - Correction d'un bug de quantification
- 0.1.14
  - Sélectionner Fix Qwen Stream
2023-07-18
- 0.1.12
  - Soutenir Internlm (Scholar) Formation complète Internlm_FineneNetuning
  - Soutenir Baichuan V2 Formation complète Baichuan2_Fineuning
  - Correction d'adalora certains bogues
  - Soutenir RWKV World Training
2023-07-04
- 0.1.11 RC1
  - Soutenir le modèle de baichuan
  - Prise en charge du modèle ChatGlm2 Formation complète ChatGlm2_Fineuning
- 0.1.11
  - Correction de Baichuan et ChatGlm2 certains bogues
  - Soutenir Conv2D pour Lora
  - Prise en charge de l'ensemble de données de parquet Arrow
2023-06-06
2023-06-06
- 0.1.10
  - Release Ajouter Qlora et prendre en charge plus d'optimiseur et de planificateur
  - Soutenir Lora Invite for Deeppeed Training
  - Prise en charge de RWKV4 TRAPALIT complet RWKV_FINENENETUNING
- 0.1.10.Post0
  - Correction de la configuration du package pour le code CPP et CU pour RWKV4
- 0.1.10.Post1
  - Fix inférer pour rwkv4
2023-05-24
- 0.1.8
  - Corrigez le poids de charge dans prompt_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-05-19
- 0.1.7
  - Correction de 0,1,5 bogues RL
- 0.1.7.Post1
  - Fix ChatGLM-6B-Int4, chatGLM-6B-INT4 PROSUMATION P-TUNING-V2, Fix ILQL Lightning Importation
  - Corrigez le poids de charge dans prompt_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-05-10
- 0.1,5
  - Correction de Lora V2 Modules_to_save Modules de formation supplémentaires personnalisés
  - Soutenir la récompense PPO LLM Formation complète RLHF_LLM
  - Soutenir la récompense PPO CHATGLM Formation complète RLHF_CHATGLM
  - Soutenir la récompense PPO Chatyuan Formation complète RLHF_CHATYUAN
- 0.1.5.
  - Correction des modules d'invite_to_save Modules de formation supplémentaires personnalisés
  - Prise en charge de la formation en mode hors ligne Ilql ILQL Formation complète RLHF_LLM
- 0.1.5.
  - Correction du modèle OPT HIDDEN_SIZE pour PPO ILQL
  - Correction de ppotrainer IlqlTrainer Deeppeed Sauve
  - Importer des admers des transformateurs ou mais une torche d'abord
2023-05-02
- 0.1.4
  - Prise en charge de Prompe_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-04-21
- 0.1.3rc0
  - Prise en charge du modèle de chat MOSS Reference de formation complète MOSS_FINENENUNING
  - MOSS Raisonnement INT4 INT4 quantifié
- 0.1.3.Post0
  - La nouvelle version est basée sur la foudre, la lumière de pytorch et le module Numpy-io est renommé.
2023-04-11
- 0.1.2
  - Refactor Lora V2, ajouter Adora
- 0.1.2.Post0
  - Fix Lova V1, Lova V2 Load_in_8bit
2023-04-07
- Deep_training 0.1.1
  - Mettre à jour la configuration de chatglm
2023-04-02
- Libérez 0.1.0 et Lightning> = 2
2023-03-15
- 0.0.18
  - Prise en charge du modèle ChatGlm (version stable> = 0.0.18.Post7) Référence de formation complète ChatGlm_FineneNetuning
- Correction de l'équilibre des données du processus Deeppeed
- 0.0.18.Post9
  - Ajouter l'interface Stream Stream Stream_chat
- 0.0.20 chatglm lora
  - Continuez à s'entraîner avec le chargement des poids, modifiez le codage des données et adaptez les poids
- 0.0.21.Post0
  - Fix ChatGlm Deeppeed Stage 3 chargement de poids
2023-03-09
- Ajout du modèle LLAMA (version parallèle) pour une référence de formation complète LLAMA_FINENENUNING
2023-03-08
- Ajout du modèle LLAMA (version parallèle non modèle) pour la formation complète de référence Poetry_training
2023-03-02
- Ajouter la formation LORA, Lion, Optimiseur d'agneau, référence de formation complète Chatyuan_FineneNetuning
2023-02-15
- Ajout du modèle pré-formé Palm Palm Poetry
2023-02-13
- Ajouter le modèle de correction d'erreur de grammaire chinoise Géoctor, SEQ2SEQ GRAMMAR ERREUR CORRECTION Modèle
2023-02-09
- Ajout de la pré-formation T5DecOder pour la poésie, modèle de pré-formation LAMDA pour la poésie, modèle de pré-formation T5encoder
2023-02-07
- Ajout d'une option de codage de position de décomposition hiérarchique afin que les transformateurs puissent gérer un texte ultra-long
2023-01-24
- Ajouter la poésie GPT2 pré-formation, poésie T5 pré-formation, poésie unilm pré-formation
2023-01-20
- Ajouter une formation adversaire FGM, FGSM_LOCAL, FREEAT, PGD, FGSM, FREEAT_LOCAL, parmi laquelle Freeat est recommandé d'utiliser Freeat_Local, FGSM est recommandé d'utiliser FGSM_LOCAL
2023-01-19
- Ajout de modèles Proptbertcse supervisés et non supervisés
2023-01-16
- Ajout de modèles diffcse supervisés et non supervisés
2023-01-13
- Ajouter le modèle ESIMCSE
2023-01-11
- Ajouter le modèle de vecteur de phrase TSDAE
2023-01-09
- Ajouter la supervision de l'infonce et la non-supervitation, la supervision SIMCSE et la non-superservation, extraction du modèle relationnel SPN4RE
2023-01-06
- Ajouter une extraction du modèle relationnel OneErel, une extraction du modèle relationnel PRGC, une extraction du modèle d'entité pure
2022-12-24
- Ajouter des modèles de distillation et d'extraction d'événements UNILM
2022-12-16
- CRF_CASCAD CRF CASCADE EXTRACTION ENTITY
- Span NER peut extraire des entités avec deux méthodes de mise en œuvre: chevauchement multi-étiquettes et non-chevauchement multi-étiquettes.
- MHS_NER MODÈLE DE SÉLECTION DE SÉLECTION MULTIQUE
- Modèle d'extraction de l'entité W2ner
- Extraction de l'entité TPLINKERPLUS
- Modèle d'extraction relationnelle TPLINER
- Modèle d'extraction relationnelle TPLINKERPLUS
- MHSLINKER MODÈLE DE SÉLECTION DE SÉLECTION MULTIFSEMENT
2022-11-17 :
- SIMCSE-UNilm Series
- SIMCSE-BERT-WWM Série
- Tnews Circle Loss
- afqmc siamois net similaire
2022-11-15 :
- UNILM AutoTitle Seq2Seq AutoTitle
- Classification normale, extraits de pointeurs nommés entités, les extraits CRF nommés entités
- Classification de préfixe, classification de préfixtuation, préfixtuation des extraits de pointeur nommés entités, préfixtuation des extraits CRF nommés entités
2022-11-12 :
- GPLINKER (Extraction globale du pointeur)
- Casrel (un nouveau cadre de balise binaire en cascade pour la référence de triple extraction relationnelle https://github.com/weizhepei/casrel)
- Spliner (pointeur extrait la relation pointeur sigmoïde ou pointeur simple)
2022-11-11 :
- Cluener_Pointer chinois Extraction d'entité nommée et Cluener CRF chinois nommé Extraction d'entité
- catégorie de chinois tnews
2022-11-06 :
- Tâches de pré-formation pour un modèle tel que MLM, GPT2, T5

tâches

Pré-formation :
- Sous-ensemble de références de données de l'ensemble de données de classification du texte Thucnews News
- Exemples de pré-formation MLM Bert Roberta et autres pré-formation chinoise
- LM Exemple de pré-formation GPT2 et autres pré-formation chinoise
- SEQ2SEQ Pré-formation Exemple T5 Small and Other Chine
- Exemples de pré-formation unilm Unilm Bert Roberta et d'autres pré-formation chinoise et NBSP
Catégorie chinoise :
- Exemple de classification chinoise TNEWS
Extraction d'entité nommée :
- Cluner de données de référence
- Extraction du pointeur global de Cluener
- Extraction Cluener CRF
- Extraction rapide de Cluener CRF
- Extraction de sélection multi-têtes Cluener MHS NER
- Extraction du pointeur de Cluener Span
- Extraction en cascade Cluener CRF
- Extrait de Cluener TplinkerPlus
- extrait pur
- Extraction Cluener W2ner
Extraction relationnelle
- Données de référence DAUES DE DUOE ET DE LA Coupe Faryan
- Extraction de la relation GPLINKER
- Extraction de la relation Casrel
- Extraction de la relation avec les spliner
- Extraction de la relation MHSLinker
- Extraction de la relation TPLINKER
- Extraction de la relation TPLINKERPLUS
- Extraction de la relation Oneerel
- Extraction de la relation PRGC
- Extraction de la relation SPN4RE
Extraction d'événements
- Données de référence DuSe Event Extraction due DataSet V1.0
- Extraction des événements GPLINKER
Série rapide :
- Exemple de classification chinoise de préfixpromppt tnews
- Exemples Préfixtuation de la classification chinoise TNEWS
- Exemple de préfixe de Cluener nommé Entity Global Pointer Extraction
- Exemple de préfixe de Cluener nommé Entité CRF Extraction
- Exemple Propt MLM construit le modèle de données défini par vous-même, et la référence de formation est Pretrain / MLM_PRETRAIN
- Exemple d'invite LM construit le modèle de données défini par vous-même, et la référence de formation est Pretrain / SEQ2SEQ_PRETRAIN, PRETRAIN / LM_PRETRAIN
SIMCSE Série :
- Exemple de série SimcSe-UNILM
- Exemple de la série Simcse-Bert-WWM
Incorporation de la sensibilité :
- Exemple de perte de cercle TNEWS Perte de cercle
- Exemple net siamois afqmc siamois net similaire

Optimiseur

   lamb,adma,adamw_hf,adam,adamw,adamw_torch,adamw_torch_fused,adamw_torch_xla,adamw_apex_fused,
   adafactor,adamw_anyprecision,sgd,adagrad,adamw_bnb_8bit,adamw_8bit,lion,lion_8bit,lion_32bit,
   paged_adamw_32bit,paged_adamw_8bit,paged_lion_32bit,paged_lion_8bit,
   lamb_fused_dp adagrad_cpu_dp adam_cpu_dp adam_fused_dp

planificateur

  linear,WarmupCosine,CAWR,CAL,Step,ReduceLROnPlateau, cosine,cosine_with_restarts,polynomial,
  constant,constant_with_warmup,inverse_sqrt,reduce_lr_on_plateau