deep_training deep

deep_training

Código-Fonte de IA

v0.3.1

Baixar

Transformador é tudo que você precisa.

Estrutura de treinamento profundo baseado em transformadores

Instale e baixe

pip install -u Deep_training
Instalação do código -fonte

 pip uninstall deep_training
pip install -U git+https://github.com/ssbuild/deep_training.git

O código -fonte reinstala

 pip install -U git+https://github.com/ssbuild/deep_training.git --no-deps --force-reinstall

atualizar

2024-06-10
- 0.3.1 Suporte GLM4 https://github.com/ssbuild/glm4_finetoton glm4v https://github.com/ssbuild/glm4v_finetoning
2024-02-15
- 0.2.11 Suporte InternLM2 https://github.com/ssbuild/internlm2_fineuning
2023-12-02
- 0.2.10 Atualizar modelo QWEN para 1,8b 7b 14b 72b
- 0.2.10.post0 corrigir qwen attion_mask
2023-11-13
- 0.2.9 Release
- 0.2.9.Post0 Suporte Chatglm3-6b-32k
2023-10-22
- 0.2.7
  - Clipe de suporte Treinamento completo https://github.com/ssbuild/clip_finenetuning
  - Suporte ASR SEQ2SEQ TREINAMENTO COMPLETO https://github.com/ssbuild/asr_seq2seq_fineNenetUning
  - Suporte ASR CTC Treinamento completo https://github.com/ssbuild/asr_ctc_fineNenetuning
  - Suporte Detecção de Objetos Treinamento completo https://github.com/ssbuild/detection_fineNenetuning
  - Apoie a segmentação semântica Treinamento completo https://github.com/ssbuild/semantic_segmentation
  - Suporte Chatglm3 Treinamento completo https://github.com/ssbuild/chatglm3_fineNenetuning
- 0.2.7.Post1
  - Suporte Skywork Treinamento completo https://github.com/ssbuild/skywork_finenetuning
- 0.2.7.Post2
  - Suporte Bluelm Treinamento completo https://github.com/ssbuild/bluelm_fineNenetuning
- 0.2.7.Post3
  - Apoie Yi Treinamento completo https://github.com/ssbuild/yi_finenetuning
- 0.2.7.Post4
  - Corrija a serialização do dataclass na velocidade DeepSpeed
2023-10-16
- 0.2.6 Suporte Muti-Model
  - VisualGLM Treinamento completo https://github.com/ssbuild/visualglm_fineNenetuning
  - QWEN-VL TREINAMENTO COMPLETO https://github.com/ssbuild/qwen_vl_fineNenetuning
2023-10-07
- 0.2.5
  - Apoie o Treinamento de Colossalai, DDP de estratégia, Gemini, Gemini_Auto, Zero2, Zero2_CPU, 3D
- 0.2.5.Post2
  - Treinamento do Acelerador de Suporte, conserte um pouco de Bug no acelerador e treinador HF
- 0.2.5.Post4
  - Corrigir um bug do treinador
2023-09-26
- 0.2.4
  - Suporte Transformers Trainer e QWEN-7B NOVA versão e QWEN-14B. A versão antiga não é mais suportada. A versão antiga pode instalar Deep_training <= 0.2.3
- 0.2.4. Post3
  - Apoie IA3 FineNetuning
2023-09-21
- 0.2.3
  - Suporte DPO Treinamento completo DPO_FINENETUNING
2023-09-06
- 0.2.2
  - Ajuste o módulo Baichuan Nomeação Ajuste Baichuan v2 Treinamento completo baichuan2_fineUning
- 0.2.2.Post0
  - Fix Baichuan Ptv2
- 0.2.2.Post1
  - Corrija rwkv4 um bug
- 0.2.2.Post4
  - Corrigir Bug de máscara de lhama e Baichuan
2023-09-02
- 0.2.1
  - Corrija o modelo LLAMA
2023-08-23
- 0.2.0
  - Libere o ajuste interno da Lora
- 0.2.0.Post1
  - Adicione Xverse-13b Chat e Fix Muti Lora
2023-08-16
- 0.1.21
  - A liberação adiciona 5 métodos de escala de corda, Fix Chatglm2-6b-32k Raciocínio ROPE_RATIO
- 0.1.21.post1
  - Corrija corda de musgo
2023-08-09
- 0.1.17
  - Atualize o modelo QWEN
- 0.1.17.post0
  - Atualizar QWEN Config
2023-08-08
- 0.1.15.rc2
  - Suporte xverse-13b Treinamento completo xverse_fineNenetUning
2023-08-05
- 0.1.13
  - Suporte QWEN (大全) Treinamento completo QWEN_FINENENENING
- 0.1.13. Post2
  - Corrija o bug de quantização
- 0.1.14
  - Liberação Fix Qwen Stream
2023-07-18
- 0.1.12
  - Apoie a InternLM (Scholar) Treinamento completo Internlm_fineNenetUning
  - Apoie Baichuan V2 Treinamento completo baichuan2_fineUning
  - Corrija Adalora alguns bugs
  - Apoie o treinamento mundial RWKV
2023-07-04
- 0.1.11 RC1
  - Apoiar o modelo Baichuan Treinamento completo baichuan_fineNenetuning
  - Suporte Chatglm2 Treinamento completo Chatglm2_fineuning
- 0.1.11
  - Corrija Baichuan e Chatglm2 alguns bugs
  - Apoie Conv2d para Lora
  - Suportar conjunto de dados de seta parquet
2023-06-06
2023-06-06
- 0.1.10
  - libere adicione qlora e suporte mais otimizador e agendador
  - Apoie o prompt de Lora para treinamento de velocidade profunda
  - Suporte RWKV4 Treinamento completo rwkv_fineNenetUning
- 0.1.10.post0
  - Corrija a configuração do pacote para CPP e código Cu para RWKV4
- 0.1.10.Post1
  - Corrigir inferir para rwkv4
2023-05-24
- 0.1.8
  - Corrija o peso da carga em prompt_tuning, p_tuning, prefix_tuning, adapttion_prompt
2023-05-19
- 0.1.7
  - Corrija 0,1,5 bugs rl
- 0.1.7.Post1
  - Fix Chatglm-6b-Int4, Chatglm-6b-Int4 P-Tuning-V2 Treinamento, Fix ILQL Lightning Import
  - Corrija o peso da carga em prompt_tuning, p_tuning, prefix_tuning, adapttion_prompt
2023-05-10
- 0.1.5
  - Fix Lora V2 Modules_to_save Módulos de treinamento adicionais personalizados
  - Recompensa de suporte PPO LLM TREINAMENTO COMPLETO RLHF_LLM
  - Recompensa de suporte PPO Chatglm Treinamento completo RLHF_CHATGLM
  - Recompensa de suporte PPO Chatyuan Treinamento completo rlHf_chatyuan
- 0.1.5.Post2 Release
  - Corrija módulos de prompt Prompt_to_save Módulos de treinamento adicionais personalizados
  - Suporte a ILQL Modo offline Treinamento ILQL Treinamento completo rlHf_llm
- 0.1.5.Post4 Release
  - Fix Opt Model Hidden_size para PPO ILQL
  - Corrigir PpoTrainer ilqlTrainer DeepSpeed Save Weight
  - Importar AdmAw dos Transformers ou mas Torch em primeiro lugar
2023-05-02
- 0.1.4
  - Prompt de suporte, p_tuning, prefix_tuning, adaption_prompt
2023-04-21
- 0.1.3rc0
  - Apoiar modelo de treinamento de bate -papo Moss Referência de treinamento completa Moss_fineNenetUning
  - Moss Quantificado Int4 Int8 Raciocínio
- 0.1.3.Post0
  - A nova versão é baseada no Lightning, Pytorch-Lightning e o módulo Numpy-Io é renomeado.
2023-04-11
- 0.1.2
  - Refactor Lora v2, adicione Adora
- 0.1.2.Post0
  - Fix Lova v1, Lova v2 load_in_8bit
2023-04-07
- Deep_training 0.1.1
  - Atualize ChatGlm Config
2023-04-02
- Liberação 0.1.0 e Lightning> = 2
2023-03-15
- 0.0.18
  - Modelo de suporte ChatGlm (versão estável> = 0.0.18.post7) Referência de treinamento completo chatglm_fineNenetuning
- Corrija o balanço de dados do processo DeepSpeed
- 0.0.18.post9
  - Adicionar interface de saída de fluxo interface_chat interface
- 0.0.20 chatglm lora
  - Continue treinando com pesos de carregamento, modifique a codificação de dados e adapte pesos
- 0.0.21.post0
  - Corrija Chatglm DeepSpeed Stage 3 Carregamento de peso
2023-03-09
- Adicionando modelo de llama (versão paralela) para referência completa de referência de treinamento llama_fineNenetuning
2023-03-08
- Adicionando modelo de lhama (versão paralela não model) para referência de treinamento completa poesia_training
2023-03-02
- Adicionar treinamento lora, leão, otimizador de cordeiro, referência completa de treinamento chatyuan_fineNenetuning
2023-02-15
- Adicionando o modelo pré-treinado de palmeira de poesia
2023-02-13
- Adicione o geoCtor de correção de erro gramatical chinês, modelo de correção de erro da gramática seq2seq
2023-02-09
- Adicionado T5Decoder pré-treinamento para poesia, modelo de pré-treinamento LAMDA para poesia, modelo de pré-treinamento T5Encoder
2023-02-07
- Adicionando opção de codificação de posição de decomposição hierárquica para que os transformadores possam lidar com um texto ultra-longo
2023-01-24
- Adicione poesia GPT2 pré-treinamento, poesia T5 pré-treinamento, poesia unilm pré-treinamento
2023-01-20
- Adicione o treinamento adversário FGM, FGSM_LOCAL, FREEAT, PGD, FGSM, FREEAT_LOCAL, entre os quais Freeat é recomendado para usar freeat_local, recomenda -se FGSM para usar FGSM_LOCAL
2023-01-19
- Adicionado Modelos Proptbertcse supervisionados e não supervisionados
2023-01-16
- Modelos adicionados e não supervisionados de Diffcse
2023-01-13
- Adicione o modelo ESIMCSE
2023-01-11
- Adicionar modelo de vetor de sentença tsdae
2023-01-09
- Adicione a supervisão e a não supervisão do infonce, supervisão SIMCSE e não supervisação, extração do modelo relacional spn4re
2023-01-06
- Adicionar extração de modelo relacional OneErel, extração do modelo relacional do PRGC, extração do modelo de entidade pura
2022-12-24
- Adicionar modelos de modelos Unilm e modelos de extração de eventos
2022-12-16
- CRF_CASCAD CRF Cascade Extração Entidade
- O Span Ner pode extrair entidades com dois métodos de implementação: sobreposição de vários rótulos e sem sobreposição de vários rótulos.
- MHS_NER MODELO DE EXTRAÇÃO DE ENTIDADE DE SELEÇÃO MULTI-PARTE
- Modelo de extração de entidades W2ner
- Extração de entidades tplinkerplus
- Modelo de extração relacional tpliner
- modelo de extração relacional tplinkerplus
- Model de extração de seleção de seleção de várias cabeças MHSLinker
2022-11-17 :
- Série Simcse-Unilm
- Série Simcse-Bert-WWM
- TNews Circle Perda
- AfQMC Siamese Net
2022-11-15 :
- Unilm AutoTitle SEQ2SEQ Autotitle
- Classificação normal, extratos de ponteiro denominados entidades, extratos de CRF denominados entidades
- Classificação de prefixação, classificação de prefixação, extratos de prefixação de ponteiro denominados entidades, prefixando extratos de CRF denominados
2022-11-12 :
- Gplinker (extração global de ponteiro)
- Casrel (uma nova estrutura de marcação binária em cascata para referência de extração tripla relacional https://github.com/weizhepei/casrel)
- Spliner (ponteiro extrai o ponteiro sigmóide de relacionamento ou ponteiro simples)
2022-11-11 :
- Cluener_Pointer Chinês Nomeado Extração de Entidade e CLUENER CRF CHINEIRA EXTRAÇÃO DE ENTIDADE
- tnews categoria chinesa
2022-11-06 :
- Tarefas de pré-treinamento para modelo como MLM, GPT2, T5

tarefas

Pré-treinamento :
- Referências de dados subconjunto do conjunto de dados de classificação de texto de notícias thucnews
- Exemplos de pré-treinamento da MLM Bert Roberta e outros chineses pré-treinamento
- Exemplo de pré-treinamento de LM GPT2 e outros pré-treinamento chinês
- Exemplo de pré-treinamento seq2seq t5 pequeno e outro pré-treinamento chinês
- Exemplos de pré-treinamento da Unilm Unilm Bert Roberta e outros pré-treinamento chinês e NBSP
Categoria Chinesa :
- Exemplo de classificação chinesa
Extração de entidade nomeada :
- CLUNER DE DADOS DE REFERÊNCIA
- Extração de ponteiro global de Cluener
- Extração de CRF da CLUENER
- Extração imediata do CLUENER CRF
- Extração de seleção de vários cabeçalhos do Cluener MHS
- Extração de ponteiro de clueener
- Extração em cascata de CLUENER CRF
- extrato de cluener tplinkerplus
- extrato puro
- Extração de Cluener W2ner
Extração de relacionamento
- Dados de referência Duie e Dados da primeira fase da Copa Faryan
- Extração de relacionamento Gplinker
- Extração de relacionamento de Casrel
- Extração de relacionamento com Spliner
- Extração de relacionamento MHSlinker
- Extração de relacionamento com tplinker
- Extração de relacionamento com tplinkerplus
- Extração de relacionamento de umaerel
- Extração de relacionamento com PRGC
- Extração de relacionamento SPN4RE
Extração de eventos
- Dados de referência Duee Event Extração Duee v1.0 DataSet
- Extração de eventos Gplinker
Série Prompida :
- Exemplo prefixprompt tnews classificação chinesa
- Exemplos prefixando a classificação chinesa TNEWS
- Exemplo de prefixo cluener denominado entidade Global Pointer Extração
- Exemplo de prefixtuning cluener nomeado entidade CRF Extração
- Exemplo Propt MLM Construa o modelo de dados definido por você mesmo, e a referência de treinamento é pré -train/mlm_pretrain
- Exemplo Prompt LM Constrói o modelo de dados definido por você mesmo, e a referência de treinamento é pré -train/seq2seq_pretrain, pretain/lm_pretrain
Série Simcse :
- Exemplo de série Simcse-Unilm Exemplo Unilm+Simce Referência Subconjunto de Dados de Thucnews
- Exemplo de série SIMCSE-BERT-WWM MLM+SIMCSE Referência Subconjunto de Dados do THUCNEWS DataSet de classificação de texto de notícias
Sentense incorporação :
- Exemplo de perda de círculo TNews Circle Loss
- Exemplo de rede siamesa AFQMC Siamese Net

Otimizador

   lamb,adma,adamw_hf,adam,adamw,adamw_torch,adamw_torch_fused,adamw_torch_xla,adamw_apex_fused,
   adafactor,adamw_anyprecision,sgd,adagrad,adamw_bnb_8bit,adamw_8bit,lion,lion_8bit,lion_32bit,
   paged_adamw_32bit,paged_adamw_8bit,paged_lion_32bit,paged_lion_8bit,
   lamb_fused_dp adagrad_cpu_dp adam_cpu_dp adam_fused_dp

Agendador

  linear,WarmupCosine,CAWR,CAL,Step,ReduceLROnPlateau, cosine,cosine_with_restarts,polynomial,
  constant,constant_with_warmup,inverse_sqrt,reduce_lr_on_plateau