Descarga de deep_training - Descarga de código fuente deep

deep_training

Código Fuente de IA

v0.3.1

Descargar

Transformer es todo lo que necesitas.

Marco de entrenamiento profundo basado en transformadores

instalar y descargar

PIP install -u profunde_trining
Instalación del código fuente

 pip uninstall deep_training
pip install -U git+https://github.com/ssbuild/deep_training.git

Reinstalar el código fuente

 pip install -U git+https://github.com/ssbuild/deep_training.git --no-deps --force-reinstall

actualizar

2024-06-10
- 0.3.1 Soporte GLM4 https://github.com/ssbuild/Glm4_finetoning Glm4v https://github.com/ssbuild/Glm4v_finetoning
2024-02-15
- 0.2.11 Apoyo a Internlm2 https://github.com/ssbuild/internlm2_fineuning
2023-12-02
- 0.2.10 Actualizar el modelo QWEN para 1.8B 7B 14B 72B
- 0.2.10.post0 corrige qwen atención_mask
2023-11-13
- 0.2.9 Liberación
- 0.2.9.post0 Support ChatGLM3-6B-32K
2023-10-22
- 0.2.7
  - Soporte Clip Capacitación completa https://github.com/ssbuild/clip_finenetuning
  - Soporte ASR SEQ2SEQ Capacitación completa https://github.com/ssbuild/asr_seq2seq_finenetuning
  - Soporte de capacitación completa ASR CTC https://github.com/ssbuild/asr_ctc_finenetuning
  - Detección de objetos de soporte Capacitación completa https://github.com/ssbuild/detection_finenetuning
  - Soporte de la segmentación semántica capacitación completa https://github.com/ssbuild/semantic_segmentation
  - Soporte de capacitación completa chatglm3 https://github.com/ssbuild/chatglm3_finenetuning
- 0.2.7.post1
  - Support Skywork Capacitación completa https://github.com/ssbuild/skywork_finenetuning
- 0.2.7.post2
  - Apoyo a Bluelm Capacitación completa https://github.com/ssbuild/bluelm_finenetuning
- 0.2.7.post3
  - Apoyo yi capacitación completa https://github.com/ssbuild/yi_finenetuning
- 0.2.7.post4
  - Corrección de la serialización de dataclass en DeepSpeed
2023-10-16
- 0.2.6 Soporte Muti-Modelo
  - Visualglm Capacitación completa https://github.com/ssbuild/visualglm_finenetuning
  - QWEN-VL COMPLETA COMPLETA https://github.com/ssbuild/qwen_vl_finenetuning
2023-10-07
- 0.2.5
  - Apoyo a la capacitación de Colossalai, estrategia DDP, Gemini, Gemini_auto, Zero2, Zero2_CPU, 3D
- 0.2.5.post2
  - Soporte de capacitación del acelerador, corrige algunos errores en Acelerator y HF Trainer
- 0.2.5.post4
  - Arregle el entrenador un error
2023-09-26
- 0.2.4
  - Soporte de Transformers Trainer y QWEN-7B nueva versión y QWEN-14B. La versión anterior ya no es compatible. La versión anterior puede instalar profundo_training <= 0.2.3
- 0.2.4.post3
  - Soporte de Finenetuning IA3
2023-09-21
- 0.2.3
  - Soporte de capacitación completa DPO DPO_FINENETUning
2023-09-06
- 0.2.2
  - Ajustar el módulo Baichuan Naming Ajuste Baichuan V2 Entrenamiento completo Baichuan2_FineUning
- 0.2.2.post0
  - FIJA BAICHUAN PTV2
- 0.2.2.post1
  - corrige rwkv4 un error
- 0.2.2.post4
  - Corrección de Llama y Baichuan Mask Bug
2023-09-02
- 0.2.1
  - FIJO MODELO DE LLAMA
2023-08-23
- 0.2.0
  - Libere el ajuste interno de Lora
- 0.2.0.post1
  - Agregar chat xverse-13b y arreglar Muti Lora
2023-08-16
- 0.1.21
  - La versión agrega 5 métodos de escala de cuerda, corrige chatglm2-6b-32k razonamiento rope_ratio
- 0.1.21.post1
  - arreglar la cuerda de musgo
2023-08-09
- 0.1.17
  - Actualizar el modelo QWen
- 0.1.17.post0
  - Actualizar la configuración QWEN
2023-08-08
- 0.1.15.rc2
  - Apoyo Xverse-13B Entrenamiento completo xverse_finenetuning
2023-08-05
- 0.1.13
  - Soporte de Qwen (大全) Capacitación completa QWEN_FINENETUning
- 0.1.13.post2
  - Se corrigió el error de cuantificación
- 0.1.14
  - liberar corrección qwen stream
2023-07-18
- 0.1.12
  - Apoyo a Internlm (erudito) Capacitación completa de la fina
  - Apoyo a Baichuan V2 COMPINACIÓN COMPLETA BAICHUAN2_FINEUNING
  - arregla adalora algunos errores
  - Apoya la capacitación mundial de RWKV
2023-07-04
- 0.1.11 RC1
  - Apoyo al modelo de Baichuan Capacitación completa Baichuan_finenetuning
  - Soporte de chatglm2 modelo capacitación completa chatglm2_fineuning
- 0.1.11
  - corrige Baichuan y ChatGlm2 algunos errores
  - Apoyo con conv2d para Lora
  - compatible con el conjunto de datos de flecha parquet
2023-06-06
2023-06-06
- 0.1.10
  - Release Agregar qlora y admitir más optimizador y programador
  - Apoye a Lora la solicitud de capacitación de Deepspeed
  - Apoyo RWKV4 COMPLETA COMPLETA RWKV_FINENETUNING
- 0.1.10.post0
  - Corrección de la configuración del paquete para el código CPP y CU para RWKV4
- 0.1.10.post1
  - FIJAR INFER para RWKV4
2023-05-24
- 0.1.8
  - Corrección de peso de carga en pronto
2023-05-19
- 0.1.7
  - corrige 0.1.5 errores RL
- 0.1.7.post1
  - FIJAR CHATGLM-6B-INT4, CHATGLM-6B-INT4 P-Tuning-V2 Capacitación, Fix ILQL Lightning Import
  - Corrección de peso de carga en pronto
2023-05-10
- 0.1.5
  - FIJA LORA V2 MODULOS_TO_SAVE Módulos de capacitación adicionales personalizados
  - Apoyo de recompensa PPO LLM Capacitación completa RLHF_LLM
  - Apoyo de recompensa PPO CHATGLM COMPINACIÓN COMPLETA RLHF_CHATGLM
  - Apoyo de recompensa PPO Chatyuan Capacitación completa rlhf_chatyuan
- 0.1.5.post2 liberación
  - corrige módulos de inmediato_to_save módulos de capacitación adicionales personalizados
  - Soporte de capacitación en modo fuera de línea ILQL ILQL Training RLHF_LLM
- 0.1.5.post4 liberación
  - Corrección del modelo OPT Hidden_Size para PPO ILQL
  - FIJAR PPOTRAINER ILQLTRAINER DESPEED SHACE PESO PESO
  - Importar ADMAW de Transformers o pero Antorch en primer lugar
2023-05-02
- 0.1.4
  - admitir induning, p_tuning, prefix_tuning, adaption_prompt
2023-04-21
- 0.1.3rc0
  - Apoyo al modelo de chat de musgo referencia de capacitación completa MOSS_FINENETUNING
  - Moss cuantificado int4 int8 razonamiento
- 0.1.3.post0
  - La nueva versión se basa en Lightning, Pytorch-Lightning, y se renombra el módulo Numpy-Io.
2023-04-11
- 0.1.2
  - Refactor Lora V2, agregue Adora
- 0.1.2.post0
  - corrige Lova V1, Lova V2 Load_in_8bit
2023-04-07
- Deep_trining 0.1.1
  - Actualizar la configuración de chatglm
2023-04-02
- Versión 0.1.0 y Lightning> = 2
2023-03-15
- 0.0.18
  - Modelo de compatibilidad con ChatGlm (versión estable> = 0.0.18.post7) Referencia de entrenamiento completo CHATGLM_FINENETUNING
- Arreglar el saldo de datos del proceso de la velocidad profunda
- 0.0.18.post9
  - Agregar interfaz de salida de flujo interfaz stream_chat
- 0.0.20 chatglm lora
  - Continuar entrenando con pesas de carga, modificar la codificación de datos y adaptar los pesos
- 0.0.21.post0
  - FIJAR CHATGLM Deepeed Stage 3 Carga de peso
2023-03-09
- Agregar modelo de llama (versión paralela) para referencia de entrenamiento completo llama_finenetuning
2023-03-08
- Agregar modelo de LLAMA (versión paralela no modelo) para la referencia de entrenamiento completo Poetry_Training
2023-03-02
- Agregue el entrenamiento Lora, Lion, Lamb Optimizer, Referencia de entrenamiento completo Chatyuan_Finenetuning
2023-02-15
- Agregar el modelo de Poetry Palm pretrontratado
2023-02-13
- Agregue el modelo de corrección de errores gramaticales chinos Geoctor, SEQ2SEQ Modelo de corrección de errores de gramática
2023-02-09
- Se agregó pretruamiento de T5Decoder para poesía, modelo de pre-entrenamiento de LAMDA para poesía, modelo de pre-entrenamiento T5Encoder T5Encoder
2023-02-07
- Agregar opción de codificación de posición de descomposición jerárquica para que los transformadores puedan manejar texto ultra largo
2023-01-24
- Agregar poesía GPT2 Pre-Training, Poetry T5 Pre-Training, Poetry Unilm Pre-Training
2023-01-20
- Agregue entrenamiento adversario FGM, FGSM_Local, Freeat, PGD, FGSM, Freeat_Local, entre los cuales se recomienda usar Freeat_Local, FGSM para usar FGSM_Local
2023-01-19
- Se agregaron modelos supervisados y no supervisados de proptbertcse
2023-01-16
- Modelos supervisados y no supervisados de DIFFCSE agregados
2023-01-13
- Agregar modelo ESIMCSE
2023-01-11
- Agregar modelo de vector de oración TSDAE
2023-01-09
- Agregar supervisión de Infonce y no supervisión, supervisión SIMCSE y no supervisión, extracción de modelo relacional SPN4RE
2023-01-06
- Agregue la extracción del modelo relacional de Oneerel, extracción del modelo relacional PRGC, extracción del modelo de entidad pura
2022-12-24
- Agregar modelos de destilación de modelos unilm y extracción de eventos
2022-12-16
- CRF_CASCAD CRF Entidad de extracción en cascada
- SPAN NER puede extraer entidades con dos métodos de implementación: superposición de múltiples etiquetas y no superpuesto multiclabel.
- Modelo de extracción de entidad de selección de múltiples cabezas MHS_NER
- modelo de extracción de entidad W2Ner
- extracción de entidad tplinkerplus
- modelo de extracción relacional tpliner
- modelo de extracción relacional tplinkerplus
- Modelo de extracción de relación de selección de múltiples cabezas mhslinker
2022-11-17 :
- Serie SIMCSE-UNILM
- Serie Simcse-Bert-WWM
- pérdida de círculo de tNews
- AFQMC siamese Net similar
2022-11-15 :
- Unilm Autotitle SEQ2SEQ Autotitle
- Clasificación normal, Pointer extrae entidades nombradas, CRF extrae entidades nombradas
- Clasificación de prefiesta, clasificación de prefiesta, puntero de prefiesta extrae entidades nombradas, extractos de CRF de prefiesta con nombre de entidades nombradas
2022-11-12 :
- Gplinker (extracción global de puntero)
- Casrel (un nuevo marco de etiquetado binario en cascada para referencia de extracción de triple relacional https://github.com/weizhepei/casrel)
- Spliner (Pointer extrae una relación puntero sigmoidal o puntero simple)
2022-11-11 :
- cluyer_pointer chino con nombre de extracción de entidad y clúener CRF chino nombrado extracción de entidad
- TNEWS Categoría china
2022-11-06 :
- Tareas previas a la capacitación para modelo como MLM, GPT2, T5

tareas

Pretruado :
- Subconjunto de referencias de datos del conjunto de datos de clasificación de texto de noticias
- Ejemplos de pre-entrenamiento de MLM Bert Roberta y otros pre-entrenamiento chino
- Ejemplo de pre-entrenamiento de LM GPT2 y otros pre-entrenamiento chino
- SEQ2SEQ EJEMPLO DE PRETIENCIA T5 PEQUEÑO Y OTROS PERRETINACIONES CHINES
- Ejemplos de pre-entrenamiento de unilm unilm Bert Roberta y otros pre-entrenamiento chino y nbsp
Categoría china :
- Ejemplo TNews Clasificación china
Extracción de entidad nombrada :
- Cluner de datos de referencia
- Extracción de puntero global de Cluener
- Extracción de CRF CLUERN
- Extracción de inmediato de CLUERNER CRF
- Extracción de selección de múltiples cascos de Cluener MHS NER
- extracción de puntero de span de cluye
- extracción en cascada de CLUERNER CRF
- Extracto de tplinkerplus
- extracto puro
- Extracción de Cluener W2ner
Extracción de relaciones
- Datos de referencia DUIE y Faryan Cup First Phase Data
- extracción de relación de gplinker
- extracción de relación de casrel
- Extracción de relación spliner
- extracción de relación mhslinker
- extracción de relación tplinker
- extracción de relación tplinkerplus
- Extracción de relación de Oneerel
- Extracción de relaciones PRGC
- extracción de relación spn4re
Extracción de eventos
- Data de referencia Duee Event Extraction Duee V1.0 DataSet
- Extracción de eventos de Gplinker
serie rápida :
- Ejemplo de prefixprompt tNews Clasificación china
- Ejemplos previos a la clasificación china de TNEWS
- Ejemplo prefixtuning cluyer nombrado entidad de extracción de puntero global
- Ejemplo prefixtuning cluyer nombrado Entity CRF Extracción
- Ejemplo PropT MLM construye la plantilla de datos establecida por usted mismo, y la referencia de entrenamiento es Pretrin/MLM_Pretrain
- Ejemplo de indicación LM construye la plantilla de datos establecida por usted mismo, y la referencia de entrenamiento es Pretrin/SEQ2SEQ_PRETRAIN, Pretrain/LM_Pretrain
Serie SIMCSE :
- Ejemplo de la serie SIMCSE-UNILM UNILM+SIMCE Subconjunto de datos de referencia del conjunto de datos de clasificación de texto de noticias
- SIMCSE-Bert-WWM Ejemplo de la serie MLM+SIMCSE Subconjunto de datos de referencia del conjunto de datos de clasificación de texto de noticias
Sentense Incrustación :
- Ejemplo de pérdida de círculo TNews Pérdida de círculo
- Siamese Net Ejemplo AFQMC Siamese Net similar

Optimizador

   lamb,adma,adamw_hf,adam,adamw,adamw_torch,adamw_torch_fused,adamw_torch_xla,adamw_apex_fused,
   adafactor,adamw_anyprecision,sgd,adagrad,adamw_bnb_8bit,adamw_8bit,lion,lion_8bit,lion_32bit,
   paged_adamw_32bit,paged_adamw_8bit,paged_lion_32bit,paged_lion_8bit,
   lamb_fused_dp adagrad_cpu_dp adam_cpu_dp adam_fused_dp

planificador

  linear,WarmupCosine,CAWR,CAL,Step,ReduceLROnPlateau, cosine,cosine_with_restarts,polynomial,
  constant,constant_with_warmup,inverse_sqrt,reduce_lr_on_plateau

Obras

Cree un programa de capacitación de fábrica de modelos, liviano y eficiente y haga que sea más fácil, el modelo de entrenamiento más fácil de comenzar.