deep_training Download - deep_training исходный код скачать

deep_training

AI Исходный код

v0.3.1

Скачать

Трансформер - это все, что вам нужно.

Глубокая тренировочная структура, основанная на трансформаторах

установить и скачать

PIP установка -u Deep_training
Установка исходного кода

 pip uninstall deep_training
pip install -U git+https://github.com/ssbuild/deep_training.git

Установка исходного кода

 pip install -U git+https://github.com/ssbuild/deep_training.git --no-deps --force-reinstall

обновлять

2024-06-10
- 0.3.1 Поддержка GLM4 https://github.com/ssbuild/glm4_finetoning glm4v https://github.com/ssbuild/glm4v_finetoning
2024-02-15
- 0.2.11 Поддержка internlm2 https://github.com/ssbuild/internlm2_fineuning
2023-12-02
- 0.2.10 Обновление модели QWEN для 1,8B 7B 14B 72B
- 0.2.10.post0 исправить qwen attection_mask
2023-11-13
- 0.2.9 Выпуск
- 0.2.9.Post0 Поддержка Chatglm3-6B-32K
2023-10-22
- 0,2,7
  - Клип поддержки Полный обучение https://github.com/ssbuild/clip_finenetuning
  - Поддержка ASR SEQ2SEQ Полное обучение https://github.com/ssbuild/asr_seq2seq_fineneTuning
  - Поддержка ASR CTC Complete Training https://github.com/ssbuild/asr_ctc_finenetuning
  - Обнаружение объекта поддержки Полное обучение https://github.com/ssbuild/detection_finenetuning
  - Поддержка семантической сегментации Полное обучение https://github.com/ssbuild/semantic_segmation
  - Поддержка Chatglm3 Полное обучение https://github.com/ssbuild/chatglm3_finenetuning
- 0.2.7.post1
  - Поддержка Skywork Complete Training https://github.com/ssbuild/skywork_finenetuning
- 0.2.7.post2
  - Поддержка Bluel Complete Training https://github.com/ssbuild/bluelm_fineneTuning
- 0.2.7.post3
  - Поддержка Yi Full Training https://github.com/ssbuild/yi_fineneTuning
- 0.2.7.post4
  - Исправить сериализацию DataClass в DeepSpeed
2023-10-16
- 0.2.6 Поддержка Muti-Model
  - Visualglm Complete Training https://github.com/ssbuild/visualglm_finenetuning
  - QWEN-VL Complete Training https://github.com/ssbuild/qwen_vl_finenetuning
2023-10-07
- 0,2,5
  - Поддержка обучения Colossalai, стратегия DDP, Gemini, Gemini_auto, Zero2, Zero2_cpu, 3d
- 0.2.5.post2
  - Поддержка обучения акселератора, исправить некоторую ошибку в Accelerator и HF Trainer
- 0.2.5.post4
  - Исправить тренер некоторую ошибку
2023-09-26
- 0,2,4
  - Поддержка Transformers Trainer и QWEN-7B Новая версия и QWEN-14B. Старая версия больше не поддерживается. Старая версия может установить Deep_training <= 0.2.3
- 0.2.4.post3
  - Поддержка IA3 FineTuning
2023-09-21
- 0,2,3
  - Поддержите DPO полное обучение DPO_FINENETUNING
2023-09-06
- 0,2,2
  - Регулируйте модуль Baichuan именование корректировки Baichuan v2 Полное обучение Baichuan2_fineuning
- 0.2.2.post0
  - Исправлена Бачуань PTV2
- 0.2.2.post1
  - Исправить rwkv4 ошибку
- 0.2.2.post4
  - Исправить ошибку маски Llama и Baichuan
2023-09-02
- 0,2,1
  - Исправить модель ламы
2023-08-23
- 0.2.0
  - Выпустить внутреннюю корректировку Lora
- 0.2.0.post1
  - Добавить xverse-13b чат и исправить Muti Lora
2023-08-16
- 0,1,21
  - Выпуск добавляет 5 методов шкалы веревки, исправить чатглм2-6B-32K рассуждения ope_ratio
- 0.1.21.post1
  - Исправьте мох веревку
2023-08-09
- 0,1,17
  - Обновите модель QWEN
- 0.1.17.post0
  - Обновите QWEN COUN
2023-08-08
- 0.1.15.rc2
  - Поддержка xverse-13b полная обучение xverse_fineneTuning
2023-08-05
- 0,1,13
  - Поддержка QWEN (大全) Полное обучение QWEN_FINENETUNING
- 0.1.13.post2
  - Исправить ошибку квантования
- 0,1,14
  - Выпустить исправление Qwen Stream
2023-07-18
- 0,1,12
  - Поддержка Internlm (ученый) Полное обучение internlm_fineneTuning
  - Поддержка Baichuan v2 Complete Training baichuan2_fineuning
  - Исправьте Адалору несколько ошибок
  - Поддержка мирового обучения RWKV
2023-07-04
- 0,1,11 RC1
  - Поддержка Baichuan Model Complete Training Baichuan_fineneTuning
  - Поддержка модели Chatglm2 Полное обучение Chatglm2_fineuning
- 0,1,11
  - Исправьте Baichuan и Chatglm2 некоторые ошибки
  - Поддержка Conv2d для Lora
  - Набор данных Parquet поддержки Arrow
2023-06-06
2023-06-06
- 0,1,10
  - Выпуск добавить Qlora и поддержать больше оптимизатора и планировщика
  - Поддержка поддержания подсказки LORA для обучения DeepSpeed
  - Поддержка RWKV4 Полное обучение RWKV_FINENETUNING
- 0.1.10.post0
  - Настройка исправления пакета для CPP и CU -кода для RWKV4
- 0.1.10.post1
  - Исправить вывод для RWKV4
2023-05-24
- 0,1,8
  - Исправить вес нагрузки в recaff_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-05-19
- 0,1,7
  - Исправить 0,1,5 RL ошибок
- 0.1.7.post1
  - Исправить чатглм-6b-int4, чатглм-6b-int4
  - Исправить вес нагрузки в recaff_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-05-10
- 0,1,5
  - Исправить lora v2 modules_to_save пользовательские дополнительные учебные модули
  - Поддержка вознаграждения PPO LLM Complete Training RLHF_LLM
  - Поддержка вознаграждения PPO CHATGLM Полное обучение RLHF_CHATGLM
  - Награда за поддержку PPO Chatyuan полная обучение Rlhf_chatyuan
- 0.1.5.
  - Исправить приглашение модулей_TO_SAVE пользовательские дополнительные учебные модули
  - Поддержка ILQL Offline Mode Training ILQL Полное обучение RLHF_LLM
- 0.1.5.
  - Исправить модель OPT hidden_size для PPO ILQL
  - Исправить Ppotrainer ilqltrainer deepspeed Save Weight
  - Импортируйте, обратитесь к трансформаторам или норке
2023-05-02
- 0,1,4
  - Поддержка призывов_tuning, p_tuning, prefix_tuning, adaption_prompt
2023-04-21
- 0,1,3rc0
  - Поддержка модели чата Moss Полная ссылка на обучение moss_fineneTuning
  - Мосс количественно определял рассуждение int4 int8
- 0.1.3.post0
  - Новая версия основана на Lightning, Pytorch-Lightning, и модуль Numpy-IO переименована.
2023-04-11
- 0,1,2
  - Refactor Lora v2, добавьте Adora
- 0.1.2.post0
  - исправить lova v1, lova v2 load_in_8bit
2023-04-07
- Deep_training 0.1.1
  - Обновление CatchGlm config
2023-04-02
- Выпустить 0,1,0 и молния> = 2
2023-03-15
- 0,0,18
  - Поддержка модели Chatglm (стабильная версия> = 0.0.18.post7) Полное обучение ссылка на Chatglm_fineneTuning
- Исправить баланс процесса DeepSpeed Process
- 0.0.18.post9
  - Добавить интерфейс интерфейса stream stream stream_chat
- 0.0.20 Чатглм Лора
  - Продолжить тренировки с весами нагрузки, изменять кодирование данных и адаптировать веса
- 0.0.21.post0
  - Исправить чатгггг Deepspeed Stage 3 Загрузка веса
2023-03-09
- Добавление модели Llama (параллельная версия) для полной ссылки на обучение Llama_fineneTuning
2023-03-08
- Добавление модели LLAMA (немодель параллельная версия) для полной ссылки на обучение Poetry_training
2023-03-02
- Добавить обучение LORA, Lion, Optimizer LABM, полная ссылка на обучение Chatyuan_fineneTuning
2023-02-15
- Добавление модели Poetry Palm
2023-02-13
- Добавить модель коррекции ошибок в китайской грамматике геоктор, модель коррекции грамматики SEQ2SEQ грамматики
2023-02-09
- Добавлена предварительная тренировка T5Decoder для поэзии, модель предварительного обучения LAMDA для поэзии, модель предварительного обучения T5ENCODER
2023-02-07
- Добавление опции кодирования положения иерархического декомпозиции, чтобы трансформаторы могли обрабатывать ультрагированный текст
2023-01-24
- Добавить поэзию GPT2 Предварительное обучение, Poetry T5 Pre Training, Poetry Unilm Pre Training
2023-01-20
- Добавить состязательный обучение FGM, FGSM_LOCAL, Freeat, PGD, FGSM, Freeat_Local, среди которых рекомендуется использовать Freeat_local, FGSM рекомендуется использовать FGSM_LOCAL
2023-01-19
- Добавлены модели Proptbertcse, контролируемые и неконтролируемые модели
2023-01-16
- Добавлены модели Diffcse, контролируемые и неконтролируемые модели
2023-01-13
- Добавить модель Esimcse
2023-01-11
- Добавить модель вектора предложений TSDAE
2023-01-09
- Добавить надзор за кондозами и не-супервизацию, SIMCSE Superision и не-супервизацию, экстракция реляционной модели SPN4RE
2023-01-06
- Добавить извлечение реляционной модели Oneerel, извлечение реляционной модели PRGC, извлечение модели чистой сущности
2022-12-24
- Добавить модели дистилляции и извлечения моделей Unilm
2022-12-16
- CRF_CASCAD CRF CASCADE ENTITY ENTITY
- SPAN NER может извлекать сущности с двумя методами реализации: многопользовательское перекрытие и непересекающее многоболочное.
- MHS_NER Multi-Header Selection Entity модель извлечения объекта
- W2Ner Entity Model
- TplinkerPlus Entity Extraction
- модель реляционной экстракции Tpliner
- Tplinkerplus реляционная модель экстракции
- Mhslinker Multi-Head Selection Model
2022-11-17 :
- Simcse-Unilm Series
- Simcse-Bert-WWM Series
- Потеря круга
- AFQMC Сиамская сеть аналогично
2022-11-15 :
- Unilm Autotitle seq2seq Autotitle
- Нормальная классификация, указатели, названные объектами, экстракты CRF, названные объектами,
- Классификация префикстунга, классификация префикстунга, выдержки для указателя префикстун
2022-11-12 :
- Gplinker (извлечение глобального указателя)
- CASREL (новая каскадная бинарная структура бинарного тега для реляционной тройной экстракции.
- Spliner (указатель экстрактов экстрактов Sigmoid Pointer или простой указатель)
2022-11-11 :
- CLUENER_POINTER CINKINGATE ADVACTION ENTITY и CLUENER CRF китайский
- Tnews Китайская категория
2022-11-06 :
- Задачи предварительного обучения для модели, таких как MLM, GPT2, T5

задачи

Предварительная тренировка :
- Ссылка на данные подмножество набора данных классификации текста ThucNews
- MLM предварительно тренировывать примеры Берт Роберта и другие китайские предварительные тренировки
- LM предварительный пример
- SEQ2SEQ ПРИМЕР ПРИМЕР T5 Small и другие китайские предварительные тренировки
- Примеры предварительного обучения Unilm Unilm Bert Roberta и другие китайские предварительные тренировки и NBSP
Китайская категория :
- Пример классификации китайского языка
Названный Entity Extraction :
- Справочные данные Cluner
- Уточняющий извлечение глобального указателя
- Cluener CRF экстракция
- Cluener CRF
- Cluener MHS.
- Извлечение указателя пролета
- Cluener CRF Cascade экстракция
- Cluener tplinkerplus экстракт
- чистый экстракт
- Cluener W2ner экстракция
Извлечение отношений
- Справочные данные DUIE и Faryan Cup First Phase Data
- Извлечение взаимосвязи Gplinker
- Извлечение отношений каск
- Извлечение отношений
- Извлечение отношений MHSLINKER
- Извлечение отношений Tplinker
- Извлечение отношений tplinkerplus
- Одноэрельская извлечение
- Извлечение отношений PRGC
- Извлечение отношений SPN4RE
Извлечение событий
- Справочные данные извлечения события Duee v1.0 набор данных
- Извлечение событий Gplinker
ряд серии :
- Пример префикспромпта Tnews китайская классификация
- Примеры префикстунны китайской классификации
- Пример префикстунного клиенга с именем Entity Global Pointer Axtraction
- Пример префикстун
- Пример Propt MLM создает шаблон данных, установленный самостоятельно, а ссылка на обучение является предварительным.
- Пример подсказки LM создает шаблон данных, установленную самостоятельно, а ссылка на обучение - Pretrain/SEQ2SEQ_PRETRAIN, Pretrain/LM_PRETRAIN
Серия Simcse :
- Пример серии Simcse-Unilm Unilm+SIMCE Справочные данные подмножество данных Thucnews News Text Text Dataet
- SIMCSE-BERT-WWM- пример пример MLM+SIMCSE Справочные данные подмножество данных Thucnews News Text Text DataSet
Последовательное встрадание :
- Пример потери круга Tnews Потеря круга
- Сиамский чистый пример AFQMC Сиамская сеть аналогично

Оптимизатор

   lamb,adma,adamw_hf,adam,adamw,adamw_torch,adamw_torch_fused,adamw_torch_xla,adamw_apex_fused,
   adafactor,adamw_anyprecision,sgd,adagrad,adamw_bnb_8bit,adamw_8bit,lion,lion_8bit,lion_32bit,
   paged_adamw_32bit,paged_adamw_8bit,paged_lion_32bit,paged_lion_8bit,
   lamb_fused_dp adagrad_cpu_dp adam_cpu_dp adam_fused_dp

планировщик

  linear,WarmupCosine,CAWR,CAL,Step,ReduceLROnPlateau, cosine,cosine_with_restarts,polynomial,
  constant,constant_with_warmup,inverse_sqrt,reduce_lr_on_plateau