deep_training 다운로드 deep_training 소스 코드 다운로드

deep_training

AI 소스 코드

v0.3.1

다운로드

변압기 만 있으면됩니다.

변압기를 기반으로 한 심층 훈련 프레임 워크

설치 및 다운로드

PIP 설치 -U Deep_Training
소스 코드 설치

 pip uninstall deep_training
pip install -U git+https://github.com/ssbuild/deep_training.git

소스 코드 재설치

 pip install -U git+https://github.com/ssbuild/deep_training.git --no-deps --force-reinstall

업데이트

2024-06-10
- 0.3.1 지원 GLM4 https://github.com/ssbuild/glm4_finetoning glm4v https://github.com/ssbuild/glm4v_finetoning
2024-02-15
- 0.2.11 지원 Internlm2 https://github.com/ssbuild/internlm2_fineuning
2023-12-02
- 0.2.10 1.8B 7B 14B 72B에 대한 Qwen 모델 업데이트
- 0.2.10.post0 수정 Qwen Interection_mask
2023-11-13
- 0.2.9 릴리스
- 0.2.9.post0 지원 ChatGLM3-6B-32K
2023-10-22
- 0.2.7
  - 지원 클립 완전한 교육 https://github.com/ssbuild/clip_finenetuning
  - ASR SEQ2SEQ 전체 교육 https://github.com/ssbuild/asr_seq2seq_finenetuning을 지원합니다
  - ASR CTC 완전한 교육 https://github.com/ssbuild/asr_ctc_finenetuning을 지원하십시오
  - 지원 객체 감지 완전 교육 https://github.com/ssbuild/detection_finenetuning
  - 시맨틱 세분화 완전 교육 https://github.com/ssbuild/semantic_segmentation을 지원합니다
  - chatglm3 완전 교육 https://github.com/ssbuild/chatglm3_finenetuning을 지원합니다
- 0.2.7. 포스트 1
  - SkyWork 완전 교육 https://github.com/ssbuild/skywork_finenetuning을 지원합니다
- 0.2.7. 포스트 2
  - Bluelm 완전 교육 https://github.com/ssbuild/bluelm_finenetuning을 지원하십시오
- 0.2.7. 포스트 3
  - yi 전체 교육 https://github.com/ssbuild/yi_finenetuning을 지원하십시오
- 0.2.7. 포스트 4
  - DeecSpeed에서 Dataclass 직렬화를 수정하십시오
2023-10-16
- 0.2.6 지원 Muti-Model
  - VisualGlm 완전 교육 https://github.com/ssbuild/visualglm_finenetuning
  - qwen-vl 완전한 교육 https://github.com/ssbuild/qwen_vl_finenetuning
2023-10-07
- 0.2.5
  - Colossalai 교육, 전략 DDP, Gemini, Gemini_auto, Zero2, Zero2_cpu, 3d를 지원하십시오
- 0.2.5.post2
  - 가속기 교육 지원, 가속기 및 HF 트레이너의 버그 수정
- 0.2.5.post4
  - 트레이너 일부 버그를 수정하십시오
2023-09-26
- 0.2.4
  - 트랜스포머 트레이너 및 QWEN-7B 새 버전 및 QWEN-14B를 지원합니다. 이전 버전은 더 이상 지원되지 않습니다. 기존 버전은 deep_training <= 0.2.3을 설치할 수 있습니다
- 0.2.4.post3
  - IA3 FineneTuning을 지원합니다
2023-09-21
- 0.2.3
  - DPO 완전한 교육 DPO_FINENETUNING을 지원합니다
2023-09-06
- 0.2.2
  - Baichuan 모듈 조정 이름 지정 조정 Baichuan V2 완전한 훈련 Baichuan2_fineuning
- 0.2.2.post0
  - Baichuan PTV2를 수정하십시오
- 0.2.2.post1
  - RWKV4를 수정하십시오
- 0.2.2.post4
  - 라마와 바이 쿠아 마스크 버그를 수정하십시오
2023-09-02
- 0.2.1
  - 라마 모델을 수정하십시오
2023-08-23
- 0.2.0
  - LORA 내부 조정을 해제합니다
- 0.2.0. 포스트 1
  - xverse-13b 채팅을 추가하고 Muti Lora를 수정하십시오
2023-08-16
- 0.1.21
  - 릴리스 5 가지 로프 스케일 메소드 추가, Chatglm2-6b-32k 추론 Rope_ratio 수정
- 0.1.21. 포스트 1
  - 이끼 로프를 고치십시오
2023-08-09
- 0.1.17
  - Qwen 모델을 업데이트하십시오
- 0.1.17.post0
  - Qwen 구성을 업데이트합니다
2023-08-08
- 0.1.15.RC2
  - xverse-13b 전체 교육 xverse_finenetuning을 지원합니다
2023-08-05
- 0.1.13
  - Qwen (() 완전 교육 qwen_finenetuning을 지원하십시오
- 0.1.13. 포스트 2
  - 양자화 버그를 수정하십시오
- 0.1.14
  - 릴리스 Qwen 스트림 수정
2023-07-18
- 0.1.12
  - 지원 Internlm (학자) 완전한 교육 Internlm_finenetuning
  - Baichuan V2 완전한 교육 Baichuan2_fineuning을 지원하십시오
  - Adalora를 수정하십시오
  - RWKV 세계 교육을 지원합니다
2023-07-04
- 0.1.11 RC1
  - Baichuan 모델 완전한 교육 Baichuan_finenetuning을 지원하십시오
  - chatglm2 모델을 지원합니다. 완전한 교육 chatglm2_fineuning
- 0.1.11
  - Baichuan 및 Chatglm2를 수정하십시오
  - LORA를위한 CONV2D 지원
  - Arrow Parquet 데이터 세트를 지원합니다
2023-06-06
2023-06-06
- 0.1.10
  - 릴로라를 추가하고 더 많은 옵티마이저 및 스케줄러를 지원합니다
  - 심해 훈련을위한 LORA 프롬프트 지원
  - RWKV4 완전 교육 RWKV_FINENETUNING 지원
- 0.1.10.post0
  - RWKV4 용 CPP 및 CU 코드에 대한 패키지 설정 수정
- 0.1.10. 포스트 1
  - RWKV4에 대한 FIX
2023-05-24
- 0.1.8
  - Prompt_Tuning, P_Tuning, Prefix_tuning, Adaption_prompt에서로드 가중량 수정
2023-05-19
- 0.1.7
  - 0.1.5 RL 버그를 수정하십시오
- 0.1.7. 포스트 1
  - Chatglm-6b-Int4, Chatglm-6b-Int4 p-tuning-v2 훈련을 수정하고 ILQL 번개 가져 오기를 수정하십시오
  - Prompt_Tuning, P_Tuning, Prefix_tuning, Adaption_prompt에서로드 가중량 수정
2023-05-10
- 0.1.5
  - LORA V2 MODULES_TO_SAVE 사용자 정의 추가 교육 모듈을 수정하십시오
  - 지원 보상 PPO LLM 완전한 교육 RLHF_LLM
  - 지원 보상 PPO Chatglm 완전한 교육 rlhf_chatglm
  - 지원 보상 PPO Chatyuan 완전한 교육 rlhf_chatyuan
- 0.1.5.post2 릴리스
  - 프롬프트 Modules_TO_SAVE 사용자 정의 추가 교육 모듈을 수정하십시오
  - ILQL 오프라인 모드 교육 ILQL 완전한 교육 rlhf_llm을 지원합니다
- 0.1.5.post4 릴리스
  - PPO ILQL 용 OPT 모델 HIDDEN_SIZE를 수정하십시오
  - PPOTRAINER ILQLTRAINER DEEPSPEED 저장 중량을 수정하십시오
  - 변압기에서 Admaw를 가져 오거나 먼저 횃불을 가져옵니다
2023-05-02
- 0.1.4
  - Prompt_tuning, P_Tuning, Prefix_tuning, Adaption_prompt를 지원합니다
2023-04-21
- 0.1.3RC0
  - 이끼 채팅 모델 완전한 교육 참조 moss_finenetuning을 지원합니다
  - 이끼는 int4 int8 추론을 정량화했습니다
- 0.1.3.post0
  - 새 버전은 Lightning, Pytorch-Lightning을 기반으로하며 Numpy-Io 모듈의 이름이 바뀌 었습니다.
2023-04-11
- 0.1.2
  - 리팩터 Lora V2, Adora를 추가하십시오
- 0.1.2.post0
  - lova v1, lova v2 load_in_8bit을 수정하십시오
2023-04-07
- Deep_training 0.1.1
  - ChatGLM 구성을 업데이트합니다
2023-04-02
- 0.1.0 및 번개> = 2를 해제하십시오
2023-03-15
- 0.0.18
  - chatglm 모델 지원 (안정 버전> = 0.0.18.post7) 전체 교육 참조 chatglm_finenetuning
- 딥 스피드 프로세스 데이터 균형을 수정하십시오
- 0.0.18. 포스트 9
  - 스트림 출력 인터페이스를 추가하십시오 스트림 _chat 인터페이스
- 0.0.20 Chatglm Lora
  - 로딩 중량으로 계속 교육, 데이터 인코딩 수정 및 무게를 조정합니다.
- 0.0.21. 포스트 0
  - Chatglm DeepSpeed Stage 3 무게 로딩을 수정하십시오
2023-03-09
- 완전한 훈련 참조 LLAMA_FINENETUNING을위한 LLAMA 모델 추가 (병렬 버전)
2023-03-08
- 완전한 훈련 참조 poetry_training을위한 llama 모델 추가 (비 모델 병렬 버전)
2023-03-02
- LORA 교육, 사자, 양고기 최적화, 완전한 교육 참조 chatyuan_finenetuning 추가
2023-02-15
- 시를 미리 훈련 한 모델 추가
2023-02-13
- 중국어 문법 오류 수정 모델 지구 및 SEQ2SEQ 문법 오류 수정 모델 추가
2023-02-09
- 시를위한 T5decoder 사전 훈련 추가,시,시를위한 Lamda 사전 훈련 모델, t5encoder 사전 훈련 모델
2023-02-07
- 변압기가 매우 긴 텍스트를 처리 할 수 있도록 계층 적 분해 위치 코딩 옵션 추가
2023-01-24
- 시 추가 gpt2 사전 훈련,시 T5 사전 훈련,시 우수 사전 훈련
2023-01-20
- Adversarial Training FGM, FGSM_LOCAL, FREEAT, PGD, FGSM, FREEAT_LOCAL 추가 FREEAT를 사용하는 것이 좋습니다. FGSM_LOCAL을 사용하는 것이 좋습니다.
2023-01-19
- Proptbertcse가 감독 및 감독되지 않은 모델을 추가했습니다
2023-01-16
- DIFFCSE 감독 및 감독되지 않은 모델이 추가되었습니다
2023-01-13
- ESIMCSE 모델을 추가하십시오
2023-01-11
- TSDAE 문장 벡터 모델을 추가하십시오
2023-01-09
- Infonce Supervision and Non-Supervisation, Simcse Supervision and Non-Supervisation, SPN4RE 관계형 모델 추출 추가
2023-01-06
- Oneerel 관계형 모델 추출 추가, PRGC 관계형 모델 추출, 순수 엔티티 모델 추출 추가
2022-12-24
- UNILM 모델 증류 및 이벤트 추출 모델을 추가하십시오
2022-12-16
- CRF_CASCAD CRF 캐스케이드 추출 개체
- SPAN NER은 두 가지 구현 방법이있는 엔티티를 추출 할 수 있습니다.이 방법은 다중 라벨 중첩 및 다중 라벨이 비 겹치는 랩핑을 추출 할 수 있습니다.
- MHS_NER 멀티 헤더 선택 엔티티 추출 모델
- W2NER 엔티티 추출 모델
- tplinkerplus 엔티티 추출
- Tpliner 관계형 추출 모델
- tplinkerplus 관계형 추출 모델
- MHSLINKER 멀티 헤드 선택 관계 추출 모델
2022-11-17 :
- SIMCSE-UNILM 시리즈
- SIMCSE-BERT-WWM 시리즈
- Tnews Circle 손실
- AFQMC 시암 순 그물
2022-11-15 :
- UNILM 자동 타이틀 SEQ2SEQ 자동 타이틀
- 정상 분류, 포인터 추출물이라는 이름의 엔티티, CRF 추출물 명명 된 엔티티
- 접두사 분류, 접두사 분류, 접두사 튜닝 포인터 추출물이 명명 된 Entities, Prefixtuning CRF 추출물 명명 된 Entities
2022-11-12 :
- Gplinker (글로벌 포인터 추출)
- Casrel (관계형 트리플 추출 참조를위한 새로운 캐스케이드 이진 태깅 프레임 워크 https://github.com/weizhepei/casrel)
- 스플라인 (포인터 추출물 관계 시그 모이 드 포인터 또는 간단한 포인터)
2022-11-11 :
- Cluener_pointer 중국어 이름 지명 Entity Extraction and Cluener CRF 중국어 명명 된 Entity Extraction
- Tnews 중국 카테고리
2022-11-06 :
- MLM, GPT2, T5와 같은 모델의 사전 훈련 작업

작업

사전 훈련 :
- 데이터 참조 ThucNews 뉴스 텍스트 분류 데이터 세트의 서브 세트
- MLM 사전 훈련 사례 Bert Roberta 및 기타 중국 사전 훈련
- LM 사전 훈련 예제 GPT2 및 기타 중국 사전 훈련
- SEQ2SEQ 사전 훈련 예제 T5 소규모 및 기타 중국 사전 훈련
- UNILM 사전 훈련 사례 UNILM BERT ROBERTA 및 기타 중국 사전 훈련 & NBSP
중국 카테고리 :
- 예제 중국 분류
명명 된 엔티티 추출 :
- 참조 데이터 Cluner
- 클루너 글로벌 포인터 추출
- Cluener CRF 추출
- Cluener CRF 프롬프트 추출
- Cluener MHS NER 멀티 헤더 선택 추출
- 클루너 스팬 포인터 추출
- Cluener CRF 캐스케이드 추출
- Cluener tplinkerplus 추출물
- 순수한 추출물
- Cluener W2ner 추출
관계 추출
- 참조 데이터 Duie 및 Faryan Cup의 첫 번째 단계 데이터
- gplinker 관계 추출
- Casrel 관계 추출
- 스플라인 관계 추출
- MHSLINKER 관계 추출
- tplinker 관계 추출
- tplinkerplus 관계 추출
- 오네 렐 관계 추출
- PRGC 관계 추출
- SPN4RE 관계 추출
이벤트 추출
- 참조 데이터 이벤트 추출 v1.0 데이터 세트
- gplinker 이벤트 추출
프롬프트 시리즈 :
- 예제 PrefixPrompt Tnews 중국 분류
- 예제 접두사 tnews 중국 분류
- Entity Global Pointer Extraction이라는 예제 조약 조치 클루너
- Entity CRF Extraction이라는 이름의 접두사 조절 Cluener
- Propt MLM 예제 직접 설정 한 데이터 템플릿을 빌드하고 교육 참조는 프리 트레인/MLM_PRETRAIN입니다.
- 예제 프롬프트 LM은 직접 설정 한 데이터 템플릿을 빌드하며 교육 참조는 pretrain/seq2seq_pretrain, pretrain/lm_pretrain입니다.
SIMCSE 시리즈 :
- simcse-unilm 시리즈 예제 Unilm+simce 참조 데이터 Thucnews 뉴스 텍스트 분류 데이터 세트의 서브 세트
- Simcse-Bert-WWM 시리즈 예제 MLM+SIMCSE 참조 데이터 THUCNEWS 뉴스 텍스트 분류 데이터 세트의 서브 세트
Sentense Embedding :
- 원 손실 예제 Tnews Circle Loss
- 시암 순 예제 AFQMC 시암 순 그물

최적화

   lamb,adma,adamw_hf,adam,adamw,adamw_torch,adamw_torch_fused,adamw_torch_xla,adamw_apex_fused,
   adafactor,adamw_anyprecision,sgd,adagrad,adamw_bnb_8bit,adamw_8bit,lion,lion_8bit,lion_32bit,
   paged_adamw_32bit,paged_adamw_8bit,paged_lion_32bit,paged_lion_8bit,
   lamb_fused_dp adagrad_cpu_dp adam_cpu_dp adam_fused_dp

스케줄러

  linear,WarmupCosine,CAWR,CAL,Step,ReduceLROnPlateau, cosine,cosine_with_restarts,polynomial,
  constant,constant_with_warmup,inverse_sqrt,reduce_lr_on_plateau