deep_training Download - deep_training Source Code Download

deep_training

AI-Quellcode

v0.3.1

Herunterladen

Transformator ist alles, was Sie brauchen.

Tiefes Trainingsrahmen basierend auf Transformatoren

Installieren und herunterladen

PIP Installation -u Deep_training
Quellcode -Installation

 pip uninstall deep_training
pip install -U git+https://github.com/ssbuild/deep_training.git

Quellcode neu installieren

 pip install -U git+https://github.com/ssbuild/deep_training.git --no-deps --force-reinstall

aktualisieren

2024-06-10
- 0.3.1 Unterstützung GLM4 https://github.com/ssbuild/glm4_finetoning GLM4V https://github.com/ssbuild/glm4v_finetoning
2024-02-15
- 0.2.11 Support Internlm2 https://github.com/ssbuild/internlm2_fineuning
2023-12-02
- 0.2.10 QWEN -Modell für 1,8b 7b 14b 72b aktualisieren
- 0.2.10.Post0 Fix qwen Achtung_maske
2023-11-13
- 0.2.9 Veröffentlichung
- 0.2.9post0 Support Chatglm3-6b-32k
2023-10-22
- 0.2.7
  - Unterstützen Sie Clip Complete Training https://github.com/ssbuild/clip_finenetuning
  - Unterstützung ASR SEQ2SEQ Full Training https://github.com/ssbuild/asr_seq2seq_finenetuning
  - Unterstützen
  - Unterstützung der Objekterkennung Vollständiges Training https://github.com/ssbuild/detction_finenetuning
  - Unterstützung der semantischen Segmentierung vollständiges Training https://github.com/ssbuild/semantic_segmentation
  - Unterstützen
- 0.2.7.post1
  - Unterstützung Skywork Complete Training https://github.com/ssbuild/skywork_finenetuning
- 0.2.7.post2
  - Unterstützung Bluelm Complete Training https://github.com/ssbuild/bluelm_finenetuning
- 0.2.7.post3
  - Unterstützung Yi Full Training https://github.com/ssbuild/yi_finenetuning
- 0.2.7.post4
  - Fixieren Sie die DataClass -Serialisierung in Deepspeed
2023-10-16
- 0.2.6 Unterstützen Sie Muti-Model
  - visualglm komplettes Training https://github.com/ssbuild/visualglm_finenetuning
  - qwen-vl vollständiges Training https://github.com/ssbuild/qwen_vl_finenetuning
2023-10-07
- 0.2.5
  - Unterstützung kolossalai Training, Strategie DDP, Gemini, Gemini_auto, Zero2, Zero2_CPU, 3D
- 0.2.5.post2
  - Support Accelerator Training, Fix einen Fehler in Accelerator und HF Trainer beheben
- 0.2.5.post4
  - Reparieren Sie Trainer etwas Fehler
2023-09-26
- 0.2.4
  - Unterstützen Sie Transformers Trainer und QWEN-7B New Version und Qwen-14b. Die alte Version wird nicht mehr unterstützt. Die alte Version kann Deep_training <= 0.2.3 installieren
- 0.2.4.post3
  - Unterstützen Sie IA3 Finenetuning
2023-09-21
- 0.2.3
  - Unterstützen Sie DPO Complete Training DPO_Finenetuning
2023-09-06
- 0.2.2
  - Passen Sie das Baichuan -Modul ein.
- 0.2.2post0
  - Fix Baichuan Ptv2
- 0.2.2post1
  - Fix RWKV4 einen Fehler
- 0.2.2post4
  - Fix Lama und Baichuan Mask Bug
2023-09-02
- 0.2.1
  - Fixes Lama -Modell
2023-08-23
- 0.2.0
  - LORA interne Anpassung freigeben
- 0.2.0.post1
  - Fügen Sie Xverse-13b-Chat hinzu und beheben Sie Muti Lora
2023-08-16
- 0,1.21
  - Release fügt 5 Seilskala-Methoden hinzu, korrigieren
- 0,1.21.Post1
  - MOSS -Seil reparieren
2023-08-09
- 0,1.17
  - Aktualisieren Sie das QWEN -Modell
- 0.1.17.post0
  - Aktualisieren Sie die QWEN -Konfiguration
2023-08-08
- 0,1.15.RC2
  - Unterstützen Sie Xverse-13b Full Training Xverse_Finenetuning
2023-08-05
- 0,1.13
  - Unterstützen
- 0,1.13.Post2
  - Quantisierungsfehler beheben
- 0,1.14
  - FIX Fix Qwen Stream veröffentlichen
2023-07-18
- 0,1.12
  - Support Internlm (Scholar) Vollständiges Training internlm_finenetuning
  - Unterstützung Baichuan V2 vollständiges Training Baichuan2_Fineuning
  - Beheben Sie Adalora einige Fehler
  - Unterstützung von RWKV World Training
2023-07-04
- 0,1.11 RC1
  - Unterstützen Sie Baichuan Model Komplettes Training Baichuan_Finenetuning
  - Unterstützen
- 0,1.11
  - Beheben Sie Baichuan und Chatglm2 einige Fehler
  - Unterstützen Sie Conv2d für Lora
  - Unterstützen Sie den Arrow Parquet -Datensatz
2023-06-06
2023-06-06
- 0,1.10
  - Release Fügen Sie Qlora hinzu und unterstützen Sie mehr Optimierer und Scheduler
  - Unterstützen
  - Unterstützen Sie RWKV4 vollständiges Training rwkv_finenetuning
- 0.1.10.post0
  - Fixpaket -Setup für CPP- und Cu -Code für RWKV4 beheben
- 0.1.10.Post1
  - Fix inferen für rwkv4
2023-05-24
- 0,1,8
  - Lastgewicht in Eingabeaufforderung, P_Tuning, Präfix_Tuning, adaption_prompt beheben
2023-05-19
- 0,1,7
  - Beheben Sie 0,1,5 RL -Fehler
- 0,1.7.Post1
  - Fix Chatglm-6b-Int4, Chatglm-6b-Int4 P-Tuning-V2-Training, Fix Ilql Lightning Import
  - Lastgewicht in Eingabeaufforderung, P_Tuning, Präfix_Tuning, adaption_prompt beheben
2023-05-10
- 0,1,5
  - Beheben Sie LORA V2 MODULES_TO_SAVE Benutzerdefinierte zusätzliche Trainingsmodule
  - Unterstützung Belohnung PPO LLM Complete Training rlhf_llm
  - Unterstützung Belohnung PPO Chatglm Komplettes Training RLHF_Chatglm
  - Unterstützung Belohnung PPO Chatyuan Komplettes Training RLHF_Chatyuan
- 0,1.5.Post2 Release
  - Beheben Sie die Eingabeaufforderung modules_to_save benutzerdefinierte zusätzliche Trainingsmodule
  - Unterstützen
- 0.1.5.Post4 Release
  - Fix OPT -Modell Hidden_size für PPO ILQL
  - Fix Ppotrainer Ilqltrainer DeepSpeed Save Gewicht
  - Importieren Sie Admaw von Transformatoren oder zuerst Fackel
2023-05-02
- 0,1,4
  - Unterstützen Sie Eingabeaufforderung, P_Tuning, Präfix_Tuning, adaption_prompt
2023-04-21
- 0,1,3RC0
  - Unterstützen
  - MOSS quantifiziert Int4 Int8 Argumentation
- 0.1.3.post0
  - Die neue Version basiert auf Lightning, Pytorch-Lightning, und das Numpy-io-Modul wird umbenannt.
2023-04-11
- 0,1,2
  - Refactor Lora V2, Adora hinzufügen
- 0.1.2.Post0
  - Fix Lova v1, Lova v2 load_in_8bit
2023-04-07
- Deep_training 0.1.1
  - Aktualisieren Sie die Chatglm -Konfiguration
2023-04-02
- Lösen Sie 0,1.0 und Blitz> = 2
2023-03-15
- 0,0,18
  - Unterstützen Sie das Chatglm -Modell (stabil
- Beheben Sie die Tiefspeed -Prozessdatenausgleiche
- 0.0.18.Post9
  - Fügen Sie Stream -Ausgabemittel -Schnittstelle Stream_chat -Schnittstelle hinzu
- 0.0.20 CHATGLM LORA
  - Setzen Sie das Training mit Ladegewichten fort, ändern Sie die Datencodierung und passen Sie Gewichte an
- 0.0.21.Post0
  - Beheben Sie Chatglm DeepSpeed Stufe 3 Gewichtsladung
2023-03-09
- Hinzufügen von LLAMA -Modell (Parallelversion) für die vollständige Trainingsreferenz llama_finenetuning
2023-03-08
- Hinzufügen von LLAMA-Modell (Nicht-Model-Parallelversion) für die vollständige Trainingsreferenz poetry_training
2023-03-02
- Fügen Sie Lora Training, Lion, Lamb Optimizer, vollständige Trainingsreferenz Chatyuan_Finenetuning hinzu
2023-02-15
- Hinzufügen des vorgebildeten Modells der Poesie-Palmen
2023-02-13
- Fügen Sie chinesisches Grammatikfehlerkorrekturmodell Geoctor, SEQ2SEQ Grammatikfehlerkorrekturmodell hinzu
2023-02-09
- T5DECODER-Vorabbildung für Poesie, Lamda Pre-Training-Modell für Poesie, T5Coder-Vor-Training-Modell hinzugefügt
2023-02-07
- Hinzufügen einer hierarchischen Deckungspositionscodierungsoption, damit Transformatoren ultra langer Text verarbeiten können
2023-01-24
- Fügen Sie Poesie GPT2 Pre-Training, Poesie T5 Pre-Training, Poesie Unilm Pre-Training
2023-01-20
- Adversarial Training FGM, FGSM_Local, Freeat, PGD, FGSM, Freeat_Local hinzufügen, unter anderem wird FGSM empfohlen, FGSM_Local zu verwenden, um FGSM_Local zu verwenden
2023-01-19
- PropTbertCSe beaufsichtigte und unbeaufsichtigte Modelle hinzugefügt
2023-01-16
- Diffcse beaufsichtigte und unbeaufsichtigte Modelle hinzugefügt
2023-01-13
- Fügen Sie das Esimcse -Modell hinzu
2023-01-11
- Fügen Sie das TSDAE -Satzvektormodell hinzu
2023-01-09
- Fonce Supervision und Nicht-Supervisation, SIMCSE-Überwachung und Nicht-Supervisation, SPN4RE Relational Model Extraktion hinzufügen
2023-01-06
- Fügen Sie eine relationale Modellextraktion für relationale Relation, PRGC -Relationalmodellextraktion, reine Entitätsmodell -Extraktion hinzu
2022-12-24
- Fügen Sie UNILM -Modelldestillations- und Ereignisextraktionsmodelle hinzu
2022-12-16
- CRF_CASCAD CRF -Kaskadenextraktion Entität
- Span Ner kann Entitäten mit zwei Implementierungsmethoden extrahieren: Multi-Label-Überlappung und Nicht-Überlappung mit mehreren Label.
- MHS_NER Multi-Header-Auswahlentität Extraktionsmodell
- W2ner -Entitätsextraktionsmodell
- TPLINKERPLUS -Entitätsextraktion
- Tpliner Relation Extraction Model
- Tplinkerplus Relationsextraktionsmodell
- MHSlinker-Extraktionsmodell für Mehrköpfe-Auswahlbeziehungen
2022-11-17 :
- Simcse-Unilm-Serie
- SIMCSE-TERT-WWM-Serie
- Tnews Circle -Verlust
- AFQMC Siamese -Netz ähnlich
2022-11-15 :
- UNILM Autotitle SEQ2Seq Autotitle
- Normale Klassifizierung, Zeigerextrakte benannte Entitäten, CRF -Extrakte benannte Entitäten
- Präfixtuning -Klassifizierung, Präfixtuning -Klassifizierung, Präfixtuning -Zeigerextrakte mit dem Namen Entities, PrefixtTuning CRF -Extrakte mit dem Namen Entities
2022-11-12 :
- GPLINKER (Globale Zeigerextraktion)
- Casrel (ein neuartiges Binär -Tagging -Framework für die relationale Triple Extraction Referenz https://github.com/weishepei/casrel)
- Spliner (Zeiger extrahiert Beziehung Sigmoidzeiger oder einfacher Zeiger)
2022-11-11 :
- Cluener_Pointer Chinese genannte Entitätsextraktion und Cluener CRF Chinese genannte Entitätsextraktion
- Tnews chinesische Kategorie
2022-11-06 :
- Aufgaben vor dem Training für Modell wie MLM, GPT2, T5

Aufgaben

Vorausbildung :
- Datenreferenzen Teilmenge des THUCNEWS -Nachrichten -Textklassifizierungsdatensatzes
- MLM-Beispiele vor dem Training Bert Roberta und andere chinesische Pre-Training
- Beispiel
- SEQ2SEQ Pre-Training- Beispiel T5 Klein- und andere chinesische Vorausbildung
- Unilm-Beispiele vor dem Training Unilm Bert Roberta und andere chinesische Pre-Training & NBSP
Chinesische Kategorie :
- Beispiel tnews chinesische Klassifizierung
Genannte Entitätsextraktion :
- Referenzdaten Cluner
- Cluener Global Zeigerextraktion
- Cluener CRF -Extraktion
- Cluener CRF -Eingabeaufforderungsextraktion
- Cluener MHS Ner Multi-Header-Selektionsextraktion
- Cluener Spannweite Zeigerextraktion
- Cluener CRF -Kaskadenextraktion
- Cluener Tplinkerplus Extrakt
- reiner Extrakt
- Cluener W2ner -Extraktion
Beziehungsextraktion
- Referenzdaten duie und faryan Cup First Phase Daten
- GPLINKER -Beziehungsextraktion
- Casrel -Beziehungsextraktion
- Spinerbeziehungsextraktion
- MHSLINKER -Beziehungsextraktion
- Tplinker -Beziehungsextraktion
- TPLINKERPLUS -Beziehungsextraktion
- Oneerel -Beziehungsextraktion
- PRGC -Beziehungsextraktion
- SPN4RE -Beziehungsextraktion
Ereignisextraktion
- Referenzdaten Due Ereignisextraktion Due v1.0 Datensatz
- GPLINKER -Ereignisextraktion
schnelle Serie :
- Beispiel Präfixprompt tnews chinesische Klassifizierung
- Beispiele für die chinesische Klassifizierung der chinesischen Klassifizierung
- Beispiel Prefixtuning Cluener namens Entity Global Zeigerextraktion
- Beispiel Prefixtuning Cluener namens Entity CRF Extraktion
- Beispiel für ProPT -MLM erstellt die von Ihnen selbst festgelegte Datenvorlage.
- Beispiel Eingabeaufforderung LM erstellt die von Ihnen selbst festgelegte Datenvorlage.
SIMCSE -Serie :
- Simcse-Unilm-Serie Beispiel Unilm+Simce Referenzdaten Teilmenge von Thucnews News Text Classification Dataset
- Simcse-Bert-Wwm-Serie Beispiel MLM+SIMCSE-Referenzdaten Teilmenge des Thucnews News Text Classification Dataset
Seidese Einbettung :
- Kreisverlust Beispiel Tnews Kreis Verlust
- Samese Net Beispiel AFQMC Siamese -Netz ähnlich

Optimierer

   lamb,adma,adamw_hf,adam,adamw,adamw_torch,adamw_torch_fused,adamw_torch_xla,adamw_apex_fused,
   adafactor,adamw_anyprecision,sgd,adagrad,adamw_bnb_8bit,adamw_8bit,lion,lion_8bit,lion_32bit,
   paged_adamw_32bit,paged_adamw_8bit,paged_lion_32bit,paged_lion_8bit,
   lamb_fused_dp adagrad_cpu_dp adam_cpu_dp adam_fused_dp

Scheduler

  linear,WarmupCosine,CAWR,CAL,Step,ReduceLROnPlateau, cosine,cosine_with_restarts,polynomial,
  constant,constant_with_warmup,inverse_sqrt,reduce_lr_on_plateau