deep_trainingダウンロードdeep_trainingソースコードのダウンロード

deep_training

AI ソースコード

v0.3.1

ダウンロード

変圧器はあなたが必要とするすべてです。

トランスに基づくディープトレーニングフレームワーク

インストールしてダウンロードします

PIPインストール-Uディープトレーニング
ソースコードのインストール

 pip uninstall deep_training
pip install -U git+https://github.com/ssbuild/deep_training.git

ソースコードの再インストール

 pip install -U git+https://github.com/ssbuild/deep_training.git --no-deps --force-reinstall

アップデート

2024-06-10
- 0.3.1サポートGLM4 https://github.com/ssbuild/glm4_finetoning glm4v https://github.com/ssbuild/glm4v_finetoning
2024-02-15
- 0.2.11サポートInternlm2 https://github.com/ssbuild/internlm2_fineuning
2023-12-02
- 0.2.10 1.8b 7b 14b 72bのQwenモデルを更新します
- 0.2.10.post0修正qwen attention_mask
2023-11-13
- 0.2.9リリース
- 0.2.9.post0サポートchatglm3-6b-32k
2023-10-22
- 0.2.7
  - サポートクリップ完全トレーニングhttps://github.com/ssbuild/clip_finenetuning
  - サポートasr seq2seqフルトレーニングhttps://github.com/ssbuild/asr_seq2seq_finenetuning
  - サポートASR CTC完全トレーニングhttps://github.com/ssbuild/asr_ctc_finenetuning
  - サポートオブジェクト検出完全なトレーニングhttps://github.com/ssbuild/detection_finenetuning
  - サポートセマンティックセグメンテーション完全トレーニングhttps://github.com/ssbuild/semantic_segmentation
  - CHATGLM3の完全なトレーニングhttps://github.com/ssbuild/chatglm3_finenetuningをサポートします
- 0.2.7.post1
  - スカイワークの完全なトレーニングhttps://github.com/ssbuild/skywork_finenetuningをサポートします
- 0.2.7.post2
  - Bluelmの完全なトレーニングhttps://github.com/ssbuild/bluelm_finenetuningをサポートします
- 0.2.7.post3
  - YIフルトレーニングhttps://github.com/ssbuild/yi_finenetuningをサポートします
- 0.2.7.post4
  - DeepSpeedでDataclassシリアル化を修正します
2023-10-16
- 0.2.6サポートMuti-Model
  - VisualGlm完全なトレーニングhttps://github.com/ssbuild/visualglm_finenetuning
  - QWEN-VL完全なトレーニングhttps://github.com/ssbuild/qwen_vl_finenetuning
2023-10-07
- 0.2.5
  - Colossalaiトレーニング、戦略DDP、Gemini、Gemini_auto、Zero2、Zero2_CPU、3Dをサポートします
- 0.2.5.post2
  - アクセラレータトレーニングをサポートし、アクセラレータとHFトレーナーのバグを修正します
- 0.2.5.post4
  - トレーナーにバグを修正します
2023-09-26
- 0.2.4
  - サポートトランストレーナーとQWEN-7Bの新しいバージョンとQWEN-14B。古いバージョンはサポートされなくなりました。古いバージョンは、deep_training <= 0.2.3をインストールできます
- 0.2.4.post3
  - IA3 FinneTuningをサポートします
2023-09-21
- 0.2.3
  - DPO完全トレーニングDPO_FINENETUNINGをサポートします
2023-09-06
- 0.2.2
  - Baichuanモジュールの命名を調整するBaichuan V2完全なトレーニングBaichuan2_fineuningを調整する
- 0.2.2.Post0
  - Baichuan PTV2を修正します
- 0.2.2.post1
  - rwkv4を修正します
- 0.2.2.Post4
  - LlamaとBaichuan Maskのバグを修正します
2023-09-02
- 0.2.1
  - ラマモデルを修正します
2023-08-23
- 0.2.0
  - LORA内部調整をリリースします
- 0.2.0.post1
  - vsverse-13bチャットを追加し、Muti loraを修正します
2023-08-16
- 0.1.21
  - リリースは5つのロープスケールメソッドを追加し、Chatglm2-6B-32K推論ROPE_RATIOを修正します
- 0.1.21.post1
  - モスロープを修正します
2023-08-09
- 0.1.17
  - Qwenモデルを更新します
- 0.1.17.post0
  - qwen configを更新します
2023-08-08
- 0.1.15.rc2
  - vsverse-13bフルトレーニングvsverse_finenetuningをサポートします
2023-08-05
- 0.1.13
  - サポートQWEN（大全）完全なトレーニングQWEN_FINENETUNING
- 0.1.13.post2
  - 量子化バグを修正します
- 0.1.14
  - qwenストリームをリリースします
2023-07-18
- 0.1.12
  - Support Internlm（Scholar）完全なトレーニングinternlm_finenetuning
  - Baichuan V2完全なトレーニングBaichuan2_fineuningをサポートします
  - Adaloraいくつかのバグを修正します
  - RWKVワールドトレーニングをサポートします
2023-07-04
- 0.1.11 RC1
  - Baichuanモデルの完全なトレーニングBaichuan_finenetuningをサポートします
  - CHATGLM2モデルの完全なトレーニングCHATGLM2_FINEUNINGをサポートします
- 0.1.11
  - BaichuanとChatglm2いくつかのバグを修正します
  - LoraのConv2dをサポートします
  - サポートアローパルケットデータセット
2023-06-06
2023-06-06
- 0.1.10
  - Qloraを追加し、より多くのオプティマイザーとスケジューラをサポートします
  - DeepspeedトレーニングのためにLORAプロンプトをサポートします
  - RWKV4完全なトレーニングRWKV_FINENETUNINGをサポートします
- 0.1.10.Post0
  - RWKv4のCPPおよびCUコードのパッケージセットアップを修正
- 0.1.10.post1
  - rwkv4の推測を修正します
2023-05-24
- 0.1.8
  - PROMPT_TUNING、P_TUNING、PREFIX_TUNING、ADAPTION_PROMPTでロード重量を修正します
2023-05-19
- 0.1.7
  - 0.1.5 RLバグを修正します
- 0.1.7.post1
  - CHATGLM-6B-INT4、CHATGLM-6B-INT4 P-Tuning-V2トレーニング、ILQL Lightningのインポートを修正します
  - PROMPT_TUNING、P_TUNING、PREFIX_TUNING、ADAPTION_PROMPTでロード重量を修正します
2023-05-10
- 0.1.5
  - LORA V2 Modules_TO_SAVEカスタム追加トレーニングモジュールを修正します
  - サポート報酬PPO LLM完全トレーニングRLHF_LLM
  - サポート報酬PPO chatglm完全なトレーニングrlhf_chatglm
  - サポート報酬ppo chatyuan完全トレーニングrlhf_chatyuan
- 0.1.5.post2リリース
  - プロンプトモジュール_TO_SAVEカスタム追加トレーニングモジュールを修正します
  - ILQLオフラインモードトレーニングILQL完全トレーニングRLHF_LLMをサポートします
- 0.1.5.post4リリース
  - PPO ILQLのOPTモデルHidden_sizeを修正します
  - ppotrainer ilqltrainer deepspeed save weightを修正します
  - TransformerまたはTorchからAdmawを輸入してください
2023-05-02
- 0.1.4
  - Support_tuning、p_tuning、prefix_tuning、adaption_prompt
2023-04-21
- 0.1.3RC0
  - モスチャットモデルの完全なトレーニングリファレンスmoss_finenetuningをサポートします
  - MOSSは、INT4 INT8の推論を定量化しました
- 0.1.3.post0
  - 新しいバージョンは、Lightning、Pytorch-Lightning、およびNumpy-Ioモジュールの名前が変更されています。
2023-04-11
- 0.1.2
  - Lora V2をリファクタリングし、Adoraを追加します
- 0.1.2.post0
  - lova v1、lova v2 load_in_8bitを修正します
2023-04-07
- deep_training 0.1.1
  - chatglm configを更新します
2023-04-02
- 0.1.0と稲妻> = 2をリリースします
2023-03-15
- 0.0.18
  - Chatglmモデルをサポートする（stableバージョン> = 0.0.18.post7）フルトレーニングリファレンスchatglm_finenetuning
- ディープスピードプロセスデータバランスを修正します
- 0.0.18.Post9
  - ストリーム出力インターフェイスStream_Chatインターフェイスを追加します
- 0.0.20 chatglm lora
  - 重量を読み込んでトレーニングを続け、データのエンコーディングを変更し、重量を適応させます
- 0.0.21.Post0
  - Chatglm Deepspeed Stage 3ウェイトロードを修正します
2023-03-09
- 完全なトレーニングのためのllamaモデル（並列バージョン）の追加リファレンスllama_finenetuning
2023-03-08
- 完全なトレーニングのためのllamaモデル（非モデルパラレルバージョン）を追加する詩を参照する
2023-03-02
- ロラトレーニング、ライオン、ラムオプティマイザー、完全なトレーニングリファレンスchatyuan_finenetuningを追加する
2023-02-15
- 詩の手のひらを事前に訓練したモデルを追加します
2023-02-13
- 中国文法エラー補正モデルジオクター、seq2seq文法エラー補正モデルを追加する
2023-02-09
- 詩のためのT5Decoder Pre-Training、詩のLamda Pre-Training Model、T5Encoder Pre-Trainingモデルを追加
2023-02-07
- 階層分解位置コーディングオプションを追加して、トランスフォーマーが超長いテキストを処理できるように
2023-01-24
- 詩gpt2 pre-training、poetry t5 pre-training、poetry unilm pre-trainingを追加する
2023-01-20
- FGM、FGSM_LOCAL、FREEAT、PGD、FGSM、FREEAT_LOCALを追加するFREEAT_LOCOLを使用することをお勧めします。FGSM_LOCALを使用することをお勧めします
2023-01-19
- Proptbertcseの監視されていないモデルを追加しました
2023-01-16
- diffcseが監視されていないモデルと監視なしモデルを追加しました
2023-01-13
- esimcseモデルを追加します
2023-01-11
- TSDAE文ベクトルモデルを追加します
2023-01-09
- Infonceの監督と非監視、SIMCSE監督と非監視、SPN4REリレーショナルモデル抽出を追加
2023-01-06
- OneERELリレーショナルモデル抽出、PRGCリレーショナルモデル抽出、純粋なエンティティモデル抽出を追加
2022-12-24
- Unilmモデルの蒸留とイベント抽出モデルを追加します
2022-12-16
- CRF_CASCAD CRFカスケード抽出エンティティ
- SPAN NERは、マルチラベルオーバーラップとマルチラベル非重複の2つの実装方法でエンティティを抽出できます。
- MHS_NERマルチヘッド選択エンティティ抽出モデル
- W2NERエンティティ抽出モデル
- tplinkerplusエンティティ抽出
- Tplinerリレーショナル抽出モデル
- tplinkerplusリレーショナル抽出モデル
- MHSLinkerマルチヘッド選択関係抽出モデル
2022-11-17 ：
- Simcse-Unilmシリーズ
- Simcse-Bert-WWMシリーズ
- tnewsサークル損失
- AFQMCシャムネット同様
2022-11-15 ：
- Unilm autotitle seq2seq autotitle
- 通常の分類、エンティティという名前のポインター抽出、crf抽出物名のエンティティ
- 接頭辞の分類、プレフィックスの分類、プレフィックスチューニングポインター抽出、エンティティという名前のポインター抽出物、プレフィックスのCRF抽出
2022-11-12 ：
- gplinker（グローバルポインター抽出）
- Casrel（リレーショナルトリプル抽出リファレンスのための新しいカスケードバイナリタグフレームワークhttps://github.com/weizhepei/casrel）
- Spliner（ポインター抽出関係シグモイドポインターまたは単純なポインター）
2022-11-11 ：
- cluener_pointer中国語名のエンティティ抽出とクルーナーCRF中国語名のエンティティ抽出
- 中国語のカテゴリ
2022-11-06 ：
- MLM、GPT2、T5などのモデルのトレーニング前タスク

タスク

トレーニング前：
- Thucnewsニューステキスト分類データセットのデータ参照
- MLMプリトレーニングの例Bert Robertaおよびその他の中国の事前トレーニング
- LMトレーニング前の例GPT2およびその他の中国の事前トレーニング
- seq2seq pre-trainingの例t5小規模およびその他の中国の事前トレーニング
- Unilm Pre-Training Examples Unilm Bert Robertaおよびその他の中国語のトレーニング＆nbsp
中国のカテゴリー：
- TNEWS中国の分類の例
名前付きエンティティ抽出：
- 参照データクルーナー
- Cluenerグローバルポインター抽出
- クルーナーCRF抽出
- Cluener CRFプロンプト抽出
- Cluener MHS NERマルチヘッダー選択抽出
- クルナースパンポインター抽出
- Cluener CRFカスケード抽出
- cluener tplinkerplus抽出物
- 純粋な抽出物
- Cluener W2ner抽出
関係抽出
- 参照データデュイとファリャンカップの第1フェーズデータ
- Gplinker関係抽出
- カスレル関係の抽出
- スプライナー関係の抽出
- Mhslinker関係抽出
- Tplinker関係の抽出
- tplinkerplus関係抽出
- Oneerel関係の抽出
- PRGC関係抽出
- SPN4RE関係抽出
イベント抽出
- 参照データDUEEイベント抽出duee v1.0データセット
- Gplinkerイベント抽出
プロンプトシリーズ：
- reffixprompt tnews中国の分類
- 例を取り上げている例TNEWS中国の分類
- Entity Global Pointer抽出という名前のプレフィックスチューニングCluenerの例
- Entity CRF抽出という名前のプレフィックスチューニングCluenerの例
- 例proptmlmは自分で設定されたデータテンプレートをビルドし、トレーニングリファレンスはpretrain/mlm_pretrainです
- 例のプロンプトlmは、自分で設定されたデータテンプレートを構築し、トレーニングリファレンスはpretrain/seq2seq_pretrain、pretrain/lm_pretrainです
Simcseシリーズ：
- Simcse-Unilmシリーズの例Unilm+SimceリファレンスデータThucnewsニューステキスト分類データセットのサブセット
- SIMCSE-BERT-WWMシリーズの例MLM+SIMCSEリファレンスデータThucnewsニューステキスト分類データセット
Sentense Embedding ：
- サークル損失の例tnewsサークル損失
- シャムネットの例AFQMCシャムネット同様

オプティマイザ

   lamb,adma,adamw_hf,adam,adamw,adamw_torch,adamw_torch_fused,adamw_torch_xla,adamw_apex_fused,
   adafactor,adamw_anyprecision,sgd,adagrad,adamw_bnb_8bit,adamw_8bit,lion,lion_8bit,lion_32bit,
   paged_adamw_32bit,paged_adamw_8bit,paged_lion_32bit,paged_lion_8bit,
   lamb_fused_dp adagrad_cpu_dp adam_cpu_dp adam_fused_dp

スケジューラ

  linear,WarmupCosine,CAWR,CAL,Step,ReduceLROnPlateau, cosine,cosine_with_restarts,polynomial,
  constant,constant_with_warmup,inverse_sqrt,reduce_lr_on_plateau