bert4torchダウンロードbert4torchソースコードのダウンロード

bert4torch

その他のソースコード

v0.5.4

ダウンロード

bert4torch

ドキュメント| torch4keras |例| build_minillm_from_scratch | bert4vector

目次
1。ダウンロードしてインストールします
2。関数
3。すぐに始めましょう
- 3.1開始チュートリアルを開始します
- 3.2コマンドラインに大規模なモデルサービスをすばやく展開する
4。バージョンと更新履歴
- バージョン4.1履歴
- 4.2履歴を更新します
5。トレーニング前の重み
6。ありがとう
7。引用
8。その他

1。ダウンロードしてインストールします

安定したバージョンをインストールします

pip install bert4torch

最新バージョンをインストールします

pip install git+https://github.com/Tongjilibo/bert4torch

注：PIPパッケージのリリースは、GITの開発バージョンよりも遅いです。 Gitクローンの参照パスに注意を払い、重量を変換する必要があるかどうかに注意してください。
テストケース： git clone https://github.com/Tongjilibo/bert4torch 、例の前処理されたモデルファイルパスとデータパスを変更してスクリプトを開始する
セルフトレーニング：独自のデータの対応するデータ処理コードブロックを変更する
開発環境：もともとtorch==1.10バージョンで開発するために使用されていましたが、現在はtorch2.0開発に切り替えられています。他のバージョンが意見の相違に遭遇した場合は、自由にフィードバックしてください。

2。関数

LLMモデル：推論と微調整のために、ChatGlm、Llama、Baichuan、Ziya、Bloomなどのオープンソースの大きなモデルウェイトをロードし、コマンドラインの1行に大きなモデルを展開します。
コア機能：Bert、Roberta、Albert、XLNet、Nezha、Bart、Roformer、Roformer_v2、Electra、GPT、GPT2、T5、Gau-Alpha、Ernieなどのトレーニング前の重量のロード。
豊富な例：LLM、Pretrain、cente_classification、cente_embedding、sequence_labeling、raterations_extraction、seq2seq、surving、その他のソリューションを含む
実験的検証：次の例を使用して、パブリックデータセットで実験的検証が行われました。データセットと実験指標
使いやすいトリック：一般的なトリック、プラグ、プレイを統合します
その他の機能：Transformers Libraryモデルを一緒にロードします。通話方法はシンプルで効率的です。トレーニングの進行状況バーの動的表示。 Torchinfoを使用したパラメーターボリュームを印刷します。デフォルトのロガーとテンソルボードは、トレーニングプロセスを簡単に記録できます。高レベルのニーズを満たすためのカスタムフィットプロセス
トレーニングプロセス：

関数	bert4torch	トランス	述べる
トレーニングの進行状況バー	✅	✅	Progress Barは、損失と定義されたメトリックを印刷します
分散トレーニングDP/DDP	✅	✅	トーチにはDP/DDPが付属しています
さまざまなコールバック	✅	✅	log/tensorboard/areighterstop/wandbなど。
大きなモデル推論、ストリーム/バッチ出力	✅	✅	各モデルは普遍的であり、スクリプトの個別のメンテナンスを必要としません
大規模なモデル微調整	✅	✅	loraはPEFTライブラリに依存し、PV2には独自のものが付属しています
豊かなトリック	✅		トリックは、トレーニングやその他のトリックに対してプラグアンドプレイします
コードはシンプルで理解しやすく、カスタムスペースは大きいです	✅		高コードの再利用、ケラスコードトレーニングスタイル
倉庫のメンテナンス機能/影響/使用/互換性		✅	現在、倉庫の個人的なメンテナンス
大規模モデルのワンクリック展開

3。すぐに始めましょう

3.1開始チュートリアルを開始します

クイックスタート
クイックスタートチュートリアル、チュートリアルの例、実用的な例
bert4torch（zhihu）の紹介、bert4torch（zhihu）からすぐに始め、bert4torchが再び更新されました（zhihu）

3.2コマンドラインに大規模なモデルサービスをすばやく展開する

ローカル/インターネットの読み込み

 # 联网下载全部文件
bert4torch-llm-server --checkpoint_path Qwen2-0.5B-Instruct

# 加载本地大模型，联网下载bert4torch_config.json
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --config_path Qwen/Qwen2-0.5B-Instruct

# 加载本地大模型，且bert4torch_config.json已经下载并放于同名目录下
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct

コマンドライン/グラデーションWebページ/OpenAi_Api

 # 命令行
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode cli

# gradio网页
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode gradio

# openai_api
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode openai

コマンドラインチャットの例

4。バージョンと更新履歴

バージョン4.1履歴

更新日	bert4torch	torch4keras	バージョンの説明
20240928	0.5.4	0.2.7	[新機能] Deepseekシリーズ、MinicPM、MinicPMV、Llama3.2、QWEN2.5を追加します。サポートdevice_map = auto; [修正] batch_generateとn> 1のバグを修正します
20240814	0.5.3	0.2.6	【新機能addlama3.1/yi1.5を追加します。 hfmirrorからダウンロードを自動的に選択します。コマンドラインパラメーター`bert4torch-llm-server`をサポートします
20240801	0.5.2	0.2.5	[New Function] ChatGlm/QWenシリーズは、機能コールをサポートし、InterNLM2シリーズを追加します。 [最適化] [小さな最適化]パイプラインでチャットデモのコールを簡素化し、トークン要素を生成することを許可され、rope_scalingパラメーター名を統合し、ロープ派生クラスを追加します。 [バグ] Flash_attn2の推論バグを修正し、BARTのTIE_WORD_EMBEDDINGバグを修正します

その他のバージョン

4.2履歴を更新します

より多くの歴史

5。トレーニング前の重み

事前に訓練されたモデルは、複数のコード読み込み方法をサポートしています

 from bert4torch . models import build_transformer_model

# 1. 仅指定config_path: 从头初始化模型结构, 不加载预训练模型
model = build_transformer_model ( './model/bert4torch_config.json' )

# 2. 仅指定checkpoint_path: 
## 2.1 文件夹路径: 自动寻找路径下的*.bin/*.safetensors权重文件 + 需把bert4torch_config.json下载并放于该目录下
model = build_transformer_model ( checkpoint_path = './model' )

## 2.2 文件路径/列表: 文件路径即权重路径/列表, bert4torch_config.json会从同级目录下寻找
model = build_transformer_model ( checkpoint_path = './pytorch_model.bin' )

## 2.3 model_name: hf上预训练权重名称, 会自动下载hf权重以及bert4torch_config.json文件
model = build_transformer_model ( checkpoint_path = 'bert-base-chinese' )

# 3. 同时指定config_path和checkpoint_path(本地路径名或model_name排列组合): 
#    本地路径从本地加载，pretrained_model_name会联网下载
config_path = './model/bert4torch_config.json'  # 或'bert-base-chinese'
checkpoint_path = './model/pytorch_model.bin'  # 或'bert-base-chinese'
model = build_transformer_model ( config_path , checkpoint_path )

前処理された重量リンクとbert4torch_config.json

モデル分類	モデル名	体重の源	Weight Link/CheckPoint_Path	config_path
バート	バート・ベース・チネーゼ	Google-Bert	`bert-base-chinese`	`bert-base-chinese`
	中国語_L-12_H-768_A-12	グーグル	TF重量 `Tongjilibo/bert-chinese_L-12_H-768_A-12`
	中国人-WWM-Ext	HFL	`hfl/chinese-bert-wwm-ext`	`hfl/chinese-bert-wwm-ext`
	Bert-Base-Multilingual-Cased	Google-Bert	`bert-base-multilingual-cased`	`bert-base-multilingual-cased`
	マッバート	HFL	`hfl/chinese-macbert-base` `hfl/chinese-macbert-large`	`hfl/chinese-macbert-base` `hfl/chinese-macbert-large`
	Wobert	Zhuyiテクノロジー	`junnyu/wobert_chinese_base` 、 `junnyu/wobert_chinese_plus_base`	`junnyu/wobert_chinese_base` `junnyu/wobert_chinese_plus_base`
ロベルタ	中国 - ロベルタ-WWM-EXT	HFL	`hfl/chinese-roberta-wwm-ext` `hfl/chinese-roberta-wwm-ext-large` （大型のMLM重量はランダムに初期化されます）	`hfl/chinese-roberta-wwm-ext` `hfl/chinese-roberta-wwm-ext-large`
	ロベルタ・スモール/タイニー	Zhuyiテクノロジー	`Tongjilibo/chinese_roberta_L-4_H-312_A-12` `Tongjilibo/chinese_roberta_L-6_H-384_A-12`
	ロベルタベース	Facebookai	`roberta-base`	`roberta-base`
	グウェンバート	Ethanyt	`ethanyt/guwenbert-base`	`ethanyt/guwenbert-base`
アルバート	albert_zh albert_pytorch	Brightmart	`voidful/albert_chinese_tiny` `voidful/albert_chinese_small` `voidful/albert_chinese_base` `voidful/albert_chinese_large` `voidful/albert_chinese_xlarge` `voidful/albert_chinese_xxlarge`	`voidful/albert_chinese_tiny` `voidful/albert_chinese_small` `voidful/albert_chinese_base` `voidful/albert_chinese_large` `voidful/albert_chinese_xlarge` `voidful/albert_chinese_xxlarge`
ネザ	ネザ nezha_chinese_pytorch	huawei_noah	`sijunhe/nezha-cn-base` `sijunhe/nezha-cn-large` `sijunhe/nezha-base-wwm` `sijunhe/nezha-large-wwm`	`sijunhe/nezha-cn-base` `sijunhe/nezha-cn-large` `sijunhe/nezha-base-wwm` `sijunhe/nezha-large-wwm`
	nezha_gpt_dialog	ボホーネ	`Tongjilibo/nezha_gpt_dialog`
xlnet	中国語xlnet	HFL	`hfl/chinese-xlnet-base`	`hfl/chinese-xlnet-base`
	Transformer_xl	ハギングフェイス	`transfo-xl/transfo-xl-wt103`	`transfo-xl/transfo-xl-wt103`
デバータ	erlangshen-deberta-v2	アイデア	`IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese`	`IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese`
エレクトラ	中国の電気	HFL	`hfl/chinese-electra-base-discriminator`	`hfl/chinese-electra-base-discriminator`
アーニー	アーニー	Baidu Wenxin	`nghuyong/ernie-1.0-base-zh` `nghuyong/ernie-3.0-base-zh`	`nghuyong/ernie-1.0-base-zh` `nghuyong/ernie-3.0-base-zh`
roforder	roforder	Zhuyiテクノロジー	`junnyu/roformer_chinese_base`	`junnyu/roformer_chinese_base`
	roformer_v2	Zhuyiテクノロジー	`junnyu/roformer_v2_chinese_char_base`	`junnyu/roformer_v2_chinese_char_base`
シンバート	シンバート	Zhuyiテクノロジー	`Tongjilibo/simbert-chinese-base` `Tongjilibo/simbert-chinese-small` `Tongjilibo/simbert-chinese-tiny`
	Simbert_v2/roformer-sim	Zhuyiテクノロジー	`junnyu/roformer_chinese_sim_char_base` 、 `junnyu/roformer_chinese_sim_char_ft_base` 、 `junnyu/roformer_chinese_sim_char_small` 、 `junnyu/roformer_chinese_sim_char_ft_small`	`junnyu/roformer_chinese_sim_char_base` `junnyu/roformer_chinese_sim_char_ft_base` `junnyu/roformer_chinese_sim_char_small` `junnyu/roformer_chinese_sim_char_ft_small`
ガウ	ガウアルファ	Zhuyiテクノロジー	`Tongjilibo/chinese_GAU-alpha-char_L-24_H-768`
uie	uie uie_pytorch	Baidu	`Tongjilibo/uie-base`
gpt	cdial-gpt	Thu-coai	`thu-coai/CDial-GPT_LCCC-base` `thu-coai/CDial-GPT_LCCC-large`	`thu-coai/CDial-GPT_LCCC-base` `thu-coai/CDial-GPT_LCCC-large`
	CMP_LM（26億）	ツィンフア	`TsinghuaAI/CPM-Generate`	`TsinghuaAI/CPM-Generate`
	nezha_gen	huawei_noah	`Tongjilibo/chinese_nezha_gpt_L-12_H-768_A-12`
	GPT2-CHINESE-CLUECORPUSSMALL	uer	`uer/gpt2-chinese-cluecorpussmall`	`uer/gpt2-chinese-cluecorpussmall`
	GPT2-ML	imcaspar	いくつか Baiduyun（84dh）	`gpt2-ml_15g_corpus` `gpt2-ml_30g_corpus`
バート	bart_base_chinese	fudan fnlp	`fnlp/bart-base-chinese` v1.0	`fnlp/bart-base-chinese` `fnlp/bart-base-chinese-v1.0`
T5	T5	uer	`uer/t5-small-chinese-cluecorpussmall` `uer/t5-base-chinese-cluecorpussmall`	`uer/t5-base-chinese-cluecorpussmall` `uer/t5-small-chinese-cluecorpussmall`
	MT5	グーグル	`google/mt5-base`	`google/mt5-base`
	T5_Pegasus	Zhuyiテクノロジー	`Tongjilibo/chinese_t5_pegasus_small` `Tongjilibo/chinese_t5_pegasus_base`
	チャタン	手がかり -	`ClueAI/ChatYuan-large-v1` `ClueAI/ChatYuan-large-v2`	`ClueAI/ChatYuan-large-v1` `ClueAI/ChatYuan-large-v2`
	prosptclue	手がかり -	`ClueAI/PromptCLUE-base`	`ClueAI/PromptCLUE-base`
chatglm	chatglm-6b	thudm	`THUDM/chatglm-6b` `THUDM/chatglm-6b-int8` `THUDM/chatglm-6b-int4` V0.1.0	`THUDM/chatglm-6b` `THUDM/chatglm-6b-int8` `THUDM/chatglm-6b-int4` `THUDM/chatglm-6b-v0.1.0`
	chatglm2-6b	thudm	`THUDM/chatglm2-6b` `THUDM/chatglm2-6b-int4` `THUDM/chatglm2-6b-32k`	`THUDM/chatglm2-6b` `THUDM/chatglm2-6b-int4` `THUDM/chatglm2-6b-32k`
	chatglm3-6b	thudm	`THUDM/chatglm3-6b` `THUDM/chatglm3-6b-32k`	`THUDM/chatglm3-6b` `THUDM/chatglm3-6b-32k`
	GLM4-9B	thudm	`THUDM/glm-4-9b` `THUDM/glm-4-9b-chat` `THUDM/glm-4-9b-chat-1m`	`THUDM/glm-4-9b` `THUDM/glm-4-9b-chat` `THUDM/glm-4-9b-chat-1m`
ラマ	ラマ	メタ		`meta-llama/llama-7b` `meta-llama/llama-13b`
	llama-2	メタ	メタラマ/llama-2-7b-hf メタラマ/llama-2-7b-chat-hf メタラマ/llama-2-13b-hf メタラマ/llama-2-13b-chat-hf	`meta-llama/Llama-2-7b-hf` `meta-llama/Llama-2-7b-chat-hf` `meta-llama/Llama-2-13b-hf` `meta-llama/Llama-2-13b-chat-hf`
	llama-3	メタ	`meta-llama/Meta-Llama-3-8B` `meta-llama/Meta-Llama-3-8B-Instruct`	`meta-llama/Meta-Llama-3-8B` `meta-llama/Meta-Llama-3-8B-Instruct`
	llama-3.1	メタ	`meta-llama/Meta-Llama-3.1-8B` `meta-llama/Meta-Llama-3.1-8B-Instruct`	`meta-llama/Meta-Llama-3.1-8B` `meta-llama/Meta-Llama-3.1-8B-Instruct`
	llama-3.2	メタ	`meta-llama/Llama-3.2-1B` `meta-llama/Llama-3.2-1B-Instruct` `meta-llama/Llama-3.2-3B` `meta-llama/Llama-3.2-3B-Instruct`	`meta-llama/Llama-3.2-1B` `meta-llama/Llama-3.2-1B-Instruct` `meta-llama/Llama-3.2-3B` `meta-llama/Llama-3.2-3B-Instruct`
	中国語 - ラマアルパカ	HFL		`hfl/chinese_alpaca_plus_7b` `hfl/chinese_llama_plus_7b`
	中国語 - ラマアルパカ-2	HFL		追加する
	中国語 - ラマアルパカ-3	HFL		追加する
	Belle_llama	lianjiatech	BelleGroup/Belle-llama-7B-2M-Enc	統合指示、 `BelleGroup/BELLE-LLaMA-7B-2M-enc`
	Ziya	Idea-ccnl	Idea-ccnl/ziya-llama-13b-v1 Idea-ccnl/ziya-llama-13b-v1.1 Idea-ccnl/ziya-llama-13b-pretrain-v1	`IDEA-CCNL/Ziya-LLaMA-13B-v1` `IDEA-CCNL/Ziya-LLaMA-13B-v1.1`
	Vicuna	lmsys	`lmsys/vicuna-7b-v1.5`	`lmsys/vicuna-7b-v1.5`
バイチュアン	バイチュアン	Baichuan-inc	`baichuan-inc/Baichuan-7B` `baichuan-inc/Baichuan-13B-Base` `baichuan-inc/Baichuan-13B-Chat`	`baichuan-inc/Baichuan-7B` `baichuan-inc/Baichuan-13B-Base` `baichuan-inc/Baichuan-13B-Chat`
	Baichuan2	Baichuan-inc	`baichuan-inc/Baichuan2-7B-Base` `baichuan-inc/Baichuan2-7B-Chat` `baichuan-inc/Baichuan2-13B-Base` `baichuan-inc/Baichuan2-13B-Chat`	`baichuan-inc/Baichuan2-7B-Base` `baichuan-inc/Baichuan2-7B-Chat` `baichuan-inc/Baichuan2-13B-Base` `baichuan-inc/Baichuan2-13B-Chat`
yi	yi	01-Ai	`01-ai/Yi-6B` `01-ai/Yi-6B-200K` `01-ai/Yi-9B` `01-ai/Yi-9B-200K`	`01-ai/Yi-6B` `01-ai/Yi-6B-200K` `01-ai/Yi-9B` `01-ai/Yi-9B-200K`
	Yi-1.5	01-Ai	`01-ai/Yi-1.5-6B` `01-ai/Yi-1.5-6B-Chat` `01-ai/Yi-1.5-9B` `01-ai/Yi-1.5-9B-32K` `01-ai/Yi-1.5-9B-Chat` `01-ai/Yi-1.5-9B-Chat-16K`	`01-ai/Yi-1.5-6B` `01-ai/Yi-1.5-6B-Chat` `01-ai/Yi-1.5-9B` `01-ai/Yi-1.5-9B-32K` `01-ai/Yi-1.5-9B-Chat` `01-ai/Yi-1.5-9B-Chat-16K`
咲く	咲く	BigScience	`bigscience/bloom-560m` `bigscience/bloomz-560m`	`bigscience/bloom-560m` `bigscience/bloomz-560m`
Qwen	Qwen	アリババクラウド	`Qwen/Qwen-1_8B` `Qwen/Qwen-1_8B-Chat` `Qwen/Qwen-7B` `Qwen/Qwen-7B-Chat` `Qwen/Qwen-14B` `Qwen/Qwen-14B-Chat`	`Qwen/Qwen-1_8B` `Qwen/Qwen-1_8B-Chat` `Qwen/Qwen-7B` `Qwen/Qwen-7B-Chat` `Qwen/Qwen-14B` `Qwen/Qwen-14B-Chat`
	QWEN1.5	アリババクラウド	`Qwen/Qwen1.5-0.5B` `Qwen/Qwen1.5-0.5B-Chat` `Qwen/Qwen1.5-1.8B` `Qwen/Qwen1.5-1.8B-Chat` `Qwen/Qwen1.5-7B` `Qwen/Qwen1.5-7B-Chat` `Qwen/Qwen1.5-14B` `Qwen/Qwen1.5-14B-Chat`	`Qwen/Qwen1.5-0.5B` `Qwen/Qwen1.5-0.5B-Chat` `Qwen/Qwen1.5-1.8B` `Qwen/Qwen1.5-1.8B-Chat` `Qwen/Qwen1.5-7B` `Qwen/Qwen1.5-7B-Chat` `Qwen/Qwen1.5-14B` `Qwen/Qwen1.5-14B-Chat`
	QWEN2	アリババクラウド	`Qwen/Qwen2-0.5B` `Qwen/Qwen2-0.5B-Instruct` `Qwen/Qwen2-1.5B` `Qwen/Qwen2-1.5B-Instruct` `Qwen/Qwen2-7B` `Qwen/Qwen2-7B-Instruct`	`Qwen/Qwen2-0.5B` `Qwen/Qwen2-0.5B-Instruct` `Qwen/Qwen2-1.5B` `Qwen/Qwen2-1.5B-Instruct` `Qwen/Qwen2-7B` `Qwen/Qwen2-7B-Instruct`
	QWEN2-VL	アリババクラウド	`Qwen/Qwen2-VL-2B-Instruct` `Qwen/Qwen2-VL-7B-Instruct`	`Qwen/Qwen2-VL-2B-Instruct` `Qwen/Qwen2-VL-7B-Instruct`
	QWEN2.5	アリババクラウド	`Qwen/Qwen2.5-0.5B` `Qwen/Qwen2.5-0.5B-Instruct` `Qwen/Qwen2.5-1.5B` `Qwen/Qwen2.5-1.5B-Instruct` `Qwen/Qwen2.5-3B` `Qwen/Qwen2.5-3B-Instruct` `Qwen/Qwen2.5-7B` `Qwen/Qwen2.5-7B-Instruct` `Qwen/Qwen2.5-14B` `Qwen/Qwen2.5-14B-Instruct`	`Qwen/Qwen2.5-0.5B` `Qwen/Qwen2.5-0.5B-Instruct` `Qwen/Qwen2.5-1.5B` `Qwen/Qwen2.5-1.5B-Instruct` `Qwen/Qwen2.5-3B` `Qwen/Qwen2.5-3B-Instruct` `Qwen/Qwen2.5-7B` `Qwen/Qwen2.5-7B-Instruct` `Qwen/Qwen2.5-14B` `Qwen/Qwen2.5-14B-Instruct`
internlm	internlm	上海人工知能研究所	`internlm/internlm-7b` `internlm/internlm-chat-7b`	`internlm/internlm-7b` `internlm/internlm-chat-7b`
	internlm2	上海人工知能研究所	`internlm/internlm2-1_8b` `internlm/internlm2-chat-1_8b` `internlm/internlm2-7b` `internlm/internlm2-chat-7b` `internlm/internlm2-20b` `internlm/internlm2-chat-20b`	`internlm/internlm2-1_8b` `internlm/internlm2-chat-1_8b` `internlm/internlm2-7b` `internlm/internlm2-chat-7b`
	internlm2.5	上海人工知能研究所	`internlm/internlm2_5-7b` `internlm/internlm2_5-7b-chat` `internlm/internlm2_5-7b-chat-1m`	`internlm/internlm2_5-7b` `internlm/internlm2_5-7b-chat` `internlm/internlm2_5-7b-chat-1m`
ファルコン	ファルコン	Tiiuae	`tiiuae/falcon-rw-1b` `tiiuae/falcon-7b` `tiiuae/falcon-7b-instruct`	`tiiuae/falcon-rw-1b` `tiiuae/falcon-7b` `tiiuae/falcon-7b-instruct`
deepseek	deepseek-moe	詳細な検索	`deepseek-ai/deepseek-moe-16b-base` `deepseek-ai/deepseek-moe-16b-chat`	`deepseek-ai/deepseek-moe-16b-base` `deepseek-ai/deepseek-moe-16b-chat`
	deepseek-llm	詳細な検索	`deepseek-ai/deepseek-llm-7b-base` `deepseek-ai/deepseek-llm-7b-chat`	`deepseek-ai/deepseek-llm-7b-base` `deepseek-ai/deepseek-llm-7b-chat`
	deepseek-v2	詳細な検索	`deepseek-ai/DeepSeek-V2-Lite` `deepseek-ai/DeepSeek-V2-Lite-Chat`	`deepseek-ai/DeepSeek-V2-Lite` `deepseek-ai/DeepSeek-V2-Lite-Chat`
	deepseek-coder	詳細な検索	`deepseek-ai/deepseek-coder-1.3b-base` `deepseek-ai/deepseek-coder-1.3b-instruct` `deepseek-ai/deepseek-coder-6.7b-base` `deepseek-ai/deepseek-coder-6.7b-instruct` `deepseek-ai/deepseek-coder-7b-base-v1.5` `deepseek-ai/deepseek-coder-7b-instruct-v1.5`	`deepseek-ai/deepseek-coder-1.3b-base` `deepseek-ai/deepseek-coder-1.3b-instruct` `deepseek-ai/deepseek-coder-6.7b-base` `deepseek-ai/deepseek-coder-6.7b-instruct` `deepseek-ai/deepseek-coder-7b-base-v1.5` `deepseek-ai/deepseek-coder-7b-instruct-v1.5`
	deepseek-coder-v2	詳細な検索	`deepseek-ai/DeepSeek-Coder-V2-Lite-Base` `deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct`	`deepseek-ai/DeepSeek-Coder-V2-Lite-Base` `deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct`
	deepseek-math	詳細な検索	`deepseek-ai/deepseek-math-7b-base` `deepseek-ai/deepseek-math-7b-instruct` `deepseek-ai/deepseek-math-7b-rl`	`deepseek-ai/deepseek-math-7b-base` `deepseek-ai/deepseek-math-7b-instruct` `deepseek-ai/deepseek-math-7b-rl`
Minicpm	Minicpm	OpenBMB	`openbmb/MiniCPM-2B-sft-bf16` `openbmb/MiniCPM-2B-dpo-bf16` `openbmb/MiniCPM-2B-128k` `openbmb/MiniCPM-1B-sft-bf16`	`openbmb/MiniCPM-2B-sft-bf16` `openbmb/MiniCPM-2B-dpo-bf16` `openbmb/MiniCPM-2B-128k` `openbmb/MiniCPM-1B-sft-bf16`
	MINICPM-V	OpenBMB	`openbmb/MiniCPM-V-2_6` `openbmb/MiniCPM-Llama3-V-2_5`	`openbmb/MiniCPM-V-2_6` `openbmb/MiniCPM-Llama3-V-2_5`
埋め込み	text2vec-base-chinese	Shibing624	`shibing624/text2vec-base-chinese`	`shibing624/text2vec-base-chinese`
	M3E	Moka-ai	`moka-ai/m3e-base`	`moka-ai/m3e-base`
	BGE	バイ	`BAAI/bge-large-en-v1.5` `BAAI/bge-large-zh-v1.5` `BAAI/bge-base-en-v1.5` `BAAI/bge-base-zh-v1.5` `BAAI/bge-small-en-v1.5` `BAAI/bge-small-zh-v1.5`	`BAAI/bge-large-en-v1.5` `BAAI/bge-large-zh-v1.5` `BAAI/bge-base-en-v1.5` `BAAI/bge-base-zh-v1.5` `BAAI/bge-small-en-v1.5` `BAAI/bge-small-zh-v1.5`
	GTE	thenlper	`thenlper/gte-large-zh` `thenlper/gte-base-zh`	`thenlper/gte-base-zh` `thenlper/gte-large-zh`

*注記：

高亮格式（ bert-base-chineseなど）の表現は、オンラインでダウンロードするために直接build_transformer_model()
国内のミラーWebサイトは、ダウンロードするために加速されます
- HF_ENDPOINT=https://hf-mirror.com python your_script.py
- pythonコードを実行する前に、 export HF_ENDPOINT=https://hf-mirror.com
- Pythonコードの開始時に次のように設定します
```
 import os
os . environ [ 'HF_ENDPOINT' ] = "https://hf-mirror.com" 
```

6。ありがとう

Bet4kerasを実装してくれたSu Shenに感謝します。この実装には、bet4kerasのソースコードを参照する多くの場所があります。私は彼の無私の献身に心から心から感謝したいと思います。
第二に、プロジェクトBET4PYTORCHのおかげで、このプロジェクトのガイダンスの下で、Pytorchを使用してBet4Kerasを再現するというアイデアとアイデアを与えてくれました。

7。引用

 @misc{bert4torch,
  title={bert4torch},
  author={Bo Li},
  year={2022},
  howpublished={url{https://github.com/Tongjilibo/bert4torch}},
}

8。その他

WeChat＆Star Historyチャート
WeChatグループの数が200を超える（招待状の制限付き）、個人のWeChatグループを追加できます

wechat id

WeChat Group

スターヒストリーチャート

拡大する

追加情報

バージョン v0.5.4
タイプその他のソースコード
更新時間 2025-04-19
サイズ 3.42MB
から Github

bert4torch

目次

1。ダウンロードしてインストールします

2。関数

3。すぐに始めましょう

3.1開始チュートリアルを開始します

3.2コマンドラインに大規模なモデルサービスをすばやく展開する

4。バージョンと更新履歴

バージョン4.1履歴

4.2履歴を更新します

5。トレーニング前の重み

6。ありがとう

7。引用

8。その他

Google Dorks

shepherd

mongo express

hidusbf

Free Algorithms Books

markdownpedia

chat.petals.dev

GPT Prompt Templates

GPTyped

Google Dorks

shepherd

mongo express

Google Dorks

shepherd

mongo express