Download bert4torch - Unduh Kode Sumber bert4torch

bert4torch

Kode sumber lainnya

v0.5.4

Unduh

Bert4Torch

Dokumentasi | Torch4keras | Contoh | build_minillm_from_scratch | BERT4VECTOR

Daftar isi

Daftar isi
1. Unduh dan instal
2. Fungsi
3. Mulailah dengan cepat
- 3.1 Mulai Tutorial
- 3.2 dengan cepat menggunakan layanan model besar pada baris perintah
4. Versi dan Perbarui Riwayat
- Versi 4.1 Sejarah
- 4.2 Sejarah Perbarui
5. Bobot pra-pelatihan
6. Terima kasih
7. Kutipan
8. Lainnya

1. Unduh dan instal

Instal Versi Stabil

pip install bert4torch

Instal versi terbaru

pip install git+https://github.com/Tongjilibo/bert4torch

Catatan : Rilis paket PIP lebih lambat dari versi pengembangan di Git. Perhatikan jalur referensi klon git dan perhatikan apakah berat badan perlu dikonversi.
Test Case : git clone https://github.com/Tongjilibo/bert4torch , memodifikasi jalur file model pretrained dan jalur data dalam contoh untuk memulai skrip
Pelatihan Mandiri : Ubah Blok Kode Pemrosesan Data yang sesuai untuk data Anda sendiri
Lingkungan Pengembangan : Awalnya digunakan untuk mengembangkan dengan versi torch==1.10 , dan sekarang telah beralih ke pengembangan torch2.0 . Jika versi lain mengalami ketidaksepakatan, jangan ragu untuk umpan balik.

2. Fungsi

Model LLM : Muat bobot model besar open source seperti chatglm, llama, bachuan, ziya, mekar, dll. Untuk inferensi dan fine-tuning, dan menggunakan model besar dalam satu baris pada baris perintah.
Fungsi inti : Memuat bobot pra-pelatihan seperti Bert, Roberta, Albert, Xlnet, Nezha, Bart, Roformer, Roformer_v2, Electra, GPT, GPT2, T5, Gau-Alpha, Ernie, dll.
Contoh Kaya : Termasuk LLM, Pretrain, Sentence_Clasification, Sentence_embedding, Sequence_Labeling, Relationship_Extraction, SEQ2SEQ, SIVING dan Solusi Lainnya
Verifikasi Eksperimental : Verifikasi Eksperimental telah dilakukan pada kumpulan data publik, menggunakan contoh -contoh berikut set data dan indikator eksperimental
Trik yang mudah digunakan : mengintegrasikan trik umum, plug and play
Fitur Lainnya : Muat Model Perpustakaan Transformers Bersama -sama; Metode panggilan sederhana dan efisien; tampilan dinamis dari bilah kemajuan pelatihan; Volume Parameter Cetak dengan Torchinfo; Logger dan Tensorboard default mudah untuk merekam proses pelatihan; Proses kesesuaian khusus untuk memenuhi kebutuhan tingkat tinggi
Proses Pelatihan :

Fungsi	Bert4Torch	Transformer	Komentar
Bar Kemajuan Pelatihan	✅	✅	Progress Bar mencetak kehilangan dan metrik yang ditentukan
Pelatihan Terdistribusi DP/DDP	✅	✅	Obor dilengkapi dengan DP/DDP
Berbagai panggilan balik	✅	✅	Log/Tensorboard/EarlyStop/Wandb, dll.
Penalaran model besar, output stream/batch	✅	✅	Setiap model bersifat universal dan tidak memerlukan pemeliharaan skrip yang terpisah
Saling Model Besar	✅	✅	Lora tergantung pada perpustakaan peft, PV2 hadir dengan sendirinya
Trik kaya	✅		Trik plug and play melawan pelatihan dan trik lainnya
Kode sederhana dan mudah dimengerti, dan ruang kustomnya besar	✅		Penggunaan kembali kode tinggi, gaya pelatihan kode keras
Kemampuan Pemeliharaan Gudang/Pengaruh/Penggunaan/Kompatibilitas		✅	Saat ini, pemeliharaan pribadi gudang
Penyebaran satu klik dari model besar

3. Mulailah dengan cepat

3.1 Mulai Tutorial

Start cepat
Tutorial Mulai Cepat, Contoh Tutorial, Contoh Praktis
Pengantar Bert4torch (Zhihu), mulailah dengan cepat dengan Bert4torch (Zhihu), dan Bert4Torch telah diperbarui lagi (Zhihu)

3.2 dengan cepat menggunakan layanan model besar pada baris perintah

Pemuatan lokal/internet

 # 联网下载全部文件
bert4torch-llm-server --checkpoint_path Qwen2-0.5B-Instruct

# 加载本地大模型，联网下载bert4torch_config.json
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --config_path Qwen/Qwen2-0.5B-Instruct

# 加载本地大模型，且bert4torch_config.json已经下载并放于同名目录下
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct

Command Line/Gradio Webpage/OpenAI_API

 # 命令行
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode cli

# gradio网页
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode gradio

# openai_api
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode openai

Contoh obrolan baris perintah

4. Versi dan Perbarui Riwayat

Versi 4.1 Sejarah

Tanggal Pembaruan	Bert4Torch	Torch4keras	Deskripsi Versi
20240928	0.5.4	0.2.7	[Fitur Baru] Tambahkan seri Deepseek, minicpm, minicpmv, llama3.2, qwen2.5; Support device_map = auto; [Fix] perbaiki batch_generate dan n> 1 bug
20240814	0.5.3	0.2.6	【Fitur Baru】 Tambahkan llama3.1/yi1.5; Secara otomatis pilih Unduh dari HFMIRROR; Parameter Baris Perintah Dukungan `bert4torch-llm-server`
20240801	0.5.2	0.2.5	[Fungsi Baru] Seri ChatGLM/QWEN mendukung panggilan panggilan fungsi, dan menambahkan seri internlm2; [Optimalisasi Kecil] Sederhanakan panggilan demo obrolan dalam pipa, hasilkan elemen token diizinkan untuk menjadi daftar, menyatukan nama parameter Rope_scaling, dan menambahkan kelas turunan tali; [bug] Perbaiki bug inferensi flash_attn2, perbaiki bug tie_word_embedding Bart

Lebih banyak versi

4.2 Sejarah Perbarui

Lebih banyak sejarah

5. Bobot pra-pelatihan

Model pra-terlatih mendukung beberapa metode pemuatan kode

 from bert4torch . models import build_transformer_model

# 1. 仅指定config_path: 从头初始化模型结构, 不加载预训练模型
model = build_transformer_model ( './model/bert4torch_config.json' )

# 2. 仅指定checkpoint_path: 
## 2.1 文件夹路径: 自动寻找路径下的*.bin/*.safetensors权重文件 + 需把bert4torch_config.json下载并放于该目录下
model = build_transformer_model ( checkpoint_path = './model' )

## 2.2 文件路径/列表: 文件路径即权重路径/列表, bert4torch_config.json会从同级目录下寻找
model = build_transformer_model ( checkpoint_path = './pytorch_model.bin' )

## 2.3 model_name: hf上预训练权重名称, 会自动下载hf权重以及bert4torch_config.json文件
model = build_transformer_model ( checkpoint_path = 'bert-base-chinese' )

# 3. 同时指定config_path和checkpoint_path(本地路径名或model_name排列组合): 
#    本地路径从本地加载，pretrained_model_name会联网下载
config_path = './model/bert4torch_config.json'  # 或'bert-base-chinese'
checkpoint_path = './model/pytorch_model.bin'  # 或'bert-base-chinese'
model = build_transformer_model ( config_path , checkpoint_path )

Tautan Berat Pretrained dan Bert4Torch_config.json

Klasifikasi Model	Nama model	Sumber berat	Tautan Berat/Checkpoint_Path	config_path
Bert	Bert-Base-Chinese	Google-Bert	`bert-base-chinese`	`bert-base-chinese`
	China_L-12_H-768_A-12	Google	Berat badan `Tongjilibo/bert-chinese_L-12_H-768_A-12`
	China-Bert-WWM-EXT	Hfl	`hfl/chinese-bert-wwm-ext`	`hfl/chinese-bert-wwm-ext`
	Bert-Base-Base-Cased	Google-Bert	`bert-base-multilingual-cased`	`bert-base-multilingual-cased`
	Macbert	Hfl	`hfl/chinese-macbert-base` `hfl/chinese-macbert-large`	`hfl/chinese-macbert-base` `hfl/chinese-macbert-large`
	Wobert	Teknologi Zhuyi	`junnyu/wobert_chinese_base` , `junnyu/wobert_chinese_plus_base`	`junnyu/wobert_chinese_base` `junnyu/wobert_chinese_plus_base`
Roberta	China-Roberta-WWM-EXT	Hfl	`hfl/chinese-roberta-wwm-ext` `hfl/chinese-roberta-wwm-ext-large` (Berat mlm besar diinisialisasi secara acak)	`hfl/chinese-roberta-wwm-ext` `hfl/chinese-roberta-wwm-ext-large`
	Roberta-Small/Tiny	Teknologi Zhuyi	`Tongjilibo/chinese_roberta_L-4_H-312_A-12` `Tongjilibo/chinese_roberta_L-6_H-384_A-12`
	Roberta-Base	Facebookai	`roberta-base`	`roberta-base`
	Guwenbert	Ethanyt	`ethanyt/guwenbert-base`	`ethanyt/guwenbert-base`
Albert	Albert_zh Albert_pytorch	Brightmart	`voidful/albert_chinese_tiny` `voidful/albert_chinese_small` `voidful/albert_chinese_base` `voidful/albert_chinese_large` `voidful/albert_chinese_xlarge` `voidful/albert_chinese_xxlarge`	`voidful/albert_chinese_tiny` `voidful/albert_chinese_small` `voidful/albert_chinese_base` `voidful/albert_chinese_large` `voidful/albert_chinese_xlarge` `voidful/albert_chinese_xxlarge`
Nezha	Nezha Nezha_chinese_pytorch	huawei_noah	`sijunhe/nezha-cn-base` `sijunhe/nezha-cn-large` `sijunhe/nezha-base-wwm` `sijunhe/nezha-large-wwm`	`sijunhe/nezha-cn-base` `sijunhe/nezha-cn-large` `sijunhe/nezha-base-wwm` `sijunhe/nezha-large-wwm`
	nezha_gpt_dialog	Bojone	`Tongjilibo/nezha_gpt_dialog`
xlnet	China-xlnet	Hfl	`hfl/chinese-xlnet-base`	`hfl/chinese-xlnet-base`
	Transformer_xl	Huggingface	`transfo-xl/transfo-xl-wt103`	`transfo-xl/transfo-xl-wt103`
Deberta	Erlangshen-Deberta-V2	IDE	`IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese`	`IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese`
electra	ELECTra Cina	Hfl	`hfl/chinese-electra-base-discriminator`	`hfl/chinese-electra-base-discriminator`
Ernie	Ernie	Baidu Wenxin	`nghuyong/ernie-1.0-base-zh` `nghuyong/ernie-3.0-base-zh`	`nghuyong/ernie-1.0-base-zh` `nghuyong/ernie-3.0-base-zh`
Roformer	Roformer	Teknologi Zhuyi	`junnyu/roformer_chinese_base`	`junnyu/roformer_chinese_base`
	roformer_v2	Teknologi Zhuyi	`junnyu/roformer_v2_chinese_char_base`	`junnyu/roformer_v2_chinese_char_base`
Simbert	Simbert	Teknologi Zhuyi	`Tongjilibo/simbert-chinese-base` `Tongjilibo/simbert-chinese-small` `Tongjilibo/simbert-chinese-tiny`
	Simbert_v2/roformer-sim	Teknologi Zhuyi	`junnyu/roformer_chinese_sim_char_base` , `junnyu/roformer_chinese_sim_char_ft_base` , `junnyu/roformer_chinese_sim_char_small` , `junnyu/roformer_chinese_sim_char_ft_small`	`junnyu/roformer_chinese_sim_char_base` `junnyu/roformer_chinese_sim_char_ft_base` `junnyu/roformer_chinese_sim_char_small` `junnyu/roformer_chinese_sim_char_ft_small`
gau	Gau-alpha	Teknologi Zhuyi	`Tongjilibo/chinese_GAU-alpha-char_L-24_H-768`
Uie	Uie uie_pytorch	Baidu	`Tongjilibo/uie-base`
GPT	CDIAL-GPT	Thu-Coai	`thu-coai/CDial-GPT_LCCC-base` `thu-coai/CDial-GPT_LCCC-large`	`thu-coai/CDial-GPT_LCCC-base` `thu-coai/CDial-GPT_LCCC-large`
	CMP_LM (2,6 miliar)	Tsinghua	`TsinghuaAI/CPM-Generate`	`TsinghuaAI/CPM-Generate`
	nezha_gen	huawei_noah	`Tongjilibo/chinese_nezha_gpt_L-12_H-768_A-12`
	GPT2-CHINESE-CLUECORPUSSMALL	Uer	`uer/gpt2-chinese-cluecorpussmall`	`uer/gpt2-chinese-cluecorpussmall`
	GPT2-ML	Imcaspar	Torrh Baiduyun (84dh)	`gpt2-ml_15g_corpus` `gpt2-ml_30g_corpus`
Bart	bart_base_chinese	Fudan fnlp	`fnlp/bart-base-chinese` v1.0	`fnlp/bart-base-chinese` `fnlp/bart-base-chinese-v1.0`
T5	T5	Uer	`uer/t5-small-chinese-cluecorpussmall` `uer/t5-base-chinese-cluecorpussmall`	`uer/t5-base-chinese-cluecorpussmall` `uer/t5-small-chinese-cluecorpussmall`
	MT5	Google	`google/mt5-base`	`google/mt5-base`
	t5_pegasus	Teknologi Zhuyi	`Tongjilibo/chinese_t5_pegasus_small` `Tongjilibo/chinese_t5_pegasus_base`
	Chatyuan	Petunjuk-ai	`ClueAI/ChatYuan-large-v1` `ClueAI/ChatYuan-large-v2`	`ClueAI/ChatYuan-large-v1` `ClueAI/ChatYuan-large-v2`
	Promptclue	Petunjuk-ai	`ClueAI/PromptCLUE-base`	`ClueAI/PromptCLUE-base`
chatglm	chatglm-6b	Thudm	`THUDM/chatglm-6b` `THUDM/chatglm-6b-int8` `THUDM/chatglm-6b-int4` V0.1.0	`THUDM/chatglm-6b` `THUDM/chatglm-6b-int8` `THUDM/chatglm-6b-int4` `THUDM/chatglm-6b-v0.1.0`
	chatglm2-6b	Thudm	`THUDM/chatglm2-6b` `THUDM/chatglm2-6b-int4` `THUDM/chatglm2-6b-32k`	`THUDM/chatglm2-6b` `THUDM/chatglm2-6b-int4` `THUDM/chatglm2-6b-32k`
	chatglm3-6b	Thudm	`THUDM/chatglm3-6b` `THUDM/chatglm3-6b-32k`	`THUDM/chatglm3-6b` `THUDM/chatglm3-6b-32k`
	GLM4-9B	Thudm	`THUDM/glm-4-9b` `THUDM/glm-4-9b-chat` `THUDM/glm-4-9b-chat-1m`	`THUDM/glm-4-9b` `THUDM/glm-4-9b-chat` `THUDM/glm-4-9b-chat-1m`
llama	llama	meta		`meta-llama/llama-7b` `meta-llama/llama-13b`
	llama-2	meta	Meta-llama/llama-2-7b-hf META-LLAMA/LLAMA-2-7B-CHAT-HF Meta-llama/llama-2-13b-hf meta-llama/llama-2-13b-chat-hf	`meta-llama/Llama-2-7b-hf` `meta-llama/Llama-2-7b-chat-hf` `meta-llama/Llama-2-13b-hf` `meta-llama/Llama-2-13b-chat-hf`
	llama-3	meta	`meta-llama/Meta-Llama-3-8B` `meta-llama/Meta-Llama-3-8B-Instruct`	`meta-llama/Meta-Llama-3-8B` `meta-llama/Meta-Llama-3-8B-Instruct`
	llama-3.1	meta	`meta-llama/Meta-Llama-3.1-8B` `meta-llama/Meta-Llama-3.1-8B-Instruct`	`meta-llama/Meta-Llama-3.1-8B` `meta-llama/Meta-Llama-3.1-8B-Instruct`
	llama-3.2	meta	`meta-llama/Llama-3.2-1B` `meta-llama/Llama-3.2-1B-Instruct` `meta-llama/Llama-3.2-3B` `meta-llama/Llama-3.2-3B-Instruct`	`meta-llama/Llama-3.2-1B` `meta-llama/Llama-3.2-1B-Instruct` `meta-llama/Llama-3.2-3B` `meta-llama/Llama-3.2-3B-Instruct`
	China-Llama-Alpaca	Hfl		`hfl/chinese_alpaca_plus_7b` `hfl/chinese_llama_plus_7b`
	China-llama-alpaca-2	Hfl		Ditambahkan
	China-llama-alpaca-3	Hfl		Ditambahkan
	Belle_llama	Lianjiatech	Bellegroup/Belle-llama-7b-2m-Enenc	Instruksi Sintesis, `BelleGroup/BELLE-LLaMA-7B-2M-enc`
	Ziya	Ide-CCNL	Idea-CCNL/Ziya-Llama-13b-V1 IDEA-CCNL/ZIYA-LLAMA-13B-V1.1 Idea-CCNL/Ziya-llama-13b-pretrain-V1	`IDEA-CCNL/Ziya-LLaMA-13B-v1` `IDEA-CCNL/Ziya-LLaMA-13B-v1.1`
	Vicuna	lmsys	`lmsys/vicuna-7b-v1.5`	`lmsys/vicuna-7b-v1.5`
Baichuan	Baichuan	Baichuan-Inc	`baichuan-inc/Baichuan-7B` `baichuan-inc/Baichuan-13B-Base` `baichuan-inc/Baichuan-13B-Chat`	`baichuan-inc/Baichuan-7B` `baichuan-inc/Baichuan-13B-Base` `baichuan-inc/Baichuan-13B-Chat`
	Baichuan2	Baichuan-Inc	`baichuan-inc/Baichuan2-7B-Base` `baichuan-inc/Baichuan2-7B-Chat` `baichuan-inc/Baichuan2-13B-Base` `baichuan-inc/Baichuan2-13B-Chat`	`baichuan-inc/Baichuan2-7B-Base` `baichuan-inc/Baichuan2-7B-Chat` `baichuan-inc/Baichuan2-13B-Base` `baichuan-inc/Baichuan2-13B-Chat`
Yi	Yi	01-AI	`01-ai/Yi-6B` `01-ai/Yi-6B-200K` `01-ai/Yi-9B` `01-ai/Yi-9B-200K`	`01-ai/Yi-6B` `01-ai/Yi-6B-200K` `01-ai/Yi-9B` `01-ai/Yi-9B-200K`
	Yi-1.5	01-AI	`01-ai/Yi-1.5-6B` `01-ai/Yi-1.5-6B-Chat` `01-ai/Yi-1.5-9B` `01-ai/Yi-1.5-9B-32K` `01-ai/Yi-1.5-9B-Chat` `01-ai/Yi-1.5-9B-Chat-16K`	`01-ai/Yi-1.5-6B` `01-ai/Yi-1.5-6B-Chat` `01-ai/Yi-1.5-9B` `01-ai/Yi-1.5-9B-32K` `01-ai/Yi-1.5-9B-Chat` `01-ai/Yi-1.5-9B-Chat-16K`
bunga	bunga	BigScience	`bigscience/bloom-560m` `bigscience/bloomz-560m`	`bigscience/bloom-560m` `bigscience/bloomz-560m`
Qwen	Qwen	ALIBABA Cloud	`Qwen/Qwen-1_8B` `Qwen/Qwen-1_8B-Chat` `Qwen/Qwen-7B` `Qwen/Qwen-7B-Chat` `Qwen/Qwen-14B` `Qwen/Qwen-14B-Chat`	`Qwen/Qwen-1_8B` `Qwen/Qwen-1_8B-Chat` `Qwen/Qwen-7B` `Qwen/Qwen-7B-Chat` `Qwen/Qwen-14B` `Qwen/Qwen-14B-Chat`
	Qwen1.5	ALIBABA Cloud	`Qwen/Qwen1.5-0.5B` `Qwen/Qwen1.5-0.5B-Chat` `Qwen/Qwen1.5-1.8B` `Qwen/Qwen1.5-1.8B-Chat` `Qwen/Qwen1.5-7B` `Qwen/Qwen1.5-7B-Chat` `Qwen/Qwen1.5-14B` `Qwen/Qwen1.5-14B-Chat`	`Qwen/Qwen1.5-0.5B` `Qwen/Qwen1.5-0.5B-Chat` `Qwen/Qwen1.5-1.8B` `Qwen/Qwen1.5-1.8B-Chat` `Qwen/Qwen1.5-7B` `Qwen/Qwen1.5-7B-Chat` `Qwen/Qwen1.5-14B` `Qwen/Qwen1.5-14B-Chat`
	Qwen2	ALIBABA Cloud	`Qwen/Qwen2-0.5B` `Qwen/Qwen2-0.5B-Instruct` `Qwen/Qwen2-1.5B` `Qwen/Qwen2-1.5B-Instruct` `Qwen/Qwen2-7B` `Qwen/Qwen2-7B-Instruct`	`Qwen/Qwen2-0.5B` `Qwen/Qwen2-0.5B-Instruct` `Qwen/Qwen2-1.5B` `Qwen/Qwen2-1.5B-Instruct` `Qwen/Qwen2-7B` `Qwen/Qwen2-7B-Instruct`
	QWEN2-VL	ALIBABA Cloud	`Qwen/Qwen2-VL-2B-Instruct` `Qwen/Qwen2-VL-7B-Instruct`	`Qwen/Qwen2-VL-2B-Instruct` `Qwen/Qwen2-VL-7B-Instruct`
	Qwen2.5	ALIBABA Cloud	`Qwen/Qwen2.5-0.5B` `Qwen/Qwen2.5-0.5B-Instruct` `Qwen/Qwen2.5-1.5B` `Qwen/Qwen2.5-1.5B-Instruct` `Qwen/Qwen2.5-3B` `Qwen/Qwen2.5-3B-Instruct` `Qwen/Qwen2.5-7B` `Qwen/Qwen2.5-7B-Instruct` `Qwen/Qwen2.5-14B` `Qwen/Qwen2.5-14B-Instruct`	`Qwen/Qwen2.5-0.5B` `Qwen/Qwen2.5-0.5B-Instruct` `Qwen/Qwen2.5-1.5B` `Qwen/Qwen2.5-1.5B-Instruct` `Qwen/Qwen2.5-3B` `Qwen/Qwen2.5-3B-Instruct` `Qwen/Qwen2.5-7B` `Qwen/Qwen2.5-7B-Instruct` `Qwen/Qwen2.5-14B` `Qwen/Qwen2.5-14B-Instruct`
Internlm	Internlm	Laboratorium Intelijen Buatan Shanghai	`internlm/internlm-7b` `internlm/internlm-chat-7b`	`internlm/internlm-7b` `internlm/internlm-chat-7b`
	Internlm2	Laboratorium Intelijen Buatan Shanghai	`internlm/internlm2-1_8b` `internlm/internlm2-chat-1_8b` `internlm/internlm2-7b` `internlm/internlm2-chat-7b` `internlm/internlm2-20b` `internlm/internlm2-chat-20b`	`internlm/internlm2-1_8b` `internlm/internlm2-chat-1_8b` `internlm/internlm2-7b` `internlm/internlm2-chat-7b`
	Internlm2.5	Laboratorium Intelijen Buatan Shanghai	`internlm/internlm2_5-7b` `internlm/internlm2_5-7b-chat` `internlm/internlm2_5-7b-chat-1m`	`internlm/internlm2_5-7b` `internlm/internlm2_5-7b-chat` `internlm/internlm2_5-7b-chat-1m`
Elang	Elang	tiiuae	`tiiuae/falcon-rw-1b` `tiiuae/falcon-7b` `tiiuae/falcon-7b-instruct`	`tiiuae/falcon-rw-1b` `tiiuae/falcon-7b` `tiiuae/falcon-7b-instruct`
Deepseek	Deepseek-Moe	Pencarian mendalam	`deepseek-ai/deepseek-moe-16b-base` `deepseek-ai/deepseek-moe-16b-chat`	`deepseek-ai/deepseek-moe-16b-base` `deepseek-ai/deepseek-moe-16b-chat`
	Deepseek-llm	Pencarian mendalam	`deepseek-ai/deepseek-llm-7b-base` `deepseek-ai/deepseek-llm-7b-chat`	`deepseek-ai/deepseek-llm-7b-base` `deepseek-ai/deepseek-llm-7b-chat`
	Deepseek-V2	Pencarian mendalam	`deepseek-ai/DeepSeek-V2-Lite` `deepseek-ai/DeepSeek-V2-Lite-Chat`	`deepseek-ai/DeepSeek-V2-Lite` `deepseek-ai/DeepSeek-V2-Lite-Chat`
	Deepseek-Coder	Pencarian mendalam	`deepseek-ai/deepseek-coder-1.3b-base` `deepseek-ai/deepseek-coder-1.3b-instruct` `deepseek-ai/deepseek-coder-6.7b-base` `deepseek-ai/deepseek-coder-6.7b-instruct` `deepseek-ai/deepseek-coder-7b-base-v1.5` `deepseek-ai/deepseek-coder-7b-instruct-v1.5`	`deepseek-ai/deepseek-coder-1.3b-base` `deepseek-ai/deepseek-coder-1.3b-instruct` `deepseek-ai/deepseek-coder-6.7b-base` `deepseek-ai/deepseek-coder-6.7b-instruct` `deepseek-ai/deepseek-coder-7b-base-v1.5` `deepseek-ai/deepseek-coder-7b-instruct-v1.5`
	Deepseek-Coder-V2	Pencarian mendalam	`deepseek-ai/DeepSeek-Coder-V2-Lite-Base` `deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct`	`deepseek-ai/DeepSeek-Coder-V2-Lite-Base` `deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct`
	Deepseek-Math	Pencarian mendalam	`deepseek-ai/deepseek-math-7b-base` `deepseek-ai/deepseek-math-7b-instruct` `deepseek-ai/deepseek-math-7b-rl`	`deepseek-ai/deepseek-math-7b-base` `deepseek-ai/deepseek-math-7b-instruct` `deepseek-ai/deepseek-math-7b-rl`
Minicpm	Minicpm	OpenBMB	`openbmb/MiniCPM-2B-sft-bf16` `openbmb/MiniCPM-2B-dpo-bf16` `openbmb/MiniCPM-2B-128k` `openbmb/MiniCPM-1B-sft-bf16`	`openbmb/MiniCPM-2B-sft-bf16` `openbmb/MiniCPM-2B-dpo-bf16` `openbmb/MiniCPM-2B-128k` `openbmb/MiniCPM-1B-sft-bf16`
	Minicpm-v	OpenBMB	`openbmb/MiniCPM-V-2_6` `openbmb/MiniCPM-Llama3-V-2_5`	`openbmb/MiniCPM-V-2_6` `openbmb/MiniCPM-Llama3-V-2_5`
Menanamkan	TEXT2VEC-BASE-CHINESE	Shibing624	`shibing624/text2vec-base-chinese`	`shibing624/text2vec-base-chinese`
	m3e	moka-ai	`moka-ai/m3e-base`	`moka-ai/m3e-base`
	BGE	Baai	`BAAI/bge-large-en-v1.5` `BAAI/bge-large-zh-v1.5` `BAAI/bge-base-en-v1.5` `BAAI/bge-base-zh-v1.5` `BAAI/bge-small-en-v1.5` `BAAI/bge-small-zh-v1.5`	`BAAI/bge-large-en-v1.5` `BAAI/bge-large-zh-v1.5` `BAAI/bge-base-en-v1.5` `BAAI/bge-base-zh-v1.5` `BAAI/bge-small-en-v1.5` `BAAI/bge-small-zh-v1.5`
	gte	Kemudian langgar	`thenlper/gte-large-zh` `thenlper/gte-base-zh`	`thenlper/gte-base-zh` `thenlper/gte-large-zh`

*Catatan:

Representasi dari高亮格式(seperti bert-base-chinese ) dapat langsung build_transformer_model() untuk diunduh secara online
Situs web cermin domestik dipercepat untuk diunduh
- HF_ENDPOINT=https://hf-mirror.com python your_script.py
- export HF_ENDPOINT=https://hf-mirror.com sebelum menjalankan kode Python
- Ditetapkan sebagai berikut di awal kode Python
```
 import os
os . environ [ 'HF_ENDPOINT' ] = "https://hf-mirror.com" 
```

6. Terima kasih

Terima kasih kepada Su Shen untuk Bet4keras yang diimplementasikan. Ada banyak tempat dalam implementasi ini yang merujuk pada kode sumber Bet4keras. Saya ingin mengucapkan terima kasih kepada bos atas dedikasinya yang tanpa pamrih;
Kedua, berkat proyek bet4pytorch, dan di bawah bimbingan proyek ini, saya memberi saya ide dan ide menggunakan pytorch untuk mereproduksi bet4keras.

7. Kutipan

 @misc{bert4torch,
  title={bert4torch},
  author={Bo Li},
  year={2022},
  howpublished={url{https://github.com/Tongjilibo/bert4torch}},
}

8. Lainnya

Bagan WeChat & Star History
Jumlah grup WeChat melebihi 200 (dengan pembatasan undangan), Anda dapat menambahkan grup WeChat pribadi

WeChat ID

Grup WeChat

Bagan Sejarah Bintang

Memperluas

Informasi Tambahan

Versi v0.5.4
Tipe Kode sumber lainnya
Waktu Pembaruan 2025-04-19
ukuran 3.42MB
Berasal dari Github

Aplikasi Terkait

Google Dorks

2025-03-10
shepherd

2025-06-04
mongo express

2025-06-04
hidusbf

2025-02-14
Free Algorithms Books

2025-05-29
markdownpedia

2025-04-22

Direkomendasikan untuk Anda

chat.petals.dev

Kode sumber lainnya

1.0.0
GPT Prompt Templates

Kode sumber lainnya

1.0.0
GPTyped

Kode sumber lainnya

GPTyped 1.0.5
Google Dorks

Kode sumber lainnya

1.0
shepherd

Kode sumber lainnya

v6.1.6-react-shepherd: Prepare Release (#3063)
mongo express

Kode sumber lainnya

v1.1.0-rc-3
Google Dorks

Kode sumber lainnya

1.0
shepherd

Kode sumber lainnya

v6.1.6-react-shepherd: Prepare Release (#3063)
mongo express

Kode sumber lainnya

v1.1.0-rc-3

Informasi Terkait Semua