bert4torch Скачать - bert4torch SUSTERCOD CODE Скачать

BERT4TORCH

Документация | Torch4keras | Примеры | build_minillm_from_scratch | Bert4Vector

Оглавление
1. Скачать и установить
2. Функция
3. Начните быстро
- 3.1 Начало учебник
- 3.2 Быстрое развертывание больших модельных служб в командной строке
4. Версия и история обновления
- Версия 4.1 ИСТОРИЯ
- 4.2 История обновления
5. Предварительно тренировочные веса
6. Спасибо
7. Цитата
8. Другие

1. Скачать и установить

Установите стабильную версию

pip install bert4torch

Установите последнюю версию

pip install git+https://github.com/Tongjilibo/bert4torch

ПРИМЕЧАНИЕ . Выпуск PIP -пакетов медленнее, чем версия разработки на GIT. Обратите внимание на контрольный путь клона GIT и обратите внимание на то, должен ли вес быть преобразован.
Тестовый случай : git clone https://github.com/Tongjilibo/bert4torch , изменить путь к предварительному модели и путь данных в примере, чтобы запустить скрипт
Самоуничивание : изменить соответствующий блок кода обработки данных для ваших собственных данных
Среда разработки : первоначально используется для развития с версией torch==1.10 и теперь переключилась на разработку torch2.0 . Если другие версии сталкиваются с разногласиями, пожалуйста, не стесняйтесь обращать внимание.

2. Функция

Модель LLM : загружайте большие веса с открытым исходным кодом, такие как Chatglm, Llama, Baichuan, Ziya, Bloom и т. Д. Для вывода и тонкой настройки, а также развернуть большие модели в одной строке в командной строке.
Основные функции : загрузка веса предварительного обучения, таких как Берт, Роберта, Альберт, XLnet, Nezha, Bart, Roformer, Roformer_v2, Electra, GPT, GPT2, T5, Gau-Alpha, Ernie и т. Д.
Богатые примеры : включая LLM, предварительный размер, предложение_CLASSIFICATION, SEDENGE_EMBEDDING, SEQUENCE_LABELING, SUNECTION_EXTRACTION, SEQ2SEQ, Сервия и другие решения
Экспериментальная проверка : экспериментальная проверка была проведена в наборе публичных данных, используя следующие примеры набора данных и экспериментальных индикаторов
Простой в использовании трюк : интегрирует общие трюки, подключите и играйте
Другие функции : загрузите модель библиотеки трансформаторов вместе; Метод вызова прост и эффективен; Динамическое отображение баров для прогресса в обучении; Печать параметра с Torchinfo; Логист по умолчанию и Tensorboard легко записать процесс обучения; Пользовательский процесс для удовлетворения потребностей высокого уровня
Процесс обучения :

Функция	BERT4TORCH	Трансформеры	Примечание
Бар прогресса в обучении	✅	✅	Прогресс -панель распечатывает потерю и определенные метрики
Распределенное обучение DP/DDP	✅	✅	Факел поставляется с DP/DDP
Различные обратные вызовы	✅	✅	Log/tensorboard/annomstop/wandb и т. Д.
Большая модель рассуждения, вывод потока/партии	✅	✅	Каждая модель универсальна и не требует отдельного обслуживания сценариев
Большая модель Fine Tune	✅	✅	Лора зависит от библиотеки PEFT, Pv2 поставляется со своей собственной
Богатые трюки	✅		Трюки подключаются и играют против тренировок и других трюков
Код прост и прост в понимании, а индивидуальное пространство большое	✅		Повторное использование высокого кода, стиль обучения кода кераса
Соблюдение обслуживания склада/влияние/использование/совместимость		✅	В настоящее время личное обслуживание склада
Развертывание крупных моделей на один клик

3. Начните быстро

3.1 Начало учебник

Быстрое начало
Учебные пособия быстрого начала, примеры учебных пособий, практические примеры
Введение в BERT4TORCH (Zhihu), быстро начинайте с BERT4TORCH (Zhihu), и Bert4torch снова был обновлен (Zhihu)

3.2 Быстрое развертывание больших модельных служб в командной строке

Локальная/интернет -загрузка

 # 联网下载全部文件
bert4torch-llm-server --checkpoint_path Qwen2-0.5B-Instruct

# 加载本地大模型，联网下载bert4torch_config.json
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --config_path Qwen/Qwen2-0.5B-Instruct

# 加载本地大模型，且bert4torch_config.json已经下载并放于同名目录下
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct

Командная строка/gradio web -page/openai_api

 # 命令行
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode cli

# gradio网页
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode gradio

# openai_api
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode openai

Пример чата командной строки

4. Версия и история обновления

Версия 4.1 ИСТОРИЯ

Обновление даты	BERT4TORCH	Torch4keras	Описание версии
20240928	0.5.4	0,2,7	[Новые функции] Добавить серию DeepSeek, Minicpm, Minicpmv, Llama3.2, Qwen2.5; Device Device_map = Auto; [Fix] исправить batch_generate и n> 1 ошибки
20240814	0.5.3	0,2,6	【Новые функции】 Добавить llama3.1/yi1.5; Автоматически выберите скачать из hfmirror; Параметры команды поддержки `bert4torch-llm-server`
20240801	0.5.2	0,2,5	[Новая функция] Chatglm/Qwen Series поддерживает вызовы функций и добавляет internlm2 серии; [Small Optimization] Упростите демо -вызов чата в трубопроводе, генерируйте элемент токена, который может быть списком, объединить имя параметра зарешки и добавлять классы, полученные веревкой; [ошибка] исправить ошибку вывода Flash_attn2, исправить ошибку Bart TIE_WORD_EMBEDDING

Больше версий

4.2 История обновления

Больше истории

5. Предварительно тренировочные веса

Предварительно обученные модели поддерживают несколько методов загрузки кода

 from bert4torch . models import build_transformer_model

# 1. 仅指定config_path: 从头初始化模型结构, 不加载预训练模型
model = build_transformer_model ( './model/bert4torch_config.json' )

# 2. 仅指定checkpoint_path: 
## 2.1 文件夹路径: 自动寻找路径下的*.bin/*.safetensors权重文件 + 需把bert4torch_config.json下载并放于该目录下
model = build_transformer_model ( checkpoint_path = './model' )

## 2.2 文件路径/列表: 文件路径即权重路径/列表, bert4torch_config.json会从同级目录下寻找
model = build_transformer_model ( checkpoint_path = './pytorch_model.bin' )

## 2.3 model_name: hf上预训练权重名称, 会自动下载hf权重以及bert4torch_config.json文件
model = build_transformer_model ( checkpoint_path = 'bert-base-chinese' )

# 3. 同时指定config_path和checkpoint_path(本地路径名或model_name排列组合): 
#    本地路径从本地加载，pretrained_model_name会联网下载
config_path = './model/bert4torch_config.json'  # 或'bert-base-chinese'
checkpoint_path = './model/pytorch_model.bin'  # 或'bert-base-chinese'
model = build_transformer_model ( config_path , checkpoint_path )

Предварительно подготовленная весовая ссылка и bert4torch_config.json

Классификация модели	Название модели	Источник веса	Ссылка веса/Checkpoint_path	config_path
Берт	БЕРТ-Базе-Китайз	Google-Bert	`bert-base-chinese`	`bert-base-chinese`
	Китайский_л-12_H-768_A-12	Google	Вес TF `Tongjilibo/bert-chinese_L-12_H-768_A-12`
	Китайско-берт-WWM-Ext	HFL	`hfl/chinese-bert-wwm-ext`	`hfl/chinese-bert-wwm-ext`
	BERT-BASE-MULTYLYLYRINGUAL	Google-Bert	`bert-base-multilingual-cased`	`bert-base-multilingual-cased`
	Макберт	HFL	`hfl/chinese-macbert-base` `hfl/chinese-macbert-large`	`hfl/chinese-macbert-base` `hfl/chinese-macbert-large`
	Wobert	Zhuyi Technology	`junnyu/wobert_chinese_base` , `junnyu/wobert_chinese_plus_base`	`junnyu/wobert_chinese_base` `junnyu/wobert_chinese_plus_base`
Роберта	Китайский роберта-WWM-Ext	HFL	`hfl/chinese-roberta-wwm-ext` `hfl/chinese-roberta-wwm-ext-large` (Вес MLM LAGHS случайным образом инициализируется)	`hfl/chinese-roberta-wwm-ext` `hfl/chinese-roberta-wwm-ext-large`
	Роберта-Смалл/Крошечный	Zhuyi Technology	`Tongjilibo/chinese_roberta_L-4_H-312_A-12` `Tongjilibo/chinese_roberta_L-6_H-384_A-12`
	Роберта-баз	Facebookai	`roberta-base`	`roberta-base`
	Гувенберт	Ethanyt	`ethanyt/guwenbert-base`	`ethanyt/guwenbert-base`
Альберт	albert_zh albert_pytorch	Brightmart	`voidful/albert_chinese_tiny` `voidful/albert_chinese_small` `voidful/albert_chinese_base` `voidful/albert_chinese_large` `voidful/albert_chinese_xlarge` `voidful/albert_chinese_xxlarge`	`voidful/albert_chinese_tiny` `voidful/albert_chinese_small` `voidful/albert_chinese_base` `voidful/albert_chinese_large` `voidful/albert_chinese_xlarge` `voidful/albert_chinese_xxlarge`
Неза	Неза Nezha_chinese_pytorch	huawei_noah	`sijunhe/nezha-cn-base` `sijunhe/nezha-cn-large` `sijunhe/nezha-base-wwm` `sijunhe/nezha-large-wwm`	`sijunhe/nezha-cn-base` `sijunhe/nezha-cn-large` `sijunhe/nezha-base-wwm` `sijunhe/nezha-large-wwm`
	nezha_gpt_dialog	Божоне	`Tongjilibo/nezha_gpt_dialog`
xlnet	Китайский-xlnet	HFL	`hfl/chinese-xlnet-base`	`hfl/chinese-xlnet-base`
	Transformer_xl	объятие	`transfo-xl/transfo-xl-wt103`	`transfo-xl/transfo-xl-wt103`
Деберта	Erlangshen-Deberta-V2	Идея	`IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese`	`IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese` `IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese`
Электра	Китайский электроэлект	HFL	`hfl/chinese-electra-base-discriminator`	`hfl/chinese-electra-base-discriminator`
Эрни	Эрни	Байду Вэнксин	`nghuyong/ernie-1.0-base-zh` `nghuyong/ernie-3.0-base-zh`	`nghuyong/ernie-1.0-base-zh` `nghuyong/ernie-3.0-base-zh`
ROFORMER	ROFORMER	Zhuyi Technology	`junnyu/roformer_chinese_base`	`junnyu/roformer_chinese_base`
	ROFORMER_V2	Zhuyi Technology	`junnyu/roformer_v2_chinese_char_base`	`junnyu/roformer_v2_chinese_char_base`
Симберт	Симберт	Zhuyi Technology	`Tongjilibo/simbert-chinese-base` `Tongjilibo/simbert-chinese-small` `Tongjilibo/simbert-chinese-tiny`
	simbert_v2/roformer-sim	Zhuyi Technology	`junnyu/roformer_chinese_sim_char_base` , `junnyu/roformer_chinese_sim_char_ft_base` , `junnyu/roformer_chinese_sim_char_small` , `junnyu/roformer_chinese_sim_char_ft_small`	`junnyu/roformer_chinese_sim_char_base` `junnyu/roformer_chinese_sim_char_ft_base` `junnyu/roformer_chinese_sim_char_small` `junnyu/roformer_chinese_sim_char_ft_small`
галочка	Гау-Альфа	Zhuyi Technology	`Tongjilibo/chinese_GAU-alpha-char_L-24_H-768`
Uie	Uie uie_pytorch	Байду	`Tongjilibo/uie-base`
гф	CDIAL-GPT	Чу-Коай	`thu-coai/CDial-GPT_LCCC-base` `thu-coai/CDial-GPT_LCCC-large`	`thu-coai/CDial-GPT_LCCC-base` `thu-coai/CDial-GPT_LCCC-large`
	cmp_lm (2,6 миллиарда)	Цинхуа	`TsinghuaAI/CPM-Generate`	`TsinghuaAI/CPM-Generate`
	nezha_gen	huawei_noah	`Tongjilibo/chinese_nezha_gpt_L-12_H-768_A-12`
	GPT2-Chinese-Cluecorpussmall	Выр	`uer/gpt2-chinese-cluecorpussmall`	`uer/gpt2-chinese-cluecorpussmall`
	GPT2-ML	Imcaspar	Торр Baiduyun (84dh)	`gpt2-ml_15g_corpus` `gpt2-ml_30g_corpus`
Барт	bart_base_chinese	Fudan Fnlp	`fnlp/bart-base-chinese` v1.0	`fnlp/bart-base-chinese` `fnlp/bart-base-chinese-v1.0`
T5	T5	Выр	`uer/t5-small-chinese-cluecorpussmall` `uer/t5-base-chinese-cluecorpussmall`	`uer/t5-base-chinese-cluecorpussmall` `uer/t5-small-chinese-cluecorpussmall`
	MT5	Google	`google/mt5-base`	`google/mt5-base`
	T5_pegasus	Zhuyi Technology	`Tongjilibo/chinese_t5_pegasus_small` `Tongjilibo/chinese_t5_pegasus_base`
	Чатуан	Подсказка-ай	`ClueAI/ChatYuan-large-v1` `ClueAI/ChatYuan-large-v2`	`ClueAI/ChatYuan-large-v1` `ClueAI/ChatYuan-large-v2`
	Rampclclue	Подсказка-ай	`ClueAI/PromptCLUE-base`	`ClueAI/PromptCLUE-base`
Чатглм	Чатглм-6B	Стук	`THUDM/chatglm-6b` `THUDM/chatglm-6b-int8` `THUDM/chatglm-6b-int4` v0.1.0	`THUDM/chatglm-6b` `THUDM/chatglm-6b-int8` `THUDM/chatglm-6b-int4` `THUDM/chatglm-6b-v0.1.0`
	Chatglm2-6b	Стук	`THUDM/chatglm2-6b` `THUDM/chatglm2-6b-int4` `THUDM/chatglm2-6b-32k`	`THUDM/chatglm2-6b` `THUDM/chatglm2-6b-int4` `THUDM/chatglm2-6b-32k`
	Chatglm3-6b	Стук	`THUDM/chatglm3-6b` `THUDM/chatglm3-6b-32k`	`THUDM/chatglm3-6b` `THUDM/chatglm3-6b-32k`
	GLM4-9B	Стук	`THUDM/glm-4-9b` `THUDM/glm-4-9b-chat` `THUDM/glm-4-9b-chat-1m`	`THUDM/glm-4-9b` `THUDM/glm-4-9b-chat` `THUDM/glm-4-9b-chat-1m`
лама	лама	мета		`meta-llama/llama-7b` `meta-llama/llama-13b`
	лама-2	мета	Meta-Llama/Llama-2-7b-HF Meta-Llama/Llama-2-7B-Chat-HF Метама/лама-2-13b-HF Meta-Llama/Llama-2-13B-Chat-HF	`meta-llama/Llama-2-7b-hf` `meta-llama/Llama-2-7b-chat-hf` `meta-llama/Llama-2-13b-hf` `meta-llama/Llama-2-13b-chat-hf`
	Лама-3	мета	`meta-llama/Meta-Llama-3-8B` `meta-llama/Meta-Llama-3-8B-Instruct`	`meta-llama/Meta-Llama-3-8B` `meta-llama/Meta-Llama-3-8B-Instruct`
	Лама-3.1	мета	`meta-llama/Meta-Llama-3.1-8B` `meta-llama/Meta-Llama-3.1-8B-Instruct`	`meta-llama/Meta-Llama-3.1-8B` `meta-llama/Meta-Llama-3.1-8B-Instruct`
	Лама-3.2	мета	`meta-llama/Llama-3.2-1B` `meta-llama/Llama-3.2-1B-Instruct` `meta-llama/Llama-3.2-3B` `meta-llama/Llama-3.2-3B-Instruct`	`meta-llama/Llama-3.2-1B` `meta-llama/Llama-3.2-1B-Instruct` `meta-llama/Llama-3.2-3B` `meta-llama/Llama-3.2-3B-Instruct`
	Китайско-лама-альпака	HFL		`hfl/chinese_alpaca_plus_7b` `hfl/chinese_llama_plus_7b`
	Китайско-лама-альпака-2	HFL		Быть добавленным
	Китайско-лама-альпака-3	HFL		Быть добавленным
	Belle_llama	Lianjiatech	Bellegroup/Belle-Llama-7b-2m-Enc	Инструкции по синтезу, `BelleGroup/BELLE-LLaMA-7B-2M-enc`
	Зия	IDEA-CCNL	IDEA-CCNL/ZIYA-LLAMA-13B-V1 IDEA-CCNL/ZIYA-LLAMA-13B-V1.1 IDEA-CCNL/ZIYA-LLAMA-13B-PRETRAIN-V1	`IDEA-CCNL/Ziya-LLaMA-13B-v1` `IDEA-CCNL/Ziya-LLaMA-13B-v1.1`
	Викуна	lmsys	`lmsys/vicuna-7b-v1.5`	`lmsys/vicuna-7b-v1.5`
Бачуань	Бачуань	Baichuan-Inc	`baichuan-inc/Baichuan-7B` `baichuan-inc/Baichuan-13B-Base` `baichuan-inc/Baichuan-13B-Chat`	`baichuan-inc/Baichuan-7B` `baichuan-inc/Baichuan-13B-Base` `baichuan-inc/Baichuan-13B-Chat`
	Baichuan2	Baichuan-Inc	`baichuan-inc/Baichuan2-7B-Base` `baichuan-inc/Baichuan2-7B-Chat` `baichuan-inc/Baichuan2-13B-Base` `baichuan-inc/Baichuan2-13B-Chat`	`baichuan-inc/Baichuan2-7B-Base` `baichuan-inc/Baichuan2-7B-Chat` `baichuan-inc/Baichuan2-13B-Base` `baichuan-inc/Baichuan2-13B-Chat`
Yi	Yi	01-AI	`01-ai/Yi-6B` `01-ai/Yi-6B-200K` `01-ai/Yi-9B` `01-ai/Yi-9B-200K`	`01-ai/Yi-6B` `01-ai/Yi-6B-200K` `01-ai/Yi-9B` `01-ai/Yi-9B-200K`
	Yi-1.5	01-AI	`01-ai/Yi-1.5-6B` `01-ai/Yi-1.5-6B-Chat` `01-ai/Yi-1.5-9B` `01-ai/Yi-1.5-9B-32K` `01-ai/Yi-1.5-9B-Chat` `01-ai/Yi-1.5-9B-Chat-16K`	`01-ai/Yi-1.5-6B` `01-ai/Yi-1.5-6B-Chat` `01-ai/Yi-1.5-9B` `01-ai/Yi-1.5-9B-32K` `01-ai/Yi-1.5-9B-Chat` `01-ai/Yi-1.5-9B-Chat-16K`
цвести	цвести	Большой	`bigscience/bloom-560m` `bigscience/bloomz-560m`	`bigscience/bloom-560m` `bigscience/bloomz-560m`
Qwen	Qwen	Alibaba Cloud	`Qwen/Qwen-1_8B` `Qwen/Qwen-1_8B-Chat` `Qwen/Qwen-7B` `Qwen/Qwen-7B-Chat` `Qwen/Qwen-14B` `Qwen/Qwen-14B-Chat`	`Qwen/Qwen-1_8B` `Qwen/Qwen-1_8B-Chat` `Qwen/Qwen-7B` `Qwen/Qwen-7B-Chat` `Qwen/Qwen-14B` `Qwen/Qwen-14B-Chat`
	QWEN1.5	Alibaba Cloud	`Qwen/Qwen1.5-0.5B` `Qwen/Qwen1.5-0.5B-Chat` `Qwen/Qwen1.5-1.8B` `Qwen/Qwen1.5-1.8B-Chat` `Qwen/Qwen1.5-7B` `Qwen/Qwen1.5-7B-Chat` `Qwen/Qwen1.5-14B` `Qwen/Qwen1.5-14B-Chat`	`Qwen/Qwen1.5-0.5B` `Qwen/Qwen1.5-0.5B-Chat` `Qwen/Qwen1.5-1.8B` `Qwen/Qwen1.5-1.8B-Chat` `Qwen/Qwen1.5-7B` `Qwen/Qwen1.5-7B-Chat` `Qwen/Qwen1.5-14B` `Qwen/Qwen1.5-14B-Chat`
	QWEN2	Alibaba Cloud	`Qwen/Qwen2-0.5B` `Qwen/Qwen2-0.5B-Instruct` `Qwen/Qwen2-1.5B` `Qwen/Qwen2-1.5B-Instruct` `Qwen/Qwen2-7B` `Qwen/Qwen2-7B-Instruct`	`Qwen/Qwen2-0.5B` `Qwen/Qwen2-0.5B-Instruct` `Qwen/Qwen2-1.5B` `Qwen/Qwen2-1.5B-Instruct` `Qwen/Qwen2-7B` `Qwen/Qwen2-7B-Instruct`
	QWEN2-VL	Alibaba Cloud	`Qwen/Qwen2-VL-2B-Instruct` `Qwen/Qwen2-VL-7B-Instruct`	`Qwen/Qwen2-VL-2B-Instruct` `Qwen/Qwen2-VL-7B-Instruct`
	QWEN2.5	Alibaba Cloud	`Qwen/Qwen2.5-0.5B` `Qwen/Qwen2.5-0.5B-Instruct` `Qwen/Qwen2.5-1.5B` `Qwen/Qwen2.5-1.5B-Instruct` `Qwen/Qwen2.5-3B` `Qwen/Qwen2.5-3B-Instruct` `Qwen/Qwen2.5-7B` `Qwen/Qwen2.5-7B-Instruct` `Qwen/Qwen2.5-14B` `Qwen/Qwen2.5-14B-Instruct`	`Qwen/Qwen2.5-0.5B` `Qwen/Qwen2.5-0.5B-Instruct` `Qwen/Qwen2.5-1.5B` `Qwen/Qwen2.5-1.5B-Instruct` `Qwen/Qwen2.5-3B` `Qwen/Qwen2.5-3B-Instruct` `Qwen/Qwen2.5-7B` `Qwen/Qwen2.5-7B-Instruct` `Qwen/Qwen2.5-14B` `Qwen/Qwen2.5-14B-Instruct`
Internlm	Internlm	Шанхайская лаборатория искусственного интеллекта	`internlm/internlm-7b` `internlm/internlm-chat-7b`	`internlm/internlm-7b` `internlm/internlm-chat-7b`
	Internlm2	Шанхайская лаборатория искусственного интеллекта	`internlm/internlm2-1_8b` `internlm/internlm2-chat-1_8b` `internlm/internlm2-7b` `internlm/internlm2-chat-7b` `internlm/internlm2-20b` `internlm/internlm2-chat-20b`	`internlm/internlm2-1_8b` `internlm/internlm2-chat-1_8b` `internlm/internlm2-7b` `internlm/internlm2-chat-7b`
	Internlm2.5	Шанхайская лаборатория искусственного интеллекта	`internlm/internlm2_5-7b` `internlm/internlm2_5-7b-chat` `internlm/internlm2_5-7b-chat-1m`	`internlm/internlm2_5-7b` `internlm/internlm2_5-7b-chat` `internlm/internlm2_5-7b-chat-1m`
Сокол	Сокол	Tiiuae	`tiiuae/falcon-rw-1b` `tiiuae/falcon-7b` `tiiuae/falcon-7b-instruct`	`tiiuae/falcon-rw-1b` `tiiuae/falcon-7b` `tiiuae/falcon-7b-instruct`
DeepSeek	Deepseek-Moe	Глубокий поиск	`deepseek-ai/deepseek-moe-16b-base` `deepseek-ai/deepseek-moe-16b-chat`	`deepseek-ai/deepseek-moe-16b-base` `deepseek-ai/deepseek-moe-16b-chat`
	DeepSeek-llm	Глубокий поиск	`deepseek-ai/deepseek-llm-7b-base` `deepseek-ai/deepseek-llm-7b-chat`	`deepseek-ai/deepseek-llm-7b-base` `deepseek-ai/deepseek-llm-7b-chat`
	DeepSeek-V2	Глубокий поиск	`deepseek-ai/DeepSeek-V2-Lite` `deepseek-ai/DeepSeek-V2-Lite-Chat`	`deepseek-ai/DeepSeek-V2-Lite` `deepseek-ai/DeepSeek-V2-Lite-Chat`
	DeepSeek-Coder	Глубокий поиск	`deepseek-ai/deepseek-coder-1.3b-base` `deepseek-ai/deepseek-coder-1.3b-instruct` `deepseek-ai/deepseek-coder-6.7b-base` `deepseek-ai/deepseek-coder-6.7b-instruct` `deepseek-ai/deepseek-coder-7b-base-v1.5` `deepseek-ai/deepseek-coder-7b-instruct-v1.5`	`deepseek-ai/deepseek-coder-1.3b-base` `deepseek-ai/deepseek-coder-1.3b-instruct` `deepseek-ai/deepseek-coder-6.7b-base` `deepseek-ai/deepseek-coder-6.7b-instruct` `deepseek-ai/deepseek-coder-7b-base-v1.5` `deepseek-ai/deepseek-coder-7b-instruct-v1.5`
	DeepSeek-Coder-V2	Глубокий поиск	`deepseek-ai/DeepSeek-Coder-V2-Lite-Base` `deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct`	`deepseek-ai/DeepSeek-Coder-V2-Lite-Base` `deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct`
	DeepSeek-Math	Глубокий поиск	`deepseek-ai/deepseek-math-7b-base` `deepseek-ai/deepseek-math-7b-instruct` `deepseek-ai/deepseek-math-7b-rl`	`deepseek-ai/deepseek-math-7b-base` `deepseek-ai/deepseek-math-7b-instruct` `deepseek-ai/deepseek-math-7b-rl`
Minicpm	Minicpm	OpenBMB	`openbmb/MiniCPM-2B-sft-bf16` `openbmb/MiniCPM-2B-dpo-bf16` `openbmb/MiniCPM-2B-128k` `openbmb/MiniCPM-1B-sft-bf16`	`openbmb/MiniCPM-2B-sft-bf16` `openbmb/MiniCPM-2B-dpo-bf16` `openbmb/MiniCPM-2B-128k` `openbmb/MiniCPM-1B-sft-bf16`
	Minicpm-V	OpenBMB	`openbmb/MiniCPM-V-2_6` `openbmb/MiniCPM-Llama3-V-2_5`	`openbmb/MiniCPM-V-2_6` `openbmb/MiniCPM-Llama3-V-2_5`
Внедрение	Text2Vec-базовый-китайский	шибки624	`shibing624/text2vec-base-chinese`	`shibing624/text2vec-base-chinese`
	M3E	Мока-Ай	`moka-ai/m3e-base`	`moka-ai/m3e-base`
	бей	Баай	`BAAI/bge-large-en-v1.5` `BAAI/bge-large-zh-v1.5` `BAAI/bge-base-en-v1.5` `BAAI/bge-base-zh-v1.5` `BAAI/bge-small-en-v1.5` `BAAI/bge-small-zh-v1.5`	`BAAI/bge-large-en-v1.5` `BAAI/bge-large-zh-v1.5` `BAAI/bge-base-en-v1.5` `BAAI/bge-base-zh-v1.5` `BAAI/bge-small-en-v1.5` `BAAI/bge-small-zh-v1.5`
	глин	Тогда	`thenlper/gte-large-zh` `thenlper/gte-base-zh`	`thenlper/gte-base-zh` `thenlper/gte-large-zh`

*Примечание:

Представление高亮格式(например, bert-base-chinese ) может быть напрямую build_transformer_model() для загрузки онлайн
Внутренние зеркальные сайты ускоряются для скачивания
- HF_ENDPOINT=https://hf-mirror.com python your_script.py
- export HF_ENDPOINT=https://hf-mirror.com перед выполнением кода Python
- Установите следующее в начале кода Python
```
 import os
os . environ [ 'HF_ENDPOINT' ] = "https://hf-mirror.com" 
```

6. Спасибо

Спасибо Su Shen за реализацию Bet4keras. В этой реализации есть много мест, которые относятся к исходному коду Bet4keras. Я хотел бы искренне поблагодарить босса за его самоотверженную преданность;
Во -вторых, благодаря проекту Bet4pytorch и под руководством этого проекта я дал мне идеи и идеи использования Pytorch для воспроизведения Bet4keras.

7. Цитата

 @misc{bert4torch,
  title={bert4torch},
  author={Bo Li},
  year={2022},
  howpublished={url{https://github.com/Tongjilibo/bert4torch}},
}

8. Другие

Таблица истории WeChat & Star
Количество групп WeChat превышает 200 (с ограничениями приглашения), вы можете добавить личные группы WeChat

WeChat Id

WeChat Group

Старшая история

Расширять

bert4torch

Оглавление

1. Скачать и установить

2. Функция

3. Начните быстро

3.1 Начало учебник

3.2 Быстрое развертывание больших модельных служб в командной строке

4. Версия и история обновления

Версия 4.1 ИСТОРИЯ

4.2 История обновления

5. Предварительно тренировочные веса

6. Спасибо

7. Цитата

8. Другие

Google Dorks

shepherd

mongo express

hidusbf

Free Algorithms Books

markdownpedia

chat.petals.dev

GPT Prompt Templates

GPTyped

Google Dorks

shepherd

mongo express

Google Dorks

shepherd

mongo express