Inicio>Relacionado con la programación>Otro código fuente
Descargar

bert4torch

Documentación | Torch4keras | Ejemplos | build_minillm_from_scratch | vector bert4

Tabla de contenido

  • Tabla de contenido
  • 1. Descargar e instalar
  • 2. Función
  • 3. Comience rápidamente
    • 3.1 Tutorial de inicio
    • 3.2 Implemente rápidamente los servicios de modelos grandes en la línea de comandos
  • 4. Historial de versión y actualización
    • Versión 4.1 Historia
    • 4.2 Historial de actualización
  • 5. Pesos previos a la capacitación
  • 6. Gracias
  • 7. Cita
  • 8. Otros

1. Descargar e instalar

Instalar versión estable 

pip install bert4torch

Instalar la última versión 

pip install git+https://github.com/Tongjilibo/bert4torch
  • Nota : La versión de los paquetes PIP es más lento que la versión de desarrollo en GIT. Preste atención a la ruta de referencia del clon Git y preste atención a si el peso debe convertirse.
  • Caso de prueba : git clone https://github.com/Tongjilibo/bert4torch , modifique la ruta del archivo del modelo previamente petrano y la ruta de datos en el ejemplo para iniciar el script
  • Entrenamiento automático : modifique el bloque de código de procesamiento de datos correspondiente para sus propios datos
  • Entorno de desarrollo : se usa originalmente para desarrollarse con la versión torch==1.10 , y ahora ha cambiado al desarrollo torch2.0 . Si otras versiones encuentran desacuerdos, no dude en los comentarios.

2. Función

  • Modelo LLM : cargue pesas de modelos grandes de código abierto como Chatglm, Llama, Baichuan, Ziya, Bloom, etc. para inferencia y ajuste fino, y implementen grandes modelos en una línea en la línea de comandos.

  • Funciones centrales : Carga de pesos previos al entrenamiento como Bert, Roberta, Albert, XLNet, Nezha, Bart, RoFormer, RoFormer_V2, Electra, GPT, GPT2, T5, Gau-Alpha, Ernie, etc. Continúa finetunamente y apoya flexiblemente la definición de su propio modelo basado en Bert en Bert

  • Ejemplos ricos : incluyendo LLM, Pretrain, Sentence_Classification, Sentence_embedding, secuence_labeling, Relation_Extraction, SEQ2SEQ, Serving y otras soluciones

  • Verificación experimental : se ha realizado una verificación experimental en el conjunto de datos públicos, utilizando el siguiente conjunto de datos de ejemplos e indicadores experimentales

  • Truco fácil de usar : integra trucos comunes, enchufe y juego

  • Otras características : cargue el modelo de la biblioteca Transformers; El método de llamada es simple y eficiente; exhibición dinámica de barras de progreso de entrenamiento; Volumen de parámetros de impresión con Torchinfo; Logger y Tensorboard predeterminados son fáciles de registrar el proceso de capacitación; Proceso de ajuste personalizado para satisfacer las necesidades de alto nivel

  • Proceso de capacitación :

    Proceso de capacitación

Función bert4torch transformadores Observación
Barra de progreso de entrenamiento ✅ ✅ La barra de progreso imprime la pérdida y métricas definidas
Capacitación distribuida DP/DDP ✅ ✅ La antorcha viene con DP/DDP
Varias devoluciones de llamada ✅ ✅ Log/tensorboard/Earlystop/wandb, etc.
Big Model Razoning, transmisión/salida de lotes ✅ ✅ Cada modelo es universal y no requiere un mantenimiento separado de los scripts
Gran melodía de modelos ✅ ✅ Lora depende de la Biblioteca Peft, PV2 viene con la suya
Trucos ricos ✅ Trucos enchufar y jugar contra el entrenamiento y otros trucos
El código es simple y fácil de entender, y el espacio personalizado es grande ✅ Reutilización de código alto, estilo de entrenamiento de código keras
Capacidad de mantenimiento del almacén/influencia/uso/compatibilidad ✅ Actualmente, mantenimiento personal del almacén
Despliegue de un solo clic de modelos grandes

3. Comience rápidamente

3.1 Tutorial de inicio

  • De inicio rápido
  • Tutoriales de inicio rápido, ejemplos de tutoriales, ejemplos prácticos
  • Introducción a Bert4torch (Zhihu), comience rápidamente con Bert4torch (Zhihu), y Bert4torch se ha actualizado nuevamente (Zhihu)

3.2 Implemente rápidamente los servicios de modelos grandes en la línea de comandos

  • Carga local/de Internet 
     # 联网下载全部文件
bert4torch-llm-server --checkpoint_path Qwen2-0.5B-Instruct

# 加载本地大模型，联网下载bert4torch_config.json
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --config_path Qwen/Qwen2-0.5B-Instruct

# 加载本地大模型，且bert4torch_config.json已经下载并放于同名目录下
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct
  • Línea de comandos/Página web de Gradio/OpenAI_api 
     # 命令行
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode cli

# gradio网页
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode gradio

# openai_api
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode openai
  • Ejemplo de chat de línea de comando Chat de línea de comando

4. Historial de versión y actualización

Versión 4.1 Historia

Fecha de actualización bert4torch antorcha4keras Descripción de la versión
20240928 0.5.4 0.2.7 [Nuevas características] Agregar la serie Deepseek, MinicPM, MinicPMV, Llama3.2, Qwen2.5; Soporte Device_map = Auto; [Arreglar] corrige los errores de lote_generado y n> 1
20240814 0.5.3 0.2.6 【Nuevas características】 Agregar llama3.1/yi1.5; Seleccione automáticamente la descarga de hfmirror; Parámetros de línea de comandos de soporte bert4torch-llm-server
20240801 0.5.2 0.2.5 [Nueva función] La serie ChatGlm/Qwen admite llamadas de funciones y agrega la serie Internlm2; [Pequeña optimización] Simplifique la demostración de llamada de chat en la tubería, generar el elemento token puede ser una lista, unificar el nombre del parámetro Rope_Scaling y agregar clases derivadas de la cuerda; [Error] corrige el error de inferencia Flash_attn2, corrige el error Tie_word_embedding de Bart

Más versiones

4.2 Historial de actualización

Más historia

5. Pesos previos a la capacitación

  • Los modelos previamente capacitados admiten múltiples métodos de carga de código 

     from bert4torch . models import build_transformer_model

# 1. 仅指定config_path: 从头初始化模型结构, 不加载预训练模型
model = build_transformer_model ( './model/bert4torch_config.json' )

# 2. 仅指定checkpoint_path: 
## 2.1 文件夹路径: 自动寻找路径下的*.bin/*.safetensors权重文件 + 需把bert4torch_config.json下载并放于该目录下
model = build_transformer_model ( checkpoint_path = './model' )

## 2.2 文件路径/列表: 文件路径即权重路径/列表, bert4torch_config.json会从同级目录下寻找
model = build_transformer_model ( checkpoint_path = './pytorch_model.bin' )

## 2.3 model_name: hf上预训练权重名称, 会自动下载hf权重以及bert4torch_config.json文件
model = build_transformer_model ( checkpoint_path = 'bert-base-chinese' )

# 3. 同时指定config_path和checkpoint_path(本地路径名或model_name排列组合): 
#    本地路径从本地加载，pretrained_model_name会联网下载
config_path = './model/bert4torch_config.json'  # 或'bert-base-chinese'
checkpoint_path = './model/pytorch_model.bin'  # 或'bert-base-chinese'
model = build_transformer_model ( config_path , checkpoint_path )

  • Link de peso previado y bert4torch_config.json

Clasificación de modelos Nombre del modelo Fuente de peso Enlace de peso/punto de control_path config_path
Bert Bert-Base-china Google-Bert bert-base-chinese bert-base-chinese
chino_l-12_h-768_a-12 Google TF Peso
Tongjilibo/bert-chinese_L-12_H-768_A-12
chino-bert-wwm-ext HFL hfl/chinese-bert-wwm-ext hfl/chinese-bert-wwm-ext
de base-mulultilingüe Google-Bert bert-base-multilingual-cased bert-base-multilingual-cased
Macbert HFL hfl/chinese-macbert-base
hfl/chinese-macbert-large		 hfl/chinese-macbert-base
hfl/chinese-macbert-large
Wobert Tecnología zhuyi junnyu/wobert_chinese_base , junnyu/wobert_chinese_plus_base junnyu/wobert_chinese_base
junnyu/wobert_chinese_plus_base
Roberta chino-roBerta-wwm-ext HFL hfl/chinese-roberta-wwm-ext
hfl/chinese-roberta-wwm-ext-large
(El peso MLM de Large se inicializa aleatoriamente)		 hfl/chinese-roberta-wwm-ext
hfl/chinese-roberta-wwm-ext-large
Roberta-Small/Tiny Tecnología zhuyi Tongjilibo/chinese_roberta_L-4_H-312_A-12
Tongjilibo/chinese_roberta_L-6_H-384_A-12
Base Roberta Facebooki roberta-base roberta-base
Guwenbert ethanyt ethanyt/guwenbert-base ethanyt/guwenbert-base
Albert albert_zh
albert_pytorch		 brillo voidful/albert_chinese_tiny
voidful/albert_chinese_small
voidful/albert_chinese_base
voidful/albert_chinese_large
voidful/albert_chinese_xlarge
voidful/albert_chinese_xxlarge		 voidful/albert_chinese_tiny
voidful/albert_chinese_small
voidful/albert_chinese_base
voidful/albert_chinese_large
voidful/albert_chinese_xlarge
voidful/albert_chinese_xxlarge
nezha Nezha
Nezha_chinese_pytorch		 Huawei_noah sijunhe/nezha-cn-base
sijunhe/nezha-cn-large
sijunhe/nezha-base-wwm
sijunhe/nezha-large-wwm		 sijunhe/nezha-cn-base
sijunhe/nezha-cn-large
sijunhe/nezha-base-wwm
sijunhe/nezha-large-wwm
nezha_gpt_dialog bojón Tongjilibo/nezha_gpt_dialog
XLNET Chino-xnet HFL hfl/chinese-xlnet-base hfl/chinese-xlnet-base
transformer_xl cara de abrazo transfo-xl/transfo-xl-wt103 transfo-xl/transfo-xl-wt103
Deberta Erlangshen-DeBta-V2 IDEA IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese
IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese
IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese		 IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese
IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese
IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese
electra Electra chino HFL hfl/chinese-electra-base-discriminator hfl/chinese-electra-base-discriminator
Ernie Ernie Baidu Wenxin nghuyong/ernie-1.0-base-zh
nghuyong/ernie-3.0-base-zh		 nghuyong/ernie-1.0-base-zh
nghuyong/ernie-3.0-base-zh
rormador rormador Tecnología zhuyi junnyu/roformer_chinese_base junnyu/roformer_chinese_base
ROFORMER_V2 Tecnología zhuyi junnyu/roformer_v2_chinese_char_base junnyu/roformer_v2_chinese_char_base
simbert simbert Tecnología zhuyi Tongjilibo/simbert-chinese-base
Tongjilibo/simbert-chinese-small
Tongjilibo/simbert-chinese-tiny
simbert_v2/roFormer-sim Tecnología zhuyi junnyu/roformer_chinese_sim_char_base , junnyu/roformer_chinese_sim_char_ft_base , junnyu/roformer_chinese_sim_char_small , junnyu/roformer_chinese_sim_char_ft_small junnyu/roformer_chinese_sim_char_base
junnyu/roformer_chinese_sim_char_ft_base
junnyu/roformer_chinese_sim_char_small
junnyu/roformer_chinese_sim_char_ft_small
medida Alfa Tecnología zhuyi Tongjilibo/chinese_GAU-alpha-char_L-24_H-768
Uie Uie
uie_pytorch		 Baidu Tongjilibo/uie-base
GPT Cdial-GPT Jugo thu-coai/CDial-GPT_LCCC-base
thu-coai/CDial-GPT_LCCC-large		 thu-coai/CDial-GPT_LCCC-base
thu-coai/CDial-GPT_LCCC-large
CMP_LM (2.6 mil millones) Tsinghua TsinghuaAI/CPM-Generate TsinghuaAI/CPM-Generate
nezha_gen Huawei_noah Tongjilibo/chinese_nezha_gpt_L-12_H-768_A-12
gpt2-chinese-cluecorpussmall Us uer/gpt2-chinese-cluecorpussmall uer/gpt2-chinese-cluecorpussmall
GPT2-ML imcaspar torrh
Baiduyun (84dh)		 gpt2-ml_15g_corpus
gpt2-ml_30g_corpus
barbar bart_base_chineses Fudan fnlp fnlp/bart-base-chinese
V1.0		 fnlp/bart-base-chinese
fnlp/bart-base-chinese-v1.0
t5 t5 Us uer/t5-small-chinese-cluecorpussmall
uer/t5-base-chinese-cluecorpussmall		 uer/t5-base-chinese-cluecorpussmall
uer/t5-small-chinese-cluecorpussmall
mt5 Google google/mt5-base google/mt5-base
t5_pegasus Tecnología zhuyi Tongjilibo/chinese_t5_pegasus_small
Tongjilibo/chinese_t5_pegasus_base
chatyuan pista ClueAI/ChatYuan-large-v1
ClueAI/ChatYuan-large-v2		 ClueAI/ChatYuan-large-v1
ClueAI/ChatYuan-large-v2
Cable pista ClueAI/PromptCLUE-base ClueAI/PromptCLUE-base
chatglm chatglm-6b Tramo THUDM/chatglm-6b
THUDM/chatglm-6b-int8
THUDM/chatglm-6b-int4
V0.1.0		 THUDM/chatglm-6b
THUDM/chatglm-6b-int8
THUDM/chatglm-6b-int4
THUDM/chatglm-6b-v0.1.0
chatglm2-6b Tramo THUDM/chatglm2-6b
THUDM/chatglm2-6b-int4
THUDM/chatglm2-6b-32k		 THUDM/chatglm2-6b
THUDM/chatglm2-6b-int4
THUDM/chatglm2-6b-32k
chatglm3-6b Tramo THUDM/chatglm3-6b
THUDM/chatglm3-6b-32k		 THUDM/chatglm3-6b
THUDM/chatglm3-6b-32k
GLM4-9B Tramo THUDM/glm-4-9b
THUDM/glm-4-9b-chat
THUDM/glm-4-9b-chat-1m		 THUDM/glm-4-9b
THUDM/glm-4-9b-chat
THUDM/glm-4-9b-chat-1m
llama llama meta meta-llama/llama-7b
meta-llama/llama-13b
Llama-2 meta Meta-llama/Llama-2-7B-HF
Meta-llama/Llama-2-7B-CHAT-HF
Meta-llama/Llama-2-13B-HF
Meta-llama/Llama-2-13B-CHAT-HF		 meta-llama/Llama-2-7b-hf
meta-llama/Llama-2-7b-chat-hf
meta-llama/Llama-2-13b-hf
meta-llama/Llama-2-13b-chat-hf
LLAMA-3 meta meta-llama/Meta-Llama-3-8B
meta-llama/Meta-Llama-3-8B-Instruct		 meta-llama/Meta-Llama-3-8B
meta-llama/Meta-Llama-3-8B-Instruct
Llama-3.1 meta meta-llama/Meta-Llama-3.1-8B
meta-llama/Meta-Llama-3.1-8B-Instruct		 meta-llama/Meta-Llama-3.1-8B
meta-llama/Meta-Llama-3.1-8B-Instruct
Llama-3.2 meta meta-llama/Llama-3.2-1B
meta-llama/Llama-3.2-1B-Instruct
meta-llama/Llama-3.2-3B
meta-llama/Llama-3.2-3B-Instruct		 meta-llama/Llama-3.2-1B
meta-llama/Llama-3.2-1B-Instruct
meta-llama/Llama-3.2-3B
meta-llama/Llama-3.2-3B-Instruct
Chino-llama-alpaca HFL hfl/chinese_alpaca_plus_7b
hfl/chinese_llama_plus_7b
Chino-llama-alpaca-2 HFL Para ser agregado
Chino-llama-alpaca-3 HFL Para ser agregado
Belle_llama Lianjiateech Bellegroup/belle-llama-7b-2m-eNC Instrucciones de síntesis, BelleGroup/BELLE-LLaMA-7B-2M-enc
Ziya Idea-ccnl Idea-ccnl/ziya-llama-13b-v1
Idea-ccnl/ziya-llama-13b-v1.1
Idea-ccnl/ziya-llama-13b pretrain-v1		 IDEA-CCNL/Ziya-LLaMA-13B-v1
IDEA-CCNL/Ziya-LLaMA-13B-v1.1
vicuna LMSYS lmsys/vicuna-7b-v1.5 lmsys/vicuna-7b-v1.5
Baichuan Baichuan baichuan-inc baichuan-inc/Baichuan-7B
baichuan-inc/Baichuan-13B-Base
baichuan-inc/Baichuan-13B-Chat		 baichuan-inc/Baichuan-7B
baichuan-inc/Baichuan-13B-Base
baichuan-inc/Baichuan-13B-Chat
Baichuan2 baichuan-inc baichuan-inc/Baichuan2-7B-Base
baichuan-inc/Baichuan2-7B-Chat
baichuan-inc/Baichuan2-13B-Base
baichuan-inc/Baichuan2-13B-Chat		 baichuan-inc/Baichuan2-7B-Base
baichuan-inc/Baichuan2-7B-Chat
baichuan-inc/Baichuan2-13B-Base
baichuan-inc/Baichuan2-13B-Chat
Yi Yi 01-AI 01-ai/Yi-6B
01-ai/Yi-6B-200K
01-ai/Yi-9B
01-ai/Yi-9B-200K		 01-ai/Yi-6B
01-ai/Yi-6B-200K
01-ai/Yi-9B
01-ai/Yi-9B-200K
Yi-1.5 01-AI 01-ai/Yi-1.5-6B
01-ai/Yi-1.5-6B-Chat
01-ai/Yi-1.5-9B
01-ai/Yi-1.5-9B-32K
01-ai/Yi-1.5-9B-Chat
01-ai/Yi-1.5-9B-Chat-16K		 01-ai/Yi-1.5-6B
01-ai/Yi-1.5-6B-Chat
01-ai/Yi-1.5-9B
01-ai/Yi-1.5-9B-32K
01-ai/Yi-1.5-9B-Chat
01-ai/Yi-1.5-9B-Chat-16K
floración floración bigscience bigscience/bloom-560m
bigscience/bloomz-560m		 bigscience/bloom-560m
bigscience/bloomz-560m
Qwen Qwen Nube de alibaba Qwen/Qwen-1_8B
Qwen/Qwen-1_8B-Chat
Qwen/Qwen-7B
Qwen/Qwen-7B-Chat
Qwen/Qwen-14B
Qwen/Qwen-14B-Chat		 Qwen/Qwen-1_8B
Qwen/Qwen-1_8B-Chat
Qwen/Qwen-7B
Qwen/Qwen-7B-Chat
Qwen/Qwen-14B
Qwen/Qwen-14B-Chat
Qwen1.5 Nube de alibaba Qwen/Qwen1.5-0.5B
Qwen/Qwen1.5-0.5B-Chat
Qwen/Qwen1.5-1.8B
Qwen/Qwen1.5-1.8B-Chat
Qwen/Qwen1.5-7B
Qwen/Qwen1.5-7B-Chat
Qwen/Qwen1.5-14B
Qwen/Qwen1.5-14B-Chat		 Qwen/Qwen1.5-0.5B
Qwen/Qwen1.5-0.5B-Chat
Qwen/Qwen1.5-1.8B
Qwen/Qwen1.5-1.8B-Chat
Qwen/Qwen1.5-7B
Qwen/Qwen1.5-7B-Chat
Qwen/Qwen1.5-14B
Qwen/Qwen1.5-14B-Chat
Qwen2 Nube de alibaba Qwen/Qwen2-0.5B
Qwen/Qwen2-0.5B-Instruct
Qwen/Qwen2-1.5B
Qwen/Qwen2-1.5B-Instruct
Qwen/Qwen2-7B
Qwen/Qwen2-7B-Instruct		 Qwen/Qwen2-0.5B
Qwen/Qwen2-0.5B-Instruct
Qwen/Qwen2-1.5B
Qwen/Qwen2-1.5B-Instruct
Qwen/Qwen2-7B
Qwen/Qwen2-7B-Instruct
Qwen2-vl Nube de alibaba Qwen/Qwen2-VL-2B-Instruct
Qwen/Qwen2-VL-7B-Instruct		 Qwen/Qwen2-VL-2B-Instruct
Qwen/Qwen2-VL-7B-Instruct
Qwen2.5 Nube de alibaba Qwen/Qwen2.5-0.5B
Qwen/Qwen2.5-0.5B-Instruct
Qwen/Qwen2.5-1.5B
Qwen/Qwen2.5-1.5B-Instruct
Qwen/Qwen2.5-3B
Qwen/Qwen2.5-3B-Instruct
Qwen/Qwen2.5-7B
Qwen/Qwen2.5-7B-Instruct
Qwen/Qwen2.5-14B
Qwen/Qwen2.5-14B-Instruct		 Qwen/Qwen2.5-0.5B
Qwen/Qwen2.5-0.5B-Instruct
Qwen/Qwen2.5-1.5B
Qwen/Qwen2.5-1.5B-Instruct
Qwen/Qwen2.5-3B
Qwen/Qwen2.5-3B-Instruct
Qwen/Qwen2.5-7B
Qwen/Qwen2.5-7B-Instruct
Qwen/Qwen2.5-14B
Qwen/Qwen2.5-14B-Instruct
Prostituta Prostituta Laboratorio de inteligencia artificial de Shanghai internlm/internlm-7b
internlm/internlm-chat-7b		 internlm/internlm-7b
internlm/internlm-chat-7b
Interlm2 Laboratorio de inteligencia artificial de Shanghai internlm/internlm2-1_8b
internlm/internlm2-chat-1_8b
internlm/internlm2-7b
internlm/internlm2-chat-7b
internlm/internlm2-20b
internlm/internlm2-chat-20b		 internlm/internlm2-1_8b
internlm/internlm2-chat-1_8b
internlm/internlm2-7b
internlm/internlm2-chat-7b
Internlm2.5 Laboratorio de inteligencia artificial de Shanghai internlm/internlm2_5-7b
internlm/internlm2_5-7b-chat
internlm/internlm2_5-7b-chat-1m		 internlm/internlm2_5-7b
internlm/internlm2_5-7b-chat
internlm/internlm2_5-7b-chat-1m
Halcón Halcón tiiuae tiiuae/falcon-rw-1b
tiiuae/falcon-7b
tiiuae/falcon-7b-instruct		 tiiuae/falcon-rw-1b
tiiuae/falcon-7b
tiiuae/falcon-7b-instruct
Veterano Deepseek-moe Búsqueda en profundidad deepseek-ai/deepseek-moe-16b-base
deepseek-ai/deepseek-moe-16b-chat		 deepseek-ai/deepseek-moe-16b-base
deepseek-ai/deepseek-moe-16b-chat
Deepseek-llm Búsqueda en profundidad deepseek-ai/deepseek-llm-7b-base
deepseek-ai/deepseek-llm-7b-chat		 deepseek-ai/deepseek-llm-7b-base
deepseek-ai/deepseek-llm-7b-chat
Deepseek-v2 Búsqueda en profundidad deepseek-ai/DeepSeek-V2-Lite
deepseek-ai/DeepSeek-V2-Lite-Chat		 deepseek-ai/DeepSeek-V2-Lite
deepseek-ai/DeepSeek-V2-Lite-Chat
Veloz de profundidad Búsqueda en profundidad deepseek-ai/deepseek-coder-1.3b-base
deepseek-ai/deepseek-coder-1.3b-instruct
deepseek-ai/deepseek-coder-6.7b-base
deepseek-ai/deepseek-coder-6.7b-instruct
deepseek-ai/deepseek-coder-7b-base-v1.5
deepseek-ai/deepseek-coder-7b-instruct-v1.5		 deepseek-ai/deepseek-coder-1.3b-base
deepseek-ai/deepseek-coder-1.3b-instruct
deepseek-ai/deepseek-coder-6.7b-base
deepseek-ai/deepseek-coder-6.7b-instruct
deepseek-ai/deepseek-coder-7b-base-v1.5
deepseek-ai/deepseek-coder-7b-instruct-v1.5
Deepseek-coder-v2 Búsqueda en profundidad deepseek-ai/DeepSeek-Coder-V2-Lite-Base
deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct		 deepseek-ai/DeepSeek-Coder-V2-Lite-Base
deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct
Deepseek-Math Búsqueda en profundidad deepseek-ai/deepseek-math-7b-base
deepseek-ai/deepseek-math-7b-instruct
deepseek-ai/deepseek-math-7b-rl		 deepseek-ai/deepseek-math-7b-base
deepseek-ai/deepseek-math-7b-instruct
deepseek-ai/deepseek-math-7b-rl
Minicpm Minicpm OpenBMB openbmb/MiniCPM-2B-sft-bf16
openbmb/MiniCPM-2B-dpo-bf16
openbmb/MiniCPM-2B-128k
openbmb/MiniCPM-1B-sft-bf16		 openbmb/MiniCPM-2B-sft-bf16
openbmb/MiniCPM-2B-dpo-bf16
openbmb/MiniCPM-2B-128k
openbmb/MiniCPM-1B-sft-bf16
Minicpm-v OpenBMB openbmb/MiniCPM-V-2_6
openbmb/MiniCPM-Llama3-V-2_5		 openbmb/MiniCPM-V-2_6
openbmb/MiniCPM-Llama3-V-2_5
Incrustación text2vec-base-china shibing624 shibing624/text2vec-base-chinese shibing624/text2vec-base-chinese
m3e Moka-Ai moka-ai/m3e-base moka-ai/m3e-base
BGE Baai BAAI/bge-large-en-v1.5
BAAI/bge-large-zh-v1.5
BAAI/bge-base-en-v1.5
BAAI/bge-base-zh-v1.5
BAAI/bge-small-en-v1.5
BAAI/bge-small-zh-v1.5		 BAAI/bge-large-en-v1.5
BAAI/bge-large-zh-v1.5
BAAI/bge-base-en-v1.5
BAAI/bge-base-zh-v1.5
BAAI/bge-small-en-v1.5
BAAI/bge-small-zh-v1.5
gte Luego thenlper/gte-large-zh
thenlper/gte-base-zh		 thenlper/gte-base-zh
thenlper/gte-large-zh

*Nota:

  1. La representación del高亮格式(como bert-base-chinese ) se puede build_transformer_model() para descargar en línea
  2. Los sitios web de espejo doméstico se aceleran para descargar
    • HF_ENDPOINT=https://hf-mirror.com python your_script.py
    • export HF_ENDPOINT=https://hf-mirror.com antes de ejecutar el código Python
    • Establecer de la siguiente manera al comienzo del código de Python 
     import os
os . environ [ 'HF_ENDPOINT' ] = "https://hf-mirror.com"

6. Gracias

  • Gracias a Su Shen por el Bet4keras implementado. Hay muchos lugares en esta implementación que se refieren al código fuente de Bet4keras. Me gustaría agradecer sinceramente al jefe por su dedicación desinteresada;
  • En segundo lugar, gracias al proyecto Bet4pytorch, y bajo la guía de este proyecto, me di las ideas e ideas de usar Pytorch para reproducir Bet4keras.

7. Cita 

 @misc{bert4torch,
  title={bert4torch},
  author={Bo Li},
  year={2022},
  howpublished={url{https://github.com/Tongjilibo/bert4torch}},
}

8. Otros

  • Gráfico de historia de WeChat & Star
  • El número de grupos WeChat supera los 200 (con restricciones de invitación), puede agregar grupos de WeChat personales
foto
ID de WeChat 		foto
Grupo de WeChat
Gráfico de historia de la estrella
Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo