หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

bert4torch

เอกสาร Torch4keras | ตัวอย่าง build_minillm_from_scratch | Bert4Vector

สารบัญ

  • สารบัญ
  • 1. ดาวน์โหลดและติดตั้ง
  • 2. ฟังก์ชั่น
  • 3. เริ่มต้นอย่างรวดเร็ว
    • 3.1 เริ่มต้นการสอน
    • 3.2 ปรับใช้บริการรุ่นใหญ่อย่างรวดเร็วบนบรรทัดคำสั่ง
  • 4. ประวัติเวอร์ชันและอัปเดต
    • เวอร์ชัน 4.1 ประวัติ
    • 4.2 ประวัติอัปเดต
  • 5. น้ำหนักการฝึกอบรมล่วงหน้า
  • 6. ขอบคุณ
  • 7. ใบเสนอราคา
  • 8. อื่น ๆ

1. ดาวน์โหลดและติดตั้ง

ติดตั้งเวอร์ชันเสถียร 

pip install bert4torch

ติดตั้งเวอร์ชันล่าสุด 

pip install git+https://github.com/Tongjilibo/bert4torch
  • หมายเหตุ : การเปิดตัวแพ็คเกจ PIP ช้ากว่ารุ่นการพัฒนาบน Git ให้ความสนใจกับเส้นทางอ้างอิงของ git clone และให้ความสนใจว่าน้ำหนักจะต้องถูกแปลงหรือไม่
  • กรณีทดสอบ : git clone https://github.com/Tongjilibo/bert4torch แก้ไขเส้นทางไฟล์โมเดลและเส้นทางข้อมูลในตัวอย่างเพื่อเริ่มสคริปต์
  • การฝึกอบรมด้วยตนเอง : แก้ไขบล็อกรหัสการประมวลผลข้อมูลที่เกี่ยวข้องสำหรับข้อมูลของคุณเอง
  • สภาพแวดล้อมการพัฒนา : เดิมใช้เพื่อพัฒนาด้วย torch==1.10 เวอร์ชันและตอนนี้เปลี่ยนเป็นการพัฒนา torch2.0 หากเวอร์ชันอื่นพบกับความขัดแย้งโปรดอย่าลังเลที่จะตอบรับ

2. ฟังก์ชั่น

  • รุ่น LLM : โหลดโอเพ่นซอร์สรุ่นขนาดใหญ่เช่น chatglm, llama, baichuan, ziya, bloom ฯลฯ สำหรับการอนุมานและการปรับแต่งและปรับใช้โมเดลขนาดใหญ่ในบรรทัดเดียวบนบรรทัดคำสั่ง

  • ฟังก์ชั่นหลัก : การโหลดน้ำหนักการฝึกอบรมล่วงหน้าเช่น Bert, Roberta, Albert, Xlnet, Nezha, Bart, Roformer, Roformer_v2, Electra, GPT, GPT2, T5, Gau-Alpha, Ernie ฯลฯ

  • ตัวอย่างที่หลากหลาย : รวมถึง LLM, pretrain, sentence_classification, SENTENCE_EMBEDDIN

  • การตรวจสอบการทดลอง : มีการตรวจสอบการทดลองในชุดข้อมูลสาธารณะโดยใช้ชุดข้อมูลตัวอย่างต่อไปนี้และตัวบ่งชี้การทดลอง

  • เคล็ดลับที่ใช้งานง่าย : รวมเทคนิคทั่วไปปลั๊กและเล่น

  • คุณสมบัติอื่น ๆ : โหลดโมเดลไลบรารี Transformers เข้าด้วยกัน วิธีการโทรนั้นง่ายและมีประสิทธิภาพ การแสดงแบบไดนามิกของแถบความคืบหน้าการฝึกอบรม การพิมพ์ระดับพารามิเตอร์ด้วย Torchinfo; เครื่องบันทึกเริ่มต้นและ Tensorboard นั้นง่ายต่อการบันทึกกระบวนการฝึกอบรม กระบวนการพอดีแบบกำหนดเองเพื่อตอบสนองความต้องการระดับสูง

  • กระบวนการฝึกอบรม :

    กระบวนการฝึกอบรม

การทำงาน bert4torch หม้อแปลงไฟฟ้า คำพูด
แถบความคืบหน้าการฝึกอบรม แถบความคืบหน้าพิมพ์การสูญเสียและตัวชี้วัดที่กำหนดไว้
การฝึกอบรมแบบกระจาย DP/DDP คบเพลิงมาพร้อมกับ dp/ddp
การโทรกลับต่างๆ log/tensorboard/ournedstop/wandb ฯลฯ
การให้เหตุผลแบบจำลองขนาดใหญ่, เอาต์พุตสตรีม/แบทช์ แต่ละรุ่นเป็นสากลและไม่จำเป็นต้องมีการบำรุงรักษาสคริปต์แยกต่างหาก
ปรับแต่งแบบปรับขนาดใหญ่ Lora ขึ้นอยู่กับห้องสมุด PEFT PV2 มาพร้อมกับตัวเอง
เทคนิคที่อุดมไปด้วย กลอุบายและเล่นกับการฝึกอบรมและเทคนิคอื่น ๆ
รหัสนั้นง่ายและเข้าใจง่ายและพื้นที่ที่กำหนดเองมีขนาดใหญ่ การใช้รหัสสูงซ้ำรูปแบบการฝึกอบรมรหัส Keras
ความสามารถในการบำรุงรักษาคลังสินค้า/อิทธิพล/การใช้งาน/ความเข้ากันได้ ปัจจุบันการบำรุงรักษาคลังสินค้าส่วนบุคคล
การปรับใช้แบบคลิกเดียวของรุ่นใหญ่

3. เริ่มต้นอย่างรวดเร็ว

3.1 เริ่มต้นการสอน

  • เริ่มต้นอย่างรวดเร็ว
  • แบบฝึกหัดเริ่มต้นอย่างรวดเร็วตัวอย่างการสอนตัวอย่างที่เป็นประโยชน์
  • บทนำสู่ Bert4Torch (Zhihu) เริ่มต้นอย่างรวดเร็วด้วย Bert4Torch (Zhihu) และ Bert4Torch ได้รับการปรับปรุงอีกครั้ง (Zhihu)

3.2 ปรับใช้บริการรุ่นใหญ่อย่างรวดเร็วบนบรรทัดคำสั่ง

  • การโหลดท้องถิ่น/อินเทอร์เน็ต 
     # 联网下载全部文件
bert4torch-llm-server --checkpoint_path Qwen2-0.5B-Instruct

# 加载本地大模型，联网下载bert4torch_config.json
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --config_path Qwen/Qwen2-0.5B-Instruct

# 加载本地大模型，且bert4torch_config.json已经下载并放于同名目录下
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct
  • บรรทัดคำสั่ง/หน้าเว็บ gradio/openai_api 
     # 命令行
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode cli

# gradio网页
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode gradio

# openai_api
bert4torch-llm-server --checkpoint_path /data/pretrain_ckpt/Qwen/Qwen2-0.5B-Instruct --mode openai
  • ตัวอย่างการแชทบรรทัดคำสั่ง การแชทบรรทัดคำสั่ง

4. ประวัติเวอร์ชันและอัปเดต

เวอร์ชัน 4.1 ประวัติ

วันที่อัปเดต bert4torch Torch4keras คำอธิบายเวอร์ชัน
20240928 0.5.4 0.2.7 [คุณสมบัติใหม่] เพิ่มซีรีส์ Deepseek, MinicPM, MinICPMV, LLAMA3.2, QWEN2.5; รองรับ Device_map = อัตโนมัติ; [แก้ไข] แก้ไข batch_generate และ n> 1 ข้อบกพร่อง
20240814 0.5.3 0.2.6 【คุณสมบัติใหม่】เพิ่ม llama3.1/yi1.5; เลือกดาวน์โหลดโดยอัตโนมัติจาก hfmirror; สนับสนุนพารามิเตอร์บรรทัดคำสั่ง bert4torch-llm-server
20240801 0.5.2 0.2.5 [ฟังก์ชั่นใหม่] Chatglm/Qwen Series รองรับการโทรของฟังก์ชั่นและเพิ่มซีรีส์ InternLM2; [การปรับให้เหมาะสมขนาดเล็ก] ทำให้การเรียกร้องการแชทง่ายขึ้นในไปป์ไลน์การสร้างองค์ประกอบโทเค็นได้รับอนุญาตให้เป็นรายการรวมชื่อพารามิเตอร์ ROPE_SCALING และเพิ่มคลาสที่ได้จากเชือก [บั๊ก] แก้ไขข้อผิดพลาดในการอนุมาน Flash_attn2, แก้ไขข้อผิดพลาดของ BART TIE_WORD_EMBEDDIN

รุ่นเพิ่มเติม

4.2 ประวัติอัปเดต

ประวัติศาสตร์เพิ่มเติม

5. น้ำหนักการฝึกอบรมล่วงหน้า

  • โมเดลที่ผ่านการฝึกอบรมมาก่อนรองรับวิธีการโหลดรหัสหลายวิธี 

     from bert4torch . models import build_transformer_model

# 1. 仅指定config_path: 从头初始化模型结构, 不加载预训练模型
model = build_transformer_model ( './model/bert4torch_config.json' )

# 2. 仅指定checkpoint_path: 
## 2.1 文件夹路径: 自动寻找路径下的*.bin/*.safetensors权重文件 + 需把bert4torch_config.json下载并放于该目录下
model = build_transformer_model ( checkpoint_path = './model' )

## 2.2 文件路径/列表: 文件路径即权重路径/列表, bert4torch_config.json会从同级目录下寻找
model = build_transformer_model ( checkpoint_path = './pytorch_model.bin' )

## 2.3 model_name: hf上预训练权重名称, 会自动下载hf权重以及bert4torch_config.json文件
model = build_transformer_model ( checkpoint_path = 'bert-base-chinese' )

# 3. 同时指定config_path和checkpoint_path(本地路径名或model_name排列组合): 
#    本地路径从本地加载，pretrained_model_name会联网下载
config_path = './model/bert4torch_config.json'  # 或'bert-base-chinese'
checkpoint_path = './model/pytorch_model.bin'  # 或'bert-base-chinese'
model = build_transformer_model ( config_path , checkpoint_path )

  • ลิงค์น้ำหนักที่ปรับสภาพล่วงหน้าและ bert4torch_config.json

การจำแนกแบบจำลอง ชื่อนางแบบ แหล่งที่มาของน้ำหนัก Weight Link/Cheampoint_Path config_path
เบิร์ต เบิร์ตเบส-จีน Google-Bert bert-base-chinese bert-base-chinese
Chinese_L-12_H-768_A-12 Google น้ำหนัก TF
Tongjilibo/bert-chinese_L-12_H-768_A-12
Chinese-Bert-WWM-EXT HFL hfl/chinese-bert-wwm-ext hfl/chinese-bert-wwm-ext
Bert-base-multilingual-c Google-Bert bert-base-multilingual-cased bert-base-multilingual-cased
แมคเบิร์ต HFL hfl/chinese-macbert-base
hfl/chinese-macbert-large		 hfl/chinese-macbert-base
hfl/chinese-macbert-large
Wobert เทคโนโลยี Zhuyi junnyu/wobert_chinese_base , junnyu/wobert_chinese_plus_base junnyu/wobert_chinese_base
junnyu/wobert_chinese_plus_base
โรเบอร์ต้า Chinese-Roberta-WWM-EXT HFL hfl/chinese-roberta-wwm-ext
hfl/chinese-roberta-wwm-ext-large
(น้ำหนัก MLM ของใหญ่เริ่มต้นแบบสุ่ม)		 hfl/chinese-roberta-wwm-ext
hfl/chinese-roberta-wwm-ext-large
Roberta-Small/Tiny เทคโนโลยี Zhuyi Tongjilibo/chinese_roberta_L-4_H-312_A-12
Tongjilibo/chinese_roberta_L-6_H-384_A-12
เบสโรเบอร์ต้า Facebookai roberta-base roberta-base
Guwenbert Ethanyt ethanyt/guwenbert-base ethanyt/guwenbert-base
อัลเบิร์ต Albert_ZH
Albert_pytorch		 Brightmart voidful/albert_chinese_tiny
voidful/albert_chinese_small
voidful/albert_chinese_base
voidful/albert_chinese_large
voidful/albert_chinese_xlarge
voidful/albert_chinese_xxlarge		 voidful/albert_chinese_tiny
voidful/albert_chinese_small
voidful/albert_chinese_base
voidful/albert_chinese_large
voidful/albert_chinese_xlarge
voidful/albert_chinese_xxlarge
เนยแข็ง เนยแข็ง
nezha_chinese_pytorch		 huawei_noah sijunhe/nezha-cn-base
sijunhe/nezha-cn-large
sijunhe/nezha-base-wwm
sijunhe/nezha-large-wwm		 sijunhe/nezha-cn-base
sijunhe/nezha-cn-large
sijunhe/nezha-base-wwm
sijunhe/nezha-large-wwm
nezha_gpt_dialog Bojone Tongjilibo/nezha_gpt_dialog
xlnet จีน-xlnet HFL hfl/chinese-xlnet-base hfl/chinese-xlnet-base
transformer_xl กอด transfo-xl/transfo-xl-wt103 transfo-xl/transfo-xl-wt103
เดอเบอร์ตา Erlangshen-Deberta-V2 ความคิด IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese
IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese
IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese		 IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese
IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese
IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese
เครื่องใช้ไฟฟ้า จีน-อิเล็กตร้า HFL hfl/chinese-electra-base-discriminator hfl/chinese-electra-base-discriminator
เออร์นี่ เออร์นี่ Baidu Wenxin nghuyong/ernie-1.0-base-zh
nghuyong/ernie-3.0-base-zh		 nghuyong/ernie-1.0-base-zh
nghuyong/ernie-3.0-base-zh
คนเดินเล่น คนเดินเล่น เทคโนโลยี Zhuyi junnyu/roformer_chinese_base junnyu/roformer_chinese_base
roformer_v2 เทคโนโลยี Zhuyi junnyu/roformer_v2_chinese_char_base junnyu/roformer_v2_chinese_char_base
ซิมเบิร์ต ซิมเบิร์ต เทคโนโลยี Zhuyi Tongjilibo/simbert-chinese-base
Tongjilibo/simbert-chinese-small
Tongjilibo/simbert-chinese-tiny
Simbert_v2/roformer-sim เทคโนโลยี Zhuyi junnyu/roformer_chinese_sim_char_base , junnyu/roformer_chinese_sim_char_ft_base , junnyu/roformer_chinese_sim_char_small , junnyu/roformer_chinese_sim_char_ft_small junnyu/roformer_chinese_sim_char_base
junnyu/roformer_chinese_sim_char_ft_base
junnyu/roformer_chinese_sim_char_small
junnyu/roformer_chinese_sim_char_ft_small
Gau Gau-alpha เทคโนโลยี Zhuyi Tongjilibo/chinese_GAU-alpha-char_L-24_H-768
UIE UIE
uie_pytorch		 Baidu Tongjilibo/uie-base
GPT cdial-gpt Thu-coai thu-coai/CDial-GPT_LCCC-base
thu-coai/CDial-GPT_LCCC-large		 thu-coai/CDial-GPT_LCCC-base
thu-coai/CDial-GPT_LCCC-large
CMP_LM (2.6 พันล้าน) Tsinghua TsinghuaAI/CPM-Generate TsinghuaAI/CPM-Generate
nezha_gen huawei_noah Tongjilibo/chinese_nezha_gpt_L-12_H-768_A-12
GPT2-Chinese-Cluecorpussmall uer uer/gpt2-chinese-cluecorpussmall uer/gpt2-chinese-cluecorpussmall
GPT2-ML Imcaspar torrh
Baiduyun (84DH)		 gpt2-ml_15g_corpus
gpt2-ml_30g_corpus
บาร์ต bart_base_chinese fudan fnlp fnlp/bart-base-chinese
v1.0		 fnlp/bart-base-chinese
fnlp/bart-base-chinese-v1.0
T5 T5 uer uer/t5-small-chinese-cluecorpussmall
uer/t5-base-chinese-cluecorpussmall		 uer/t5-base-chinese-cluecorpussmall
uer/t5-small-chinese-cluecorpussmall
MT5 Google google/mt5-base google/mt5-base
t5_pegasus เทคโนโลยี Zhuyi Tongjilibo/chinese_t5_pegasus_small
Tongjilibo/chinese_t5_pegasus_base
Chatyuan เบาะแส ClueAI/ChatYuan-large-v1
ClueAI/ChatYuan-large-v2		 ClueAI/ChatYuan-large-v1
ClueAI/ChatYuan-large-v2
คำแนะนำ เบาะแส ClueAI/PromptCLUE-base ClueAI/PromptCLUE-base
chatglm chatglm-6b เสียงดัง THUDM/chatglm-6b
THUDM/chatglm-6b-int8
THUDM/chatglm-6b-int4
v0.1.0		 THUDM/chatglm-6b
THUDM/chatglm-6b-int8
THUDM/chatglm-6b-int4
THUDM/chatglm-6b-v0.1.0
chatglm2-6b เสียงดัง THUDM/chatglm2-6b
THUDM/chatglm2-6b-int4
THUDM/chatglm2-6b-32k		 THUDM/chatglm2-6b
THUDM/chatglm2-6b-int4
THUDM/chatglm2-6b-32k
chatglm3-6b เสียงดัง THUDM/chatglm3-6b
THUDM/chatglm3-6b-32k		 THUDM/chatglm3-6b
THUDM/chatglm3-6b-32k
GLM4-9B เสียงดัง THUDM/glm-4-9b
THUDM/glm-4-9b-chat
THUDM/glm-4-9b-chat-1m		 THUDM/glm-4-9b
THUDM/glm-4-9b-chat
THUDM/glm-4-9b-chat-1m
ลาม่า ลาม่า เมตา meta-llama/llama-7b
meta-llama/llama-13b
Llama-2 เมตา meta-llama/llama-2-7b-hf
meta-llama/llama-2-7b-chat-hf
meta-llama/llama-2-13b-hf
meta-llama/llama-2-13b-chat-hf		 meta-llama/Llama-2-7b-hf
meta-llama/Llama-2-7b-chat-hf
meta-llama/Llama-2-13b-hf
meta-llama/Llama-2-13b-chat-hf
Llama-3 เมตา meta-llama/Meta-Llama-3-8B
meta-llama/Meta-Llama-3-8B-Instruct		 meta-llama/Meta-Llama-3-8B
meta-llama/Meta-Llama-3-8B-Instruct
Llama-3.1 เมตา meta-llama/Meta-Llama-3.1-8B
meta-llama/Meta-Llama-3.1-8B-Instruct		 meta-llama/Meta-Llama-3.1-8B
meta-llama/Meta-Llama-3.1-8B-Instruct
Llama-3.2 เมตา meta-llama/Llama-3.2-1B
meta-llama/Llama-3.2-1B-Instruct
meta-llama/Llama-3.2-3B
meta-llama/Llama-3.2-3B-Instruct		 meta-llama/Llama-3.2-1B
meta-llama/Llama-3.2-1B-Instruct
meta-llama/Llama-3.2-3B
meta-llama/Llama-3.2-3B-Instruct
จีน-แอลปากา HFL hfl/chinese_alpaca_plus_7b
hfl/chinese_llama_plus_7b
Chinese-Llama-Alpaca-2 HFL ที่จะเพิ่ม
Chinese-Llama-Alpaca-3 HFL ที่จะเพิ่ม
belle_llama คนโสเภณี Bellegroup/Belle-llama-7b-2m-enc คำแนะนำการสังเคราะห์ BelleGroup/BELLE-LLaMA-7B-2M-enc
Ziya Idea-ccnl Idea-CCNL/Ziya-llama-13b-v1
IDEA-CCNL/ZIYA-LLAMA-13B-V1.1
IDEA-CCNL/ZIYA-LLAMA-13B-PRETRAIN-V1		 IDEA-CCNL/Ziya-LLaMA-13B-v1
IDEA-CCNL/Ziya-LLaMA-13B-v1.1
ตัวแทน LMSYS lmsys/vicuna-7b-v1.5 lmsys/vicuna-7b-v1.5
ชาวไชน่า ชาวไชน่า Baichuan-Inc baichuan-inc/Baichuan-7B
baichuan-inc/Baichuan-13B-Base
baichuan-inc/Baichuan-13B-Chat		 baichuan-inc/Baichuan-7B
baichuan-inc/Baichuan-13B-Base
baichuan-inc/Baichuan-13B-Chat
Baichuan2 Baichuan-Inc baichuan-inc/Baichuan2-7B-Base
baichuan-inc/Baichuan2-7B-Chat
baichuan-inc/Baichuan2-13B-Base
baichuan-inc/Baichuan2-13B-Chat		 baichuan-inc/Baichuan2-7B-Base
baichuan-inc/Baichuan2-7B-Chat
baichuan-inc/Baichuan2-13B-Base
baichuan-inc/Baichuan2-13B-Chat
ยี่ ยี่ 01-AI 01-ai/Yi-6B
01-ai/Yi-6B-200K
01-ai/Yi-9B
01-ai/Yi-9B-200K		 01-ai/Yi-6B
01-ai/Yi-6B-200K
01-ai/Yi-9B
01-ai/Yi-9B-200K
Yi-1.5 01-AI 01-ai/Yi-1.5-6B
01-ai/Yi-1.5-6B-Chat
01-ai/Yi-1.5-9B
01-ai/Yi-1.5-9B-32K
01-ai/Yi-1.5-9B-Chat
01-ai/Yi-1.5-9B-Chat-16K		 01-ai/Yi-1.5-6B
01-ai/Yi-1.5-6B-Chat
01-ai/Yi-1.5-9B
01-ai/Yi-1.5-9B-32K
01-ai/Yi-1.5-9B-Chat
01-ai/Yi-1.5-9B-Chat-16K
ผลิบาน ผลิบาน ความสำคัญ bigscience/bloom-560m
bigscience/bloomz-560m		 bigscience/bloom-560m
bigscience/bloomz-560m
Qwen Qwen Alibaba Cloud Qwen/Qwen-1_8B
Qwen/Qwen-1_8B-Chat
Qwen/Qwen-7B
Qwen/Qwen-7B-Chat
Qwen/Qwen-14B
Qwen/Qwen-14B-Chat		 Qwen/Qwen-1_8B
Qwen/Qwen-1_8B-Chat
Qwen/Qwen-7B
Qwen/Qwen-7B-Chat
Qwen/Qwen-14B
Qwen/Qwen-14B-Chat
Qwen1.5 Alibaba Cloud Qwen/Qwen1.5-0.5B
Qwen/Qwen1.5-0.5B-Chat
Qwen/Qwen1.5-1.8B
Qwen/Qwen1.5-1.8B-Chat
Qwen/Qwen1.5-7B
Qwen/Qwen1.5-7B-Chat
Qwen/Qwen1.5-14B
Qwen/Qwen1.5-14B-Chat		 Qwen/Qwen1.5-0.5B
Qwen/Qwen1.5-0.5B-Chat
Qwen/Qwen1.5-1.8B
Qwen/Qwen1.5-1.8B-Chat
Qwen/Qwen1.5-7B
Qwen/Qwen1.5-7B-Chat
Qwen/Qwen1.5-14B
Qwen/Qwen1.5-14B-Chat
Qwen2 Alibaba Cloud Qwen/Qwen2-0.5B
Qwen/Qwen2-0.5B-Instruct
Qwen/Qwen2-1.5B
Qwen/Qwen2-1.5B-Instruct
Qwen/Qwen2-7B
Qwen/Qwen2-7B-Instruct		 Qwen/Qwen2-0.5B
Qwen/Qwen2-0.5B-Instruct
Qwen/Qwen2-1.5B
Qwen/Qwen2-1.5B-Instruct
Qwen/Qwen2-7B
Qwen/Qwen2-7B-Instruct
QWEN2-VL Alibaba Cloud Qwen/Qwen2-VL-2B-Instruct
Qwen/Qwen2-VL-7B-Instruct		 Qwen/Qwen2-VL-2B-Instruct
Qwen/Qwen2-VL-7B-Instruct
Qwen2.5 Alibaba Cloud Qwen/Qwen2.5-0.5B
Qwen/Qwen2.5-0.5B-Instruct
Qwen/Qwen2.5-1.5B
Qwen/Qwen2.5-1.5B-Instruct
Qwen/Qwen2.5-3B
Qwen/Qwen2.5-3B-Instruct
Qwen/Qwen2.5-7B
Qwen/Qwen2.5-7B-Instruct
Qwen/Qwen2.5-14B
Qwen/Qwen2.5-14B-Instruct		 Qwen/Qwen2.5-0.5B
Qwen/Qwen2.5-0.5B-Instruct
Qwen/Qwen2.5-1.5B
Qwen/Qwen2.5-1.5B-Instruct
Qwen/Qwen2.5-3B
Qwen/Qwen2.5-3B-Instruct
Qwen/Qwen2.5-7B
Qwen/Qwen2.5-7B-Instruct
Qwen/Qwen2.5-14B
Qwen/Qwen2.5-14B-Instruct
ผู้ฝึกงาน ผู้ฝึกงาน ห้องปฏิบัติการปัญญาประดิษฐ์เซี่ยงไฮ้ internlm/internlm-7b
internlm/internlm-chat-7b		 internlm/internlm-7b
internlm/internlm-chat-7b
internlm2 ห้องปฏิบัติการปัญญาประดิษฐ์เซี่ยงไฮ้ internlm/internlm2-1_8b
internlm/internlm2-chat-1_8b
internlm/internlm2-7b
internlm/internlm2-chat-7b
internlm/internlm2-20b
internlm/internlm2-chat-20b		 internlm/internlm2-1_8b
internlm/internlm2-chat-1_8b
internlm/internlm2-7b
internlm/internlm2-chat-7b
internlm2.5 ห้องปฏิบัติการปัญญาประดิษฐ์เซี่ยงไฮ้ internlm/internlm2_5-7b
internlm/internlm2_5-7b-chat
internlm/internlm2_5-7b-chat-1m		 internlm/internlm2_5-7b
internlm/internlm2_5-7b-chat
internlm/internlm2_5-7b-chat-1m
เหยี่ยว เหยี่ยว tiiuae tiiuae/falcon-rw-1b
tiiuae/falcon-7b
tiiuae/falcon-7b-instruct		 tiiuae/falcon-rw-1b
tiiuae/falcon-7b
tiiuae/falcon-7b-instruct
ลึกล้ำ Deepseek-Moe การค้นหาในเชิงลึก deepseek-ai/deepseek-moe-16b-base
deepseek-ai/deepseek-moe-16b-chat		 deepseek-ai/deepseek-moe-16b-base
deepseek-ai/deepseek-moe-16b-chat
deepseek-llm การค้นหาในเชิงลึก deepseek-ai/deepseek-llm-7b-base
deepseek-ai/deepseek-llm-7b-chat		 deepseek-ai/deepseek-llm-7b-base
deepseek-ai/deepseek-llm-7b-chat
deepseek-v2 การค้นหาในเชิงลึก deepseek-ai/DeepSeek-V2-Lite
deepseek-ai/DeepSeek-V2-Lite-Chat		 deepseek-ai/DeepSeek-V2-Lite
deepseek-ai/DeepSeek-V2-Lite-Chat
เขื่อนลึก การค้นหาในเชิงลึก deepseek-ai/deepseek-coder-1.3b-base
deepseek-ai/deepseek-coder-1.3b-instruct
deepseek-ai/deepseek-coder-6.7b-base
deepseek-ai/deepseek-coder-6.7b-instruct
deepseek-ai/deepseek-coder-7b-base-v1.5
deepseek-ai/deepseek-coder-7b-instruct-v1.5		 deepseek-ai/deepseek-coder-1.3b-base
deepseek-ai/deepseek-coder-1.3b-instruct
deepseek-ai/deepseek-coder-6.7b-base
deepseek-ai/deepseek-coder-6.7b-instruct
deepseek-ai/deepseek-coder-7b-base-v1.5
deepseek-ai/deepseek-coder-7b-instruct-v1.5
DEEPSEEEK-CODER-V2 การค้นหาในเชิงลึก deepseek-ai/DeepSeek-Coder-V2-Lite-Base
deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct		 deepseek-ai/DeepSeek-Coder-V2-Lite-Base
deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct
ลึกลงไป การค้นหาในเชิงลึก deepseek-ai/deepseek-math-7b-base
deepseek-ai/deepseek-math-7b-instruct
deepseek-ai/deepseek-math-7b-rl		 deepseek-ai/deepseek-math-7b-base
deepseek-ai/deepseek-math-7b-instruct
deepseek-ai/deepseek-math-7b-rl
MINICPM MINICPM OpenBMB openbmb/MiniCPM-2B-sft-bf16
openbmb/MiniCPM-2B-dpo-bf16
openbmb/MiniCPM-2B-128k
openbmb/MiniCPM-1B-sft-bf16		 openbmb/MiniCPM-2B-sft-bf16
openbmb/MiniCPM-2B-dpo-bf16
openbmb/MiniCPM-2B-128k
openbmb/MiniCPM-1B-sft-bf16
MINICPM-V OpenBMB openbmb/MiniCPM-V-2_6
openbmb/MiniCPM-Llama3-V-2_5		 openbmb/MiniCPM-V-2_6
openbmb/MiniCPM-Llama3-V-2_5
การฝัง Text2Vec-base-chinese Shibing624 shibing624/text2vec-base-chinese shibing624/text2vec-base-chinese
M3E Moka-AI moka-ai/m3e-base moka-ai/m3e-base
BGE ชาว Baai BAAI/bge-large-en-v1.5
BAAI/bge-large-zh-v1.5
BAAI/bge-base-en-v1.5
BAAI/bge-base-zh-v1.5
BAAI/bge-small-en-v1.5
BAAI/bge-small-zh-v1.5		 BAAI/bge-large-en-v1.5
BAAI/bge-large-zh-v1.5
BAAI/bge-base-en-v1.5
BAAI/bge-base-zh-v1.5
BAAI/bge-small-en-v1.5
BAAI/bge-small-zh-v1.5
GTE จากนั้น thenlper/gte-large-zh
thenlper/gte-base-zh		 thenlper/gte-base-zh
thenlper/gte-large-zh

*บันทึก:

  1. การเป็นตัวแทนของ高亮格式(เช่น bert-base-chinese ) สามารถสร้างโดยตรง build_transformer_model() เพื่อดาวน์โหลดออนไลน์
  2. เว็บไซต์กระจกในประเทศถูกเร่งให้ดาวน์โหลด
    • HF_ENDPOINT=https://hf-mirror.com python your_script.py
    • export HF_ENDPOINT=https://hf-mirror.com ก่อนเรียกใช้รหัส Python
    • ตั้งค่าดังนี้ที่จุดเริ่มต้นของรหัส Python 
     import os
os . environ [ 'HF_ENDPOINT' ] = "https://hf-mirror.com"

6. ขอบคุณ

  • ขอบคุณ Su Shen สำหรับการใช้งาน Bet4Keras มีหลายสถานที่ในการใช้งานนี้ที่อ้างถึงซอร์สโค้ดของ Bet4Keras ฉันอยากจะขอบคุณเจ้านายอย่างจริงใจสำหรับการอุทิศตนที่ไม่เห็นแก่ตัวของเขา
  • ประการที่สองต้องขอบคุณโครงการ Bet4Pytorch และภายใต้การแนะนำของโครงการนี้ฉันให้ความคิดและแนวคิดของการใช้ Pytorch เพื่อทำซ้ำ Bet4Keras

7. ใบเสนอราคา 

 @misc{bert4torch,
  title={bert4torch},
  author={Bo Li},
  year={2022},
  howpublished={url{https://github.com/Tongjilibo/bert4torch}},
}

8. อื่น ๆ

  • แผนภูมิประวัติศาสตร์ Wechat & Star
  • จำนวนกลุ่ม WeChat เกิน 200 (พร้อมข้อ จำกัด การเชิญ) คุณสามารถเพิ่มกลุ่ม WeChat ส่วนบุคคลได้
รูปถ่าย
WeChat ID 		รูปถ่าย
กลุ่ม WeChat
แผนภูมิประวัติศาสตร์ดาว
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด