Kaggle LMSYS下载-Kaggle Kaggle LMSYS源代码下载

Kaggle LMSYS

Ai源码

1.0.0

下载

此存储库用于Kaggle -LMSYS-聊天机器人竞技场人类偏好预测

Python环境

1。安装软件包

 pip install - r requirements . txt

准备数据

1。设置Kaggle API

 export KAGGLE_USERNAME= " your_kaggle_username "
export KAGGLE_KEY= " your_api_key "
export HF_TOKEN= " your_hf_token "

2。安装UNZIP

sudo apt install unzip

3。下载数据集

kaggle datasets download -d lizhecheng/lmsys-datasets
unzip lmsys-datasets.zip

4。下载洛拉适配器

kaggle datasets download -d lizhecheng/lmsys-lora
unzip lmsys-lora.zip

训练

1。在此存储库中

 cd src
cd team gemma / cd team llama
python train_xxx.py

2。转到完整的回购

单击全训练代码

[第38个解决方案]丢失金牌

1。代码

在LMSYS GITHUB上检查我们的代码。

2。方法论

我们采用说明调整，使输入格式至关重要。实验各种格式后，我们确定了最佳方法：

首先，我们定义最大长度。然后，我们在此限制内串联多个迅速响应对。如果先前的提示响应对超过最大长度，则将新的提示响应对放在单独的行中。例如，考虑提示[P1，P2，P3]，具有相应的响应[A1，A2，A3]和[B1，B2，B3]。此方法允许我们生成两行：（P1，A1，B1）和（P2，A2，B2，P3，A3，B3），假设（P1，A1，B1）不超过最大长度。但是，对于培训，我们仅对每个ID使用及时响应对的最后一回合。

这种方法提供了两个关键优势：

以这种方式构建输入可以帮助模型学习需要比较哪些两个响应。
最大长度内的串联响应对确保每个输入都是完整的对话，避免截断。这降低了由于响应不完整而导致错误选择的风险。

 <start_of_turn>user
Here are two question-answering dialogues. Compare two models' performance on answering questions, determine which is better.
#Prompt1
xxxxx
#Response
##Model A
xxxxx
##Model B
xxxx

#Prompt2
xxxxx
#Response
............

###options
A. Model A
B. Model B
C. Tie
<end_of_turn>
<start_of_turn>model 
A<eos>

3。培训和推理细节

4bit Qlora在Gemma-2-9b-it和Meta-llama-3.1-8b-inscruct上，参数：r = 32，模块= [“ q_proj”，“ k_proj”，“ v_proj”，“ v_proj”，“ o_proj”]。
指导调用而不是分类。
没有gradient_checkpointing_enable（）来减少训练时间。
使用其他33K数据进行微调和示例10K数据进行TTA。
大量简历分开（80％ / 20％），以避免在火车和验证之间进行重复。
GPU：多个80GB A100 GPU +多个A40 GPU。
设定温度= 1.03用于推理。
提交1：Gemma-2-9b-it + Llama-3.1-8b-it + gemma-2-2b-it＆incmission2：gemma-2-9b-it + llama-3.1-8b-it + tta。