Bitune

Bitune：双向指令调整

[ Paper ] [ Website ]

该源代码包含Bitune的实现，足以从论文中复制结果。请注意，它用于探索不同的想法，许多组件具有不同的名称，或者是指本文中未提及的概念。

我们计划在不久的将来发布一个干净的存储库。

LM评估harness

lm-evaluation-harness目录包含来自Eleutherai/lm-harness的存储库，适合我们的方法。您可以使用以下命令安装它：

pip install -e lm-evaluation-harness

配置

• 在common_0.sh文件中设置该目录的适当绝对路径。
• 评估脚本需要wandb进行记录。使用您的wandb用户名eval.py第57行。

脚本

• 指令调整设置：运行instruct.sh脚本。
• 下游任务培训：运行downstream.sh脚本。确保设置正确数量的更新步骤（基于附录中提供的值），并为数据集名称，评估（在底部）和方法名称中删除适当的行。
• 消融：在ablations.sh中选择的散布线并运行脚本。

_{^{意大利面条}}代码的简要概述

• 实施需要对models目录中的“拥抱面模型类”进行一些修改：
  • 修改了KV-CACHE，因此它可以保留梯度的计算图。
  • 添加了与可训练系数的混合模块（ pass_scale_k ， pass_scale_v ）。
  • 基于forward()函数的enforce_bidir参数的修改注意掩码。
  • 在forward()函数中添加了一个代码片段，负责调用Bitune包装器。
• bitune包装器（ _pass_fn()在passes.py文件中）：
  • 将提示通过模型两次通过，以获得两组KV-CACHE，同时为每次通行证设置适当的LORA适配器和注意性掩码。
  • 调用混合模块以组合两组功能（ pass_scale_k ， pass_scale_v ）。
  • 最终通过答案（如果进行培训），或者生成第一个答案令牌（用于推论）。在进一步生成代币的情况下，根本没有调用Bitune包装器，因为提示的KV-CACHE已经获得并存储，因此，该生成像未修改的模型一样继续。
  • 将所有Lora的参数设置为可训练的参数，因为默认情况下， peft库将不活动适配器设置为不可训练的适配器。
• 混合模块（ models/think_gemma.py中定义的类PassScale ）：
  • 包含可训练的系数，用于混合两组特征，分别用于密钥和值，因此每个注意力都有两个系数。
  • 定义forward()函数，该函数基于Config（ config.pass_type ）中指定的变体进行混合操作。我们的最终方法由变体607 （用于实验）和简化版本801定义。

库版本

已经使用了以下库的版本：

• transformers==4.38.2
• peft==0.11.1
• datasets==2.18.0
• evaluate==0.4.0

Bibtex

 @misc { kopiczko2024bitune ,
      title = { Bitune: Bidirectional Instruction-Tuning } ,
      author = { Dawid J. Kopiczko and Tijmen Blankevoort and Yuki M. Asano } ,
      year = { 2024 } ,
      eprint = { 2405.14862 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}