Bitune

Bitune：雙向指令調整

[ Paper ] [ Website ]

該源代碼包含Bitune的實現，足以從論文中復制結果。請注意，它用於探索不同的想法，許多組件具有不同的名稱，或者是指本文中未提及的概念。

我們計劃在不久的將來發布一個乾淨的存儲庫。

LM評估harness

lm-evaluation-harness目錄包含來自Eleutherai/lm-harness的存儲庫，適合我們的方法。您可以使用以下命令安裝它：

pip install -e lm-evaluation-harness

配置

• 在common_0.sh文件中設置該目錄的適當絕對路徑。
• 評估腳本需要wandb進行記錄。使用您的wandb用戶名eval.py第57行。

腳本

• 指令調整設置：運行instruct.sh腳本。
• 下游任務培訓：運行downstream.sh腳本。確保設置正確數量的更新步驟（基於附錄中提供的值），並為數據集名稱，評估（在底部）和方法名稱中刪除適當的行。
• 消融：在ablations.sh中選擇的散佈線並運行腳本。

_{^{意大利麵條}}代碼的簡要概述

• 實施需要對models目錄中的“擁抱面模型類”進行一些修改：
  • 修改了KV-CACHE，因此它可以保留梯度的計算圖。
  • 添加了與可訓練係數的混合模塊（ pass_scale_k ， pass_scale_v ）。
  • 基於forward()函數的enforce_bidir參數的修改注意掩碼。
  • 在forward()函數中添加了一個代碼片段，負責調用Bitune包裝器。
• bitune包裝器（ _pass_fn()在passes.py文件中）：
  • 將提示通過模型兩次通過，以獲得兩組KV-CACHE，同時為每次通行證設置適當的LORA適配器和注意性掩碼。
  • 調用混合模塊以組合兩組功能（ pass_scale_k ， pass_scale_v ）。
  • 最終通過答案（如果進行培訓），或者生成第一個答案令牌（用於推論）。在進一步生成代幣的情況下，根本沒有調用Bitune包裝器，因為提示的KV-CACHE已經獲得併存儲，因此，該生成像未修改的模型一樣繼續。
  • 將所有Lora的參數設置為可訓練的參數，因為默認情況下， peft庫將不活動適配器設置為不可訓練的適配器。
• 混合模塊（ models/think_gemma.py中定義的類PassScale ）：
  • 包含可訓練的係數，用於混合兩組特徵，分別用於密鑰和值，因此每個注意力都有兩個係數。
  • 定義forward()函數，該函數基於Config（ config.pass_type ）中指定的變體進行混合操作。我們的最終方法由變體607 （用於實驗）和簡化版本801定義。

庫版本

已經使用了以下庫的版本：

• transformers==4.38.2
• peft==0.11.1
• datasets==2.18.0
• evaluate==0.4.0

Bibtex

 @misc { kopiczko2024bitune ,
      title = { Bitune: Bidirectional Instruction-Tuning } ,
      author = { Dawid J. Kopiczko and Tijmen Blankevoort and Yuki M. Asano } ,
      year = { 2024 } ,
      eprint = { 2405.14862 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}