lawma

Lawma：專業人士執行法律任務的力量

這是該項目的主要代碼基礎：

Lawma：法律任務的指定力量。 Ricardo Dominguez-Olmedo和Vedant Nanda和Rediet Abebe，Stefan Bechtold，Christoph Engel和Jens Frankenreiter，Krishna Gummadi，Moritz Hardt和Michael Livermore。 2024

Lawma 8B和Lawma 70B是對260個法律分類任務進行微調的語言模型，該任務來自最高法院和Songer上訴法院數據庫。 Lawma模型在這些法律分類任務中的95％上的表現超過17個精度。

• 模型：Lawma 8b和Lawma 70b是Llama 3指導的微型。
• 微調數據集：我們的微調數據集包含一組260個法律分類任務，其中約為50萬個任務示例和20億個令牌。
• 法律分類任務：它們構成了最高法院幾乎所有變量和宋默上訴法院數據庫，請參見附錄B。
• 詳細信息：有關更多詳細信息，請參見我們的ARXIV預印本，包括有關微調行為的一些微調實驗，其樣本效率，其對看不見的任務和法院的概括以及單個任務專業的效果。

Lawma模型有用嗎？我們建議僅將Lawma模型用於對其模型進行微調的法律分類任務。我們論文的主要外賣是，專門的模型可帶來巨大的性能改善。因此，我們強烈建議從業人員進一步對模型所使用的實際任務進行微調。相對較少的示例 - IE，數十個或數百個可能已經導致性能巨大。

為什麼這些法律分類任務？我們研究法律分類任務的理由既技術又是實質性的。從技術機器學習的角度來看，這些任務提供了高度非平凡的分類問題，即使是最佳模型也有很多改進的餘地。從實質性的法律角度來看，這些分類問題的有效解決方案在法律研究中具有豐富而重要的應用。我們提供代碼來評估HF模型在這些分類任務上的性能。

評估

要評估260個法律任務中的每個任務中的每個語言模型，請參考評估文件夾，尤其是hf_eval.py。您必須首先從此處下載任務文件，或者按照Data_generation文件夾中的說明自己生成它們。我們評估了一系列語言模型：

模型	所有任務	最高法院任務	上訴法院任務
Lawma 70b	81.9	84.1	81.5
Lawma 8b	80.3	82.4	79.9
GPT4	62.9	59.8	63.4
Llama 3 70B Inst	58.4	47.1	60.3
混合8x7b Inst	43.2	24.4	46.4
Llama 3 8B Inst	42.6	32.8	44.2
多數分類器	41.7	31.5	43.5
Mistral 7b Inst	39.9	19.5	43.4
Saul 7B Inst	34.4	20.2	36.8
Legalbert	24.6	13.6	26.4

Lawma模型基本上優於測試的所有其他模型，尤其是GPT-4。請注意，儘管Lawma 70b通常優於Lawma 8B，但性能的差異通常很小。因此，從業人員可能更喜歡使用Lawma 8B進行更便宜的推理和微調，而在模型性能方面幾乎沒有成本。

注意：評估所有260個分類任務上的模型都是合理地計算的。但是，出於語言模型基準測試的目的，我們可能對總體績效感興趣。我們目前正在努力通過僅考慮每個任務數量有限的示例，從而使總收入評估較少。

在我們的數據集上進行微調

我們使用Axolotl庫微調Lawma。請參閱微調文件夾中的讀數，以獲取我們用來微調Lawma的培訓腳本和配置文件。

要微調我們的法律分類任務數據集，只需在您的config.yml文件中註明：

 datasets :
  - path : ricdomolm/lawma-all-tasks
    type : alpaca

然後像往常一樣使用Axolotl訓練

accelerate launch -m axolotl.cli.train config.yml

7xH100 GPU的微調Lawma 8B總共需要600 H100小時（3個時代），而微調Lawma 70B的8 H100節點為8 GPU，每個GPU分別需要1600 H100小時左右（1個時代）。我們發現進一步的時期損害了平均任務績效。

再現紙的實驗和數字

要復制論文的結果，請採取以下步驟：

• 轉到所有代碼的Data_generation，以創建分類任務和微調數據集。
• 目錄評估包含用於評估分類任務的各種模型的代碼。
• 目錄微調包含對Lawma進行微調的代碼，以及本文中包含的其他微調實驗的代碼。
• 目錄筆記本包含IPYNB文件以生成紙張的圖和表。

有關其他文檔，請參見子目錄中的readme.md文件。

引用

請引用為：

 @misc{dominguezolmedo2024lawmapowerspecializationlegal,
      title={Lawma: The Power of Specialization for Legal Tasks}, 
      author={Ricardo Dominguez-Olmedo and Vedant Nanda and Rediet Abebe and Stefan Bechtold and Christoph Engel and Jens Frankenreiter and Krishna Gummadi and Moritz Hardt and Michael Livermore},
      year={2024},
      eprint={2407.16615},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.16615}, 
}