lawma

Lawma：专业人士执行法律任务的力量

这是该项目的主要代码基础：

Lawma：法律任务的指定力量。 Ricardo Dominguez-Olmedo和Vedant Nanda和Rediet Abebe，Stefan Bechtold，Christoph Engel和Jens Frankenreiter，Krishna Gummadi，Moritz Hardt和Michael Livermore。 2024

Lawma 8B和Lawma 70B是对260个法律分类任务进行微调的语言模型，该任务来自最高法院和Songer上诉法院数据库。 Lawma模型在这些法律分类任务中的95％上的表现超过17个精度。

• 模型：Lawma 8b和Lawma 70b是Llama 3指导的微型。
• 微调数据集：我们的微调数据集包含一组260个法律分类任务，其中约为50万个任务示例和20亿个令牌。
• 法律分类任务：它们构成了最高法院几乎所有变量和宋默上诉法院数据库，请参见附录B。
• 详细信息：有关更多详细信息，请参见我们的ARXIV预印本，包括有关微调行为的一些微调实验，其样本效率，其对看不见的任务和法院的概括以及单个任务专业的效果。

Lawma模型有用吗？我们建议仅将Lawma模型用于对其模型进行微调的法律分类任务。我们论文的主要外卖是，专门的模型可带来巨大的性能改善。因此，我们强烈建议从业人员进一步对模型所使用的实际任务进行微调。相对较少的示例 - IE，数十个或数百个可能已经导致性能巨大。

为什么这些法律分类任务？我们研究法律分类任务的理由既技术又是实质性的。从技术机器学习的角度来看，这些任务提供了高度非平凡的分类问题，即使是最佳模型也有很多改进的余地。从实质性的法律角度来看，这些分类问题的有效解决方案在法律研究中具有丰富而重要的应用。我们提供代码来评估HF模型在这些分类任务上的性能。

评估

要评估260个法律任务中的每个任务中的每个语言模型，请参考评估文件夹，尤其是hf_eval.py。您必须首先从此处下载任务文件，或者按照Data_generation文件夹中的说明自己生成它们。我们评估了一系列语言模型：

模型	所有任务	最高法院任务	上诉法院任务
Lawma 70b	81.9	84.1	81.5
Lawma 8b	80.3	82.4	79.9
GPT4	62.9	59.8	63.4
Llama 3 70B Inst	58.4	47.1	60.3
混合8x7b Inst	43.2	24.4	46.4
Llama 3 8B Inst	42.6	32.8	44.2
多数分类器	41.7	31.5	43.5
Mistral 7b Inst	39.9	19.5	43.4
Saul 7B Inst	34.4	20.2	36.8
Legalbert	24.6	13.6	26.4

Lawma模型基本上优于测试的所有其他模型，尤其是GPT-4。请注意，尽管Lawma 70b通常优于Lawma 8B，但性能的差异通常很小。因此，从业人员可能更喜欢使用Lawma 8B进行更便宜的推理和微调，而在模型性能方面几乎没有成本。

注意：评估所有260个分类任务上的模型都是合理地计算的。但是，出于语言模型基准测试的目的，我们可能对总体绩效感兴趣。我们目前正在努力通过仅考虑每个任务数量有限的示例，从而使总收入评估较少。

在我们的数据集上进行微调

我们使用Axolotl库微调Lawma。请参阅微调文件夹中的读数，以获取我们用来微调Lawma的培训脚本和配置文件。

要微调我们的法律分类任务数据集，只需在您的config.yml文件中注明：

 datasets :
  - path : ricdomolm/lawma-all-tasks
    type : alpaca

然后像往常一样使用Axolotl训练

accelerate launch -m axolotl.cli.train config.yml

7xH100 GPU的微调Lawma 8B总共需要600 H100小时（3个时代），而微调Lawma 70B的8 H100节点为8 GPU，每个GPU分别需要1600 H100小时左右（1个时代）。我们发现进一步的时期损害了平均任务绩效。

再现纸的实验和数字

要复制论文的结果，请采取以下步骤：

• 转到所有代码的Data_generation，以创建分类任务和微调数据集。
• 目录评估包含用于评估分类任务的各种模型的代码。
• 目录微调包含对Lawma进行微调的代码，以及本文中包含的其他微调实验的代码。
• 目录笔记本包含IPYNB文件以生成纸张的图和表。

有关其他文档，请参见子目录中的readme.md文件。

引用

请引用为：

 @misc{dominguezolmedo2024lawmapowerspecializationlegal,
      title={Lawma: The Power of Specialization for Legal Tasks}, 
      author={Ricardo Dominguez-Olmedo and Vedant Nanda and Rediet Abebe and Stefan Bechtold and Christoph Engel and Jens Frankenreiter and Krishna Gummadi and Moritz Hardt and Michael Livermore},
      year={2024},
      eprint={2407.16615},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.16615}, 
}