lawma
1.0.0
これはプロジェクトの主要なコードベースです。
Lawma：法的課題のためのspecizalizationの力。リカルド・ドミンゲス・オルメドとヴェダント・ナンダとレディエット・アベベとステファン・ベクトルドとクリストフ・エンゲルとジェンズ・フランケンライターとクリシュナ・グムマディとモリッツ・ハードとマイケル・リバモア。 2024
Lawma 8bおよびLawma 70bは、最高裁判所およびSonger Appealsデータベースから派生した260の法的分類タスクで微調整された言語モデルです。 Lawmaモデルは、これらの法的分類タスクの95％でGPT-4を平均17を超える精度ポイントよりも上回ります。
ローマモデルは何に役立ちますか？ Lawmaモデルは、モデルが微調整された法的分類タスクにのみ使用することをお勧めします。私たちの論文の主な取り組みは、特別なモデルがパフォーマンスの大幅な改善につながることです。したがって、モデルが使用する実際のタスクに関する法律をさらに微調整することを実践者に強くお勧めします。比較的少数の例（IE、数十、数百）は、すでにパフォーマンスの大きな利益につながる可能性があります。
なぜこれらの法的分類タスク？法的分類タスクを研究する理由は、技術的で実質的です。技術的な機械学習の観点から、これらのタスクは、最高のモデルでさえ改善の余地を残す非常に重要でない分類の問題を提供します。実質的な法的観点から、このような分類問題に対する効率的な解決策は、法的研究において豊かで重要なアプリケーションを持っています。これらの分類タスクでHFモデルのパフォーマンスを評価するためのコードを提供します。
260の各法的タスクの各言語モデルを評価するには、評価フォルダー、特にhf_eval.pyを参照してください。ここからタスクファイルを最初にダウンロードするか、data_generationフォルダーの指示に従って自分で生成する必要があります。さまざまな言語モデルを評価しました。
| モデル | すべてのタスク | 最高裁判所のタスク | 控訴裁判所のタスク |
|---|---|---|---|
| Lawma 70b | 81.9 | 84.1 | 81.5 |
| ローマ8b | 80.3 | 82.4 | 79.9 |
| GPT4 | 62.9 | 59.8 | 63.4 |
| Llama 3 70b Inst | 58.4 | 47.1 | 60.3 |
| Mixtral 8x7b Inst | 43.2 | 24.4 | 46.4 |
| Llama 3 8b Inst | 42.6 | 32.8 | 44.2 |
| 多数派分類器 | 41.7 | 31.5 | 43.5 |
| Mistral 7b Inst | 39.9 | 19.5 | 43.4 |
| Saul 7b Inst | 34.4 | 20.2 | 36.8 |
| LegalBert | 24.6 | 13.6 | 26.4 |
Lawmaモデルは、テストされた他のすべてのモデル、特にGPT-4を大幅に上回っています。 Lawma 70bは一般にLawma 8bを上回るが、パフォーマンスの違いは通常かなり小さいことに注意してください。したがって、開業医は、モデルのパフォーマンスの点ではほとんどコストで、その大幅に安価な推論と微調整にLawma 8Bを使用することを好むかもしれません。
注：すべての260の分類タスクでモデルを評価することは、合理的に集中的に計算されます。ただし、言語モデルのベンチマークの目的のために、総合的なパフォーマンスにほとんど関心があるかもしれません。現在、タスクごとの限られた数の例のみを考慮することにより、集約評価をリソース集約的にすることに取り組んでいます。
Axolotlライブラリを使用してLawmaを微調整します。 Lawmaを微調整するために使用したトレーニングスクリプトと構成ファイルについては、微調整フォルダーのREADMEを参照してください。
法的分類タスクのデータセットを微調整するには、 config.ymlファイルでそのように示すだけです。
datasets :
- path : ricdomolm/lawma-all-tasks
type : alpacaそして、いつものようにaxolotlを使用してトレーニングします
accelerate launch -m axolotl.cli.train config.yml7xH100 GPUの微調整法8Bには合計600 H100時間（3エポック）が必要でしたが、8 GPUの8 h100ノードで微調整するLawma 70bは、それぞれ1600 H100時間（1エポック）を必要としました。さらにエポックが平均タスクのパフォーマンスを損なうことがわかります。
論文の結果を再現するには、次の手順を実行します。
追加のドキュメントについては、サブディレクトリのreadme.mdファイルを参照してください。
引用してください：
@misc{dominguezolmedo2024lawmapowerspecializationlegal,
title={Lawma: The Power of Specialization for Legal Tasks},
author={Ricardo Dominguez-Olmedo and Vedant Nanda and Rediet Abebe and Stefan Bechtold and Christoph Engel and Jens Frankenreiter and Krishna Gummadi and Moritz Hardt and Michael Livermore},
year={2024},
eprint={2407.16615},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2407.16615},
}
