lawma

Lawma: o poder da especialização para tarefas legais

Esta é a base de código principal do projeto:

Lawma: O poder da especizalização para tarefas legais. Ricardo Dominguez-Olmedo e Vedant Nanda e Rediet Abebe e Stefan Bechtold e Christoph Engel e Jens Frankenreiter e Krishna Gummadi e Moritz Hardt e Michael Livermore. 2024

Lawma 8B e Lawma 70B são modelos de idiomas ajustados em 260 tarefas de classificação legal derivadas dos bancos de dados da Suprema Corte e da Court of Court of Appeals. Os modelos da lei superam o GPT-4 em 95% dessas tarefas de classificação legal, em média em mais de 17 pontos de precisão.

• Os modelos : Lawma 8b e Lawma 70B são tunes finos do llama 3 Instruct.
• O conjunto de dados de ajuste fino : nosso conjunto de dados de ajuste fino contém um conjunto diversificado de 260 tarefas de classificação legal, com cerca de 500 mil exemplos de tarefas e 2 bilhões de tokens.
• As tarefas de classificação legal : elas compreendem quase todas as variáveis ​​do Supremo Tribunal e dos Bancos de Dados de Apelações do Tribunal de Apelações, consulte o Apêndice B.
• Os detalhes : consulte nossa pré-impressão do ARXIV para obter mais detalhes, incluindo vários experimentos de ajuste fino sobre o comportamento de escala do ajuste fino, sua eficiência da amostra, sua generalização para tarefas e tribunais invisíveis e o efeito da especialização da tarefa única.

Para que serve os modelos da lei? Recomendamos o uso dos modelos Lawma apenas para as tarefas de classificação legal nas quais eles foram ajustados. A principal retirada do nosso artigo é que os modelos especializados levam a grandes melhorias no desempenho. Portanto, recomendamos fortemente os profissionais para aproveitar ainda mais a lei sobre as tarefas reais para as quais os modelos serão usados. Relativamente poucos exemplos-uie, dezenas ou centenas-já podem levar a grandes ganhos no desempenho.

Por que essas tarefas de classificação legal? Nossas razões para estudar tarefas de classificação legal são técnicas e substantivas. Do ponto de vista técnico de aprendizado de máquina, essas tarefas fornecem problemas de classificação altamente não triviais, onde mesmo os melhores modelos deixam muito espaço para melhorias. De uma perspectiva legal substantiva, soluções eficientes para esses problemas de classificação têm aplicações ricas e importantes em pesquisas legais. Fornecemos código para avaliar o desempenho dos modelos de HF nessas tarefas de classificação.

Avaliação

Para avaliar modelos de idiomas em cada uma das 260 tarefas legais, consulte a pasta de avaliação e, em particular, hf_eval.py. Você deve primeiro baixar os arquivos de tarefas daqui ou gerá -los seguindo as instruções na pasta Data_generation. Avaliamos uma variedade de modelos de idiomas:

Modelo	Todas as tarefas	Tarefas da Suprema Corte	Tarefas do Tribunal de Apelações
Lawma 70b	81.9	84.1	81.5
Lawma 8b	80.3	82.4	79.9
GPT4	62.9	59.8	63.4
Lhama 3 70b inst	58.4	47.1	60.3
Mixtral 8x7b Inst	43.2	24.4	46.4
Lhama 3 8b inst	42.6	32.8	44.2
Classificador de maioria	41.7	31.5	43.5
Mistral 7b Inst	39.9	19.5	43.4
Saul 7b inst	34.4	20.2	36.8
Legalbert	24.6	13.6	26.4

Os modelos da lei superavam substancialmente todos os outros modelos testados e, em particular, o GPT-4. Observe que, embora a Lawma 70B geralmente supere a lei 8b, a diferença no desempenho é tipicamente bastante pequena. Portanto, os profissionais podem preferir usar a Lawma 8b para sua inferência e ajuste fino significativamente mais baratos, com pouco custo em termos de desempenho do modelo.

Nota: Avaliação de modelos em todas as 260 tarefas de classificação é razoavelmente computada intensiva. No entanto, para fins de benchmarking do modelo de linguagem, podemos estar interessados ​​principalmente no desempenho agregado. No momento, estamos trabalhando para tornar as avaliações agregadas menos intensivas em recursos, considerando apenas um número limitado de exemplos por tarefa.

Tuneamento fino em nosso conjunto de dados

Nós ajustamos a Lei de Tune usando a Biblioteca Axolotl. Consulte o ReadMe na pasta Fine-Tune para obter os scripts de treinamento e arquivos de configuração que usamos para ajustar a Lawma.

Para ajustar nosso conjunto de dados de tarefas de classificação legal, basta indicar assim no seu arquivo config.yml :

 datasets :
  - path : ricdomolm/lawma-all-tasks
    type : alpaca

e então treine usando axolotl como de costume

accelerate launch -m axolotl.cli.train config.yml

Lei de ajuste fino 8b em GPUs 7xh100 exigiu um total de 600 H100 horas (3 épocas), enquanto a lei de ajuste fino 70b em 8 nós de 8 GPUs exigiu cerca de 1600 H100 horas (1 época). Descobrimos que outras épocas prejudicam o desempenho médio da tarefa.

Reproduzindo os experimentos e números do artigo

Para reproduzir os resultados do artigo, tome as seguintes etapas:

• Vá para Data_generation para todo o código para criar as tarefas de classificação e o conjunto de dados de ajuste fino.
• A avaliação do diretório contém código usado para avaliar vários modelos nas tarefas de classificação.
• O diretório Fine Tune contém código para tune tune Lawma, bem como os experimentos adicionais de ajuste fino incluídos no artigo.
• Os notebooks do diretório contêm arquivos ipynb para gerar as parcelas e tabelas do papel.

Consulte os arquivos README.MD nos subdiretos para obter documentação adicional.

Citação

Por favor, cite como:

 @misc{dominguezolmedo2024lawmapowerspecializationlegal,
      title={Lawma: The Power of Specialization for Legal Tasks}, 
      author={Ricardo Dominguez-Olmedo and Vedant Nanda and Rediet Abebe and Stefan Bechtold and Christoph Engel and Jens Frankenreiter and Krishna Gummadi and Moritz Hardt and Michael Livermore},
      year={2024},
      eprint={2407.16615},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.16615}, 
}