lawma

Lawma: власть специализации для юридических задач

Это основная база кода для проекта:

LAWMA: власть спецификации для юридических задач. Рикардо Домингес-Ольмедо и Ведант Нанда и Редьет Абебе и Стефан Бехтольд, Кристоф Энгель и Дженс Франкенрейтер и Кришна Гаммади, Мориц Хардт и Майкл Ливермор. 2024

Lawma 8b и Lawma 70b-это языковые модели, настроенные на 260 задач правовой классификации, полученных из баз данных Верховного суда и апелляционных апелляций. Модели Lawma превосходят GPT-4 по 95% этих юридических задач классификации, в среднем более чем на 17 точек точности.

• Модели : Lawma 8b и Lawma 70b-это точные настройки Llama 3.
• Набор данных с тонкой настройкой : наш набор данных с тонкой настройкой содержит разнообразный набор из 260 задач правовой классификации, с примерами задачи около 500 тыс.
• Задачи правовой классификации : они составляют практически все переменные баз данных Верховного суда и апелляционного суда Сонга, см. Приложение B.
• Подробности : см. Наш препринт ARXIV для получения более подробной информации, включая ряд экспериментов с тонкой настройкой в ​​отношении масштабирования поведения тонкой настройки, ее эффективности выборки, его обобщения для невидимых задач и судов, а также влияние специализации единой задачи.

Для чего полезны модели Lawma? Мы рекомендуем использовать модели Lawma только для задач юридической классификации, на которые они модели были точно настроены. Основным отведением нашей статьи является то, что специализирующие модели приводят к значительным улучшениям производительности. Поэтому мы настоятельно рекомендуем практикующих для дальнейшей настройки Lawma по фактическим задачам, для которых модели будут использоваться. Относительно несколько примеров-де, десятки или сотен-могут уже привести к значительному успеху в производительности.

Почему эти юридические задачи классификации? Наши причины изучения юридических задач классификации являются как техническими, так и существенными. С точки зрения технического машинного обучения, эти задачи обеспечивают очень нетривиальную классификацию, где даже лучшие модели оставляют много возможностей для улучшения. С существенной юридической точки зрения эффективные решения таких проблем классификации имеют богатые и важные приложения в области юридических исследований. Мы предоставляем код для оценки производительности моделей HF в этих задачах классификации.

Оценка

Чтобы оценить языковые модели по каждой из 260 юридических задач, пожалуйста, обратитесь к папке оценки и, в частности, hf_eval.py. Сначала вы должны загрузить файлы задач или создать их самостоятельно, следуя инструкциям в папке Data_Generation. Мы оценили ряд языковых моделей:

Модель	Все задачи	Задачи Верховного суда	Апелляционные задачи
Lawma 70b	81.9	84.1	81.5
Lawma 8b	80.3	82.4	79,9
GPT4	62,9	59,8	63,4
Llama 3 70b Inst	58.4	47.1	60.3
Mixtral 8x7b Inst	43.2	24.4	46.4
Llama 3 8b Inst	42,6	32,8	44.2
Большинство классификатор	41.7	31.5	43,5
MISTRAL 7B INST	39,9	19.5	43,4
Saul 7b Inst	34.4	20.2	36.8
Legalbert	24.6	13.6	26.4

Модели Lawma значительно превосходят все другие протестированные модели, и, в частности, GPT-4. Обратите внимание, что, хотя Lawma 70b обычно превосходит Lawma 8b, разница в производительности, как правило, довольно мала. Таким образом, практикующие могут предпочесть использовать Lawma 8b для его значительно более дешевого вывода и тонкой настройки, с небольшими затратами с точки зрения производительности модели.

ПРИМЕЧАНИЕ. Оценка моделей по всем 260 классификационным задачам разумно вычисляет интенсивную. Тем не менее, для целей языковой модели сравнительного анализа мы можем быть в основном заинтересованы в совокупной производительности. В настоящее время мы работаем над тем, чтобы сделать совокупные оценки менее интенсивными ресурсами, учитывая только ограниченное количество примеров на задачу.

Тонкая настройка нашего набора данных

Мы точно настраиваем Лоуму, используя библиотеку Axolotl. Пожалуйста, обратитесь к Readme в папке с тонкой настройкой для обучающих сценариев и файлов конфигурации, которые мы использовали для тонкой настройки Lawma.

Чтобы точно настроить наш набор данных о юридической классификации задач, просто укажите в вашем файле config.yml :

 datasets :
  - path : ricdomolm/lawma-all-tasks
    type : alpaca

а затем тренируйтесь, используя Axolotl, как обычно

accelerate launch -m axolotl.cli.train config.yml

Тонко настройка Lawma 8b на графических процессорах 7xh100 требовалась в общей сложности 600 часов (3 эпохи), тогда как тонкая настройка Lawma 70b на узлах 8 H100 из 8 графических процессоров, каждый из которых требовал около 1600 H100 часов (1 эпоха). Мы находим, что дальнейшие эпохи повредили среднюю выполнение задачи.

Воспроизводить эксперименты и фигуры бумаги

Чтобы воспроизвести результаты бумаги, предпринимайте следующие шаги:

• Перейдите в Data_Generation для всего кода, чтобы создать задачи классификации и набор данных с тонкой настройкой.
• Оценка каталога содержит код, используемый для оценки различных моделей по задачам классификации.
• Fine-Tune Directory содержит код для тонкой настройки Lawma, а также для дополнительных экспериментов с тонкой настройкой, включенными в статью.
• Ноутбуки Directory содержит файлы iPynb для генерации графиков и таблиц бумаги.

См. Файлы readme.md в подкатализаторах для дополнительной документации.

Цитирование

Пожалуйста, цитируйте как:

 @misc{dominguezolmedo2024lawmapowerspecializationlegal,
      title={Lawma: The Power of Specialization for Legal Tasks}, 
      author={Ricardo Dominguez-Olmedo and Vedant Nanda and Rediet Abebe and Stefan Bechtold and Christoph Engel and Jens Frankenreiter and Krishna Gummadi and Moritz Hardt and Michael Livermore},
      year={2024},
      eprint={2407.16615},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.16615}, 
}