LLM_Legal_Prompt_Generation

LLMS: ¿lo bueno, lo malo o lo indispensable?: Un caso de uso sobre predicción de estatutos legales y predicción de juicio legal en casos de la corte india

Este repositorio contiene los datos y los códigos relevantes para el documento 'LLMS: ¿lo bueno, lo malo o lo indispensable?: Un caso de uso sobre predicción de estatutos legales y predicción de juicio legal en casos de la corte india' aceptado en las conclusiones de la conferencia EMNLP 2023.

Aquí hay un árbol de directorio.

 LLM_Legal_Prompt_Generation
├── Judgment Prediction
│   ├── LLM
│   │   ├── Codes
│   │   │   ├── jp.py
│   │   │   ├── jpe.py
│   │   ├── Datasets
│   │   │   ├── JP.csv
│   │   │   ├── JPE.csv
│   │   │   ├── JPE_with_pet_res.csv
│   │   │   ├── JP_with_pet_res.csv
│   │   ├── readme.md
│   ├── Transformer based Models
│   │   ├── Codes
│   │   │   ├── Evalution on ILDC expert dataset.ipynb
│   │   │   ├── Legal_judgment_training_with_transformers.py
│   │   ├── Datasets
│   │   │   ├── readme.md
│   ├── surname_wordlist
│   │   ├── hindu_surname_file.txt
│   │   ├── muslim_surname_file.txt
├── Statute Prediction
│   ├── Baseline Models
│   │   ├── data_generator.py
│   │   ├── evaluate.py
│   │   ├── metrics.py
│   │   ├── train.py
│   │   ├── utils.py
│   │   ├── Model
│   │   │   ├── Multi-label Classification
│   │   │   │   ├── net.py
│   │   │   ├── Binary Classification
│   │   │   │   ├── net.py
│   │   ├── Experiments
│   │   │   ├── params
│   │   │   │   ├── params_inlegalbert.json
│   │   │   │   ├── params_legalbert.json
│   │   │   │   ├── params_xlnet.json
│   ├── LLM
│   │   ├── Codes
│   │   │   ├── ALL TASK CODE.ipynb
│   │   │   ├── ALL TASK CODE.py
│   │   ├── Datasets
│   │   │   ├── 13_Cases_Gender and Bias Prediction_with explanations.csv
│   │   │   ├── 245cases.csv
│   │   │   ├── Gender and Religion Bias cases.csv
│   │   │   ├── query.csv
│   │   │   ├── statute_pred_100_cases_without_exp-gender_religion_bias.csv
│   │   │   ├── statute_pred_100_cases_without_exp.csv
│   │   │   ├── statute_pred_45_cases_with_exp.csv
│   │   │   ├── statute_pred_45_cases_without_exp.csv
│   │   ├── readme.md
├── README.md

Abstracto

Los grandes modelos de idiomas (LLM) han impactado muchas tareas de la vida real. Para examinar la eficacia de los LLM en un dominio de alto riesgo, como la ley, hemos aplicado LLM de última generación para dos tareas populares: predicción de estatutos y predicción del juicio , en casos de la Corte Suprema india. Vemos que si bien los LLM exhiben un excelente rendimiento predictivo en la predicción de estatutos, su rendimiento se sumerge en la predicción del juicio en comparación con muchos modelos estándar. Las explicaciones generadas por LLMS (junto con la predicción) son de calidad moderada a decente. También vemos evidencia de género y sesgo religioso en los resultados predichos por LLM. Además, presentamos una nota de un experto legal senior sobre las preocupaciones éticas de implementar LLM en estas tareas legales críticas.

Autores

Shaurya Vats, Atharva Zope, Somsubhra de, Anurag Sharma, Upal Bhattacharya, Shubham Kumar Nigam, Shouvik Kumar Guha, Koustav Rudra, Kripabandhu Ghosh

Citación

 @inproceedings{vats-etal-2023-llms,
    title = "{LLM}s {--} the Good, the Bad or the Indispensable?: A Use Case on Legal Statute Prediction and Legal Judgment Prediction on {I}ndian Court Cases",
    author = "Vats, Shaurya  and
      Zope, Atharva  and
      De, Somsubhra  and
      Sharma, Anurag  and
      Bhattacharya, Upal  and
      Nigam, Shubham  and
      Guha, Shouvik  and
      Rudra, Koustav  and
      Ghosh, Kripabandhu",
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.831",
    pages = "12451--12474",
    abstract = "The Large Language Models (LLMs) have impacted many real-life tasks. To examine the efficacy of LLMs in a high-stake domain like law, we have applied state-of-the-art LLMs for two popular tasks: Statute Prediction and Judgment Prediction, on Indian Supreme Court cases. We see that while LLMs exhibit excellent predictive performance in Statute Prediction, their performance dips in Judgment Prediction when compared with many standard models. The explanations generated by LLMs (along with prediction) are of moderate to decent quality. We also see evidence of gender and religious bias in the LLM-predicted results. In addition, we present a note from a senior legal expert on the ethical concerns of deploying LLMs in these critical legal tasks.",
}

Contáctenos

Siéntase libre de escribir sus consultas o preguntas a kripaghosh[at]iiserkol[dot]ac[dot]in .