LLM_Legal_Prompt_Generation

LLMS - O bom, o ruim ou o indispensável?: Um caso de uso sobre previsão de estatuto legal e previsão de julgamento legal em processos judiciais indianos

Este repositório contém os dados e códigos relevantes para o artigo 'LLMS - o bom, o ruim ou o indispensável?: Um caso de uso sobre previsão legal de estatutos e previsão de julgamento legal nos casos judiciais indianos aceitos nas conclusões da conferência EMNLP 2023.

Aqui está uma árvore de diretório.

 LLM_Legal_Prompt_Generation
├── Judgment Prediction
│   ├── LLM
│   │   ├── Codes
│   │   │   ├── jp.py
│   │   │   ├── jpe.py
│   │   ├── Datasets
│   │   │   ├── JP.csv
│   │   │   ├── JPE.csv
│   │   │   ├── JPE_with_pet_res.csv
│   │   │   ├── JP_with_pet_res.csv
│   │   ├── readme.md
│   ├── Transformer based Models
│   │   ├── Codes
│   │   │   ├── Evalution on ILDC expert dataset.ipynb
│   │   │   ├── Legal_judgment_training_with_transformers.py
│   │   ├── Datasets
│   │   │   ├── readme.md
│   ├── surname_wordlist
│   │   ├── hindu_surname_file.txt
│   │   ├── muslim_surname_file.txt
├── Statute Prediction
│   ├── Baseline Models
│   │   ├── data_generator.py
│   │   ├── evaluate.py
│   │   ├── metrics.py
│   │   ├── train.py
│   │   ├── utils.py
│   │   ├── Model
│   │   │   ├── Multi-label Classification
│   │   │   │   ├── net.py
│   │   │   ├── Binary Classification
│   │   │   │   ├── net.py
│   │   ├── Experiments
│   │   │   ├── params
│   │   │   │   ├── params_inlegalbert.json
│   │   │   │   ├── params_legalbert.json
│   │   │   │   ├── params_xlnet.json
│   ├── LLM
│   │   ├── Codes
│   │   │   ├── ALL TASK CODE.ipynb
│   │   │   ├── ALL TASK CODE.py
│   │   ├── Datasets
│   │   │   ├── 13_Cases_Gender and Bias Prediction_with explanations.csv
│   │   │   ├── 245cases.csv
│   │   │   ├── Gender and Religion Bias cases.csv
│   │   │   ├── query.csv
│   │   │   ├── statute_pred_100_cases_without_exp-gender_religion_bias.csv
│   │   │   ├── statute_pred_100_cases_without_exp.csv
│   │   │   ├── statute_pred_45_cases_with_exp.csv
│   │   │   ├── statute_pred_45_cases_without_exp.csv
│   │   ├── readme.md
├── README.md

Resumo

Os grandes modelos de linguagem (LLMs) impactaram muitas tarefas da vida real. Para examinar a eficácia do LLMS em um domínio de alta participação, como a lei, aplicamos o LLMS de última geração para duas tarefas populares: previsão de estatutos e previsão de julgamento , em casos da Suprema Corte indiana. Vemos que, embora os LLMs exibam excelente desempenho preditivo na previsão de estatutos, seu desempenho apaga na previsão de julgamento quando comparado com muitos modelos padrão. As explicações geradas pelo LLMS (juntamente com a previsão) são de qualidade moderada a decente. Também vemos evidências de gênero e preconceito religioso nos resultados previstos de LLM. Além disso, apresentamos uma nota de um especialista jurídico sênior sobre as preocupações éticas de implantar LLMs nessas tarefas legais críticas.

Autores

Shaurya Vats, Atharva Zope, Somsubhra de, Anurag Sharma, Upal Bhattacharya, Shubham Kumar Nigam, Shouvik Kumar Guha, Koustav Rudra, Kripabandhu Ghosh

Citação

 @inproceedings{vats-etal-2023-llms,
    title = "{LLM}s {--} the Good, the Bad or the Indispensable?: A Use Case on Legal Statute Prediction and Legal Judgment Prediction on {I}ndian Court Cases",
    author = "Vats, Shaurya  and
      Zope, Atharva  and
      De, Somsubhra  and
      Sharma, Anurag  and
      Bhattacharya, Upal  and
      Nigam, Shubham  and
      Guha, Shouvik  and
      Rudra, Koustav  and
      Ghosh, Kripabandhu",
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.831",
    pages = "12451--12474",
    abstract = "The Large Language Models (LLMs) have impacted many real-life tasks. To examine the efficacy of LLMs in a high-stake domain like law, we have applied state-of-the-art LLMs for two popular tasks: Statute Prediction and Judgment Prediction, on Indian Supreme Court cases. We see that while LLMs exhibit excellent predictive performance in Statute Prediction, their performance dips in Judgment Prediction when compared with many standard models. The explanations generated by LLMs (along with prediction) are of moderate to decent quality. We also see evidence of gender and religious bias in the LLM-predicted results. In addition, we present a note from a senior legal expert on the ethical concerns of deploying LLMs in these critical legal tasks.",
}

Contate-nos

Sinta -se à vontade para escrever suas perguntas ou perguntas para kripaghosh[at]iiserkol[dot]ac[dot]in .