LLM_Legal_Prompt_GenerationダウンロードLLM_Legal_Prompt_Generationソースコードダウンロード

LLM_Legal_Prompt_Generation

AI ソースコード

1.0.0

ダウンロード

LLMS - 善、悪い、または不可欠なもの？：法的法律の予測とインドの裁判に関する法的判断予測に関するユースケース

このリポジトリには、関連するデータとコード「LLMS - 良い、悪いもの、または不可欠なコードが含まれています。：EMNLP 2023会議の調査結果に受け入れられた、インドの裁判に関する法律法の予測と法的判決の予測に関するユースケースが含まれています。

これがディレクトリツリーです。

 LLM_Legal_Prompt_Generation
├── Judgment Prediction
│   ├── LLM
│   │   ├── Codes
│   │   │   ├── jp.py
│   │   │   ├── jpe.py
│   │   ├── Datasets
│   │   │   ├── JP.csv
│   │   │   ├── JPE.csv
│   │   │   ├── JPE_with_pet_res.csv
│   │   │   ├── JP_with_pet_res.csv
│   │   ├── readme.md
│   ├── Transformer based Models
│   │   ├── Codes
│   │   │   ├── Evalution on ILDC expert dataset.ipynb
│   │   │   ├── Legal_judgment_training_with_transformers.py
│   │   ├── Datasets
│   │   │   ├── readme.md
│   ├── surname_wordlist
│   │   ├── hindu_surname_file.txt
│   │   ├── muslim_surname_file.txt
├── Statute Prediction
│   ├── Baseline Models
│   │   ├── data_generator.py
│   │   ├── evaluate.py
│   │   ├── metrics.py
│   │   ├── train.py
│   │   ├── utils.py
│   │   ├── Model
│   │   │   ├── Multi-label Classification
│   │   │   │   ├── net.py
│   │   │   ├── Binary Classification
│   │   │   │   ├── net.py
│   │   ├── Experiments
│   │   │   ├── params
│   │   │   │   ├── params_inlegalbert.json
│   │   │   │   ├── params_legalbert.json
│   │   │   │   ├── params_xlnet.json
│   ├── LLM
│   │   ├── Codes
│   │   │   ├── ALL TASK CODE.ipynb
│   │   │   ├── ALL TASK CODE.py
│   │   ├── Datasets
│   │   │   ├── 13_Cases_Gender and Bias Prediction_with explanations.csv
│   │   │   ├── 245cases.csv
│   │   │   ├── Gender and Religion Bias cases.csv
│   │   │   ├── query.csv
│   │   │   ├── statute_pred_100_cases_without_exp-gender_religion_bias.csv
│   │   │   ├── statute_pred_100_cases_without_exp.csv
│   │   │   ├── statute_pred_45_cases_with_exp.csv
│   │   │   ├── statute_pred_45_cases_without_exp.csv
│   │   ├── readme.md
├── README.md

抽象的な

大規模な言語モデル（LLM）は、多くの現実のタスクに影響を与えています。法律のような高ステークドメインでのLLMの有効性を調べるために、インドの最高裁判所の訴訟で、法令の予測と判断予測という2つの一般的なタスクに最先端のLLMを適用しました。 LLMSは法令予測で優れた予測パフォーマンスを示しますが、多くの標準モデルと比較した場合、彼らのパフォーマンスは判断予測に低下します。 LLMSによって生成された説明（予測とともに）は、中程度からまともな品質です。また、LLM予測の結果において性別と宗教的偏見の証拠も見ています。さらに、これらの重要な法的課題にLLMを展開することの倫理的懸念に関する上級法律専門家からのメモを提示します。

著者

Shaurya Vats、Atharva Zope、Somsubhra de、Anurag Sharma、Upal Bhattacharya、Shubham Kumar Nigam、Shouvik Kumar Guha、Koustav Rudra、Kripabandhu Ghosh

引用

 @inproceedings{vats-etal-2023-llms,
    title = "{LLM}s {--} the Good, the Bad or the Indispensable?: A Use Case on Legal Statute Prediction and Legal Judgment Prediction on {I}ndian Court Cases",
    author = "Vats, Shaurya  and
      Zope, Atharva  and
      De, Somsubhra  and
      Sharma, Anurag  and
      Bhattacharya, Upal  and
      Nigam, Shubham  and
      Guha, Shouvik  and
      Rudra, Koustav  and
      Ghosh, Kripabandhu",
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2023",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.findings-emnlp.831",
    pages = "12451--12474",
    abstract = "The Large Language Models (LLMs) have impacted many real-life tasks. To examine the efficacy of LLMs in a high-stake domain like law, we have applied state-of-the-art LLMs for two popular tasks: Statute Prediction and Judgment Prediction, on Indian Supreme Court cases. We see that while LLMs exhibit excellent predictive performance in Statute Prediction, their performance dips in Judgment Prediction when compared with many standard models. The explanations generated by LLMs (along with prediction) are of moderate to decent quality. We also see evidence of gender and religious bias in the LLM-predicted results. In addition, we present a note from a senior legal expert on the ethical concerns of deploying LLMs in these critical legal tasks.",
}