lawyer llama

[ZH] [EN]

Lawyer LLaMA

通過指令微調，LLaMA 模型在通用領域展現出了非常好的表現。但由於缺少合適的數據，少有人探究LLaMA在法律領域的能力。為了彌補這一空白，我們提出了Lawyer LLaMA，一個在法律領域數據上進行了額外訓練的模型。

Lawyer LLaMA 首先在大規模法律語料上進行了continual pretraining，讓它系統的學習中國的法律知識體系。 在此基礎上，我們藉助ChatGPT收集了一批對中國國家統一法律職業資格考試客觀題（以下簡稱法考）的分析和對法律諮詢的回答，利用收集到的數據對模型進行指令微調，讓模型習得將法律知識應用到具體場景中的能力。

我們的模型能夠：

1. 掌握中國法律知識：能夠正確的理解民法、刑法、行政法、訴訟法等常見領域的法律概念。例如，掌握了刑法中的犯罪構成理論，能夠從刑事案件的事實描述中識別犯罪主體、犯罪客體、犯罪行為、主觀心理狀態等犯罪構成要件。模型利用學到的法律概念與理論，能夠較好回答法考中的大部分題目。

2. 應用於中國法律實務：能夠以通俗易懂的語言解釋法律概念，並且進行基礎的法律諮詢，涵蓋婚姻、借貸、海商、刑事等法律領域。

為了給中文法律大模型的開放研究添磚加瓦，本項目將開源一系列法律領域的指令微調數據和基於LLaMA訓練的中文法律大模型的參數。

新聞

[2024/4/25] ? 發布了新版Lawyer LLaMA 2 ( lawyer-llama-13b-v2 )模型參數，以及更高質量的法律指令微調數據。

[2023/10/14] 更新了Lawyer LLaMA技術報告Lawyer LLaMA: Enhancing LLMs with Legal Knowledge ，提供了更多的技術細節和研究發現。

[2023/6/8] 開源了lawyer-llama-13b-beta1.0模型參數。

[2023/5/25] 開源了更大規模的指令微調數據，發布了包含和用戶問題相關法條的對話數據。

[2023/5/25] 發布了Lawyer LLaMA技術報告。

[2023/4/13] 開源了由ChatGPT生成的指令微調數據，包含2k條法考題目的解答及5k條法律諮詢回复。

訓練數據

法律領域純文本語料

我們收集了部分公開的法律數據用於模型的continual training，包括法律條文、裁判文書等。

通用指令微調數據

Alpaca-GPT4 52k 中文，52k 英文。

法律指令微調數據

開源數據概覽

文件名	規模	描述
? fakao_gpt4.json	1,000	GPT-4生成的法考題解答
? zixun_gpt4.json	1,000	GPT-4基於法條生成的法律諮詢回复
judical_examination.json	2,000	GPT-3.5生成的法考題解答
judical_examination_v2.json	5,000	GPT-3.5生成的法考題解答（第二批）
legal_advice.json	5,000	GPT-3.5生成的法律諮詢回复
legal_counsel_v2.json	8,000	GPT-3.5生成的法律諮詢回复（第二批）
legal_counsel_with_article_v2.json	1,000	GPT-3.5基於法條生成的法律諮詢回复
legal_counsel_multi_turn_with_article_v2.json	476	GPT-3.5基於法條生成的多輪法律諮詢對話

在Lawyer LLaMA 2 ( lawyer-llama-13b-v2 )的訓練中我們使用了新版的法律微調數據，以下是一些新舊數據的對比。

法考數據

我們將JEC-QA中國法考數據集中的試題輸入ChatGPT，讓其生成對每個答案的解析。

以下對比了新舊版本Lawyer LLaMA使用的數據：

GPT-3.5生成

? GPT-4生成

問題：根據《物權法》，下列關於物權變動的特別規定，表述正確嗎？ 因繼承或者受遺贈取得物權的，自繼承或者受遺贈開始時發生效力請給出詳細的推理過程之後再給出答案。 回复：這個表述是正確的。 根據《物權法》第X條規定：“因繼承或者受遺贈取得物權的，自繼承或者受遺贈開始時發生效力。”這意味著，當一個人通過繼承或受遺贈獲得物權時，這個物權的效力是從繼承或受遺贈開始時就生效的，而不是從物權轉移的時間開始生效。這是因為，繼承或受遺贈是一種法定的方式來獲得物權，因此，物權的效力應該從這個法定的時間點開始生效。

問題：情景分析：張某欠李某2萬元，張某有一輛出租車價值4萬元，現張某將該車贈與其友王五；李某發現張某無其他值錢的東西，這一贈與會影響張某償還債務，於是向法院起訴請求撤銷張某的贈與行為。法院對該贈與行為的效力應認定。 回复：張某欠李某2萬元，而張某將其價值4萬元的出租車贈與給王五，這一行為在法律上可能構成惡意轉移財產，目的在於逃避債務。李某因此向法院提起訴訟，請求撤銷張某的贈與行為，以保護自己的債權不受損害。 首先，根據《中華人民共和國民法典》第二百五十四條規定，債務人惡意轉移財產，損害債權人利益的，債權人有權請求人民法院撤銷債務人的行為。在本案中，張某的贈與行為可能被視為惡意轉移財產，因為這一行為發生在張某欠債的情況下，且張某無其他值錢的東西，這一贈與行為很可能導致李某的債權無法實現。 其次，根據《中華人民共和國民法典》第二百五十五條規定，請求撤銷權的行使，不得損害善意第三人的權益。然而，在本案中，王五作為接受贈與的一方，是否具有善意以及是否知道張某的贈與行為會損害債權人（李某）的利益，對於判斷贈與行為是否有效是關鍵。如果王五知道張某的贈與行為是為了逃避償還債務而進行的，則王五不能被視為善意第三人。 因此，結合上述分析，張某的贈與行為損害了債權人李某的利益，且在債務人惡意轉移財產的情況下進行，根據《中華人民共和國民法典》相關規定，法院應當認定該贈與行為無效。這樣的判決旨在保護債權人的利益，防止債務人通過轉移財產逃避債務的行為。因此，法院對該贈與行為的效力應認定為無效。

法律諮詢

我們從開放數據集中收集了一些諮詢問題，輸入ChatGPT，讓ChatGPT扮演律師解答問題。將相關法條一同輸入，可以提升ChatGPT生成的質量。

以下對比了新舊版本Lawyer LLaMA使用的數據：

GPT-3.5生成

? GPT-4生成

問題：你好，離婚後夫妻的財產是怎麼分配的 回复：您好，根據《民法典》的相關規定，離婚後夫妻的財產分配可以通過夫妻雙方協商處理，如果沒有協商一致，則需要由法院根據財產的具體情況，按照照顧子女、女方和無過錯方權益的原則進行判決。對於夫妻在婚姻關係存續期間所得的共同財產，包括工資、獎金、勞務報酬、生產、經營、投資的收益、知識產權的收益、繼承或者受贈的財產以及其他應當歸共同所有的財產，應當平分。而夫妻在婚姻關係存續期間所獲得的個人財產，包括婚前財產、因受到人身損害獲得的賠償或者補償、遺囑或者贈與合同中確定只歸一方的財產、一方專用的生活用品，應當歸該方所有。請問你們在婚姻關係存續期間所得的財產情況如何呢？

問題：我老公經常不回家，我知道他在外面有人，同時干了許多壞事，一年365天，這個情況怎麼辦呢？ 回复：根據您提供的情況，您老公長期不回家且外面有其他人，這可能觸及到《民法典》第一千零四十二條中關於“禁止有配偶者與他人同居”的規定。若您的老公確實與他人同居，這在法律上構成違法行為，您作為受害一方，有權採取相應的法律行動。 首先，您需要收集證據。這包括但不限於您老公與他人同居的證據、他不回家的時間以及他所做的“許多壞事”的相關證據。證據可以是照片、視頻、通訊記錄、目擊者的證詞等，這對於您後續的法律行動至關重要。 其次，若您老公的行為給您造成了精神傷害或經濟損失，根據《民法典》的相關規定，您可以要求賠償。婚姻法內還規定了夫妻之間忠誠的義務，一旦違反，受損害一方有權要求精神損害賠償。 第三，考慮到您提到的您老公“乾了許多壞事”，具體情況需要進一步明確。這些行為是涉及違法犯罪還是道德層面的“壞事”？如果涉及違法犯罪，您可以考慮向相關部門舉報。這不僅是維護自己權益的行為，也是對社會責任的履行。 最後，關於是否結束婚姻，這是一個需要認真考慮的問題。不忠是許多人選擇離婚的重要原因之一，根據您收集的證據，如果決定採取此步驟，可以向人民法院提起離婚訴訟，請求分割夫妻共同財產、爭取子女撫養權（如果有）等。 在這個過程中，考慮到法律問題的複雜性，您可能需要尋求專業律師的幫助，他們可以為您提供更專業的法律意見，並代表您進行訴訟活動。 總而言之，您面臨的情況較為複雜，但您完全有權利採取行動保護自己的合法權益。關鍵在於蒐集證據、評估情況，並在必要時尋求專業法律幫助。

模型參數

目前公開了以下版本的Lawyer LLaMA：

• ? lawyer-llama-13b-v2 : 以quzhe/llama_chinese_13B（對LLaMA-2進行了中文持續預訓練）為基礎，使用通用instruction和GPT-4生成的法律instruction進行SFT，配有婚姻相關法律檢索模塊。下載地址和使用方法見demo/run_inference_v2.md 。
• lawyer-llama-13b-beta1.0 : 以Chinese-LLaMA-13B為基礎，使用通用instruction和GPT-3.5生成的法律instruction進行SFT，配有婚姻相關法律檢索模塊。下載地址和使用方法見demo/run_inference_v1.md 。

系統效果

自動評測

我們使用Chain-of-Discussion中的200條婚姻家事相關的諮詢問題，對以下模型進行測試：

• ? Lawyer LLaMA 2 ( lawyer-llama-13b-v2 )
• Lawyer LLaMA 1 ( lawyer-llama-13b-beta1.0 )
• DISC-LawLLM
• GPT-3.5-Turbo
• Gemini-1.0-Pro

使用GPT-4對諮詢回复質量打分（滿分10分）。在評分的過程中，我們要求GPT-4模型圍繞著文本的流暢性、邏輯性、是否引用了無關法條、是否與律師撰寫的金標準回复在語義上一致等角度進行評分。各模型表現如下：

模型	得分
? Lawyer LLaMA 2	6.71
Lawyer LLaMA 1	5.61
DISC-LawLLM	5.70
GPT-3.5-Turbo	6.90
Gemini-1.0-Pro	6.94

關於舊版模型lawyer-llama-13b-beta1.0的表現，請參考舊版README.

輸出樣例

下面展示了Lawyer LLaMA 2、Lawyer LLaMA 1和DISC-LawLLM對於同一問題的輸出。

問題：沒有贍養老人就無法繼承財產嗎？

相關法條：

1. 《民法典》第一千一百三十條：同一順序繼承人繼承遺產的份額，一般應當均等。對生活有特殊困難又缺乏勞動能力的繼承人，分配遺產時，應當予以照顧。對被繼承人盡了主要扶養義務或者與被繼承人共同生活的繼承人，分配遺產時，可以多分。有扶養能力和有扶養條件的繼承人，不盡扶養義務的，分配遺產時，應當不分或者少分。繼承人協商同意的，也可以不均等。
2. 《民法典》第一千一百二十五條：繼承人有下列行為之一的，喪失繼承權：（一）故意殺害被繼承人；（二）為爭奪遺產而殺害其他繼承人；（三）遺棄被繼承人，或者虐待被繼承人情節嚴重；（四）偽造、篡改、隱匿或者銷毀遺囑，情節嚴重；（五）以欺詐、脅迫手段迫使或者妨礙被繼承人設立、變更或者撤回遺囑，情節嚴重。繼承人有前款第三項至第五項行為，確有悔改表現，被繼承人表示寬恕或者事後在遺囑中將其列為繼承人的，該繼承人不喪失繼承權。受遺贈人有本條第一款規定行為的，喪失受遺贈權。
3. 《民法典》第一千一百二十七條：遺產按照下列順序繼承：（一）第一順序：配偶、子女、父母；（二）第二順序：兄弟姐妹、祖父母、外祖父母。繼承開始後，由第一順序繼承人繼承，第二順序繼承人不繼承；沒有第一順序繼承人繼承的，由第二順序繼承人繼承。本編所稱子女，包括婚生子女、非婚生子女、養子女和有扶養關係的繼子女。本編所稱父母，包括生父母、養父母和有扶養關係的繼父母。本編所稱兄弟姐妹，包括同父母的兄弟姐妹、同父異母或者同母異父的兄弟姐妹、養兄弟姐妹、有扶養關係的繼兄弟姐妹。

模型輸出：

DISC-LawLLM	Lawyer LLaMA 1	? Lawyer LLaMA 2
GPT-4評分：4分<br>根據《民法典》規定，子女對父母有贍養扶助的義務。如果成年子女不履行贍養義務的話，缺乏勞動能力或者生活困難的父母，有要求成年子女給付贍養費的權利。所以，在法律上，未盡到贍養老人的義務是會喪失繼承權的。 但是需要注意的是，是否存在“喪失繼承權”的情況應當由法院根據具體案件情況來進行認定，而不能直接將所有未贍養老人的行為一概而論。	GPT-4評分：3分<br>您好，根據中國的法律規定，沒有贍養老人就不能成為繼承人，但是如果被繼承人已經去世，其財產將按照法定繼承順序分配給合法的繼承人。同時，如果被繼承人在生前曾經給予過撫養或扶養，則在分配遺產時，可以給予一定的照顧。此外，如果被繼承人遺囑中有關於財產分配的規定，則應按照遺囑執行。請問您的具體情況是什麼呢？	GPT-4評分：8分<br>依據您的諮詢，關於是否因為沒有贍養老就不能繼承財產的問題，我們可以從《民法典》的相關規定進行分析。 首先，根據《民法典》第一千一百三十條的規定，繼承人在繼承遺產時，如果對被繼承人盡了主要扶養義務或者與被繼承人共同生活的繼承人，可以多分遺產。這意味著，如果繼承人在被繼承人生前對其進行了經濟上的支持或生活上的照料，那麼在繼承遺產時可能會得到更多的份額。 其次，《民法典》第一千一百二十五條明確指出，繼承人有遺棄被繼承人，或者虐待被繼承人情節嚴重的，將喪失繼承權。這表明，如果繼承人在被繼承人生前對其進行了遺棄或虐待，導致其生活處於困境，那麼在繼承遺產時可能會受到限制。 然而，《民法典》並沒有直接規定說沒有贍養老就不能繼承財產。繼承權的獲取主要基於血緣關係和法律規定的繼承人范圍，而不是直接取決於贍養老的行為。因此，即使在沒有履行贍養老義務的情況下，繼承人仍然有權繼承遺產。 綜上所述，雖然贍養老行為可能會影響繼承權的行使，但不贍養老並不直接剝奪繼承權。繼承權的獲得主要取決於血緣關係和法律規定的繼承人資格。如果您有繼承權的疑問，建議詳細了解自己的繼承權情況，並考慮是否有遺棄或虐待行為，以免影響繼承權利的行使。

致謝

本項目的開放過程中，獲得了以下項目的幫助，在此表示感謝。

https://jecqa.thunlp.org/

https://opendata.pku.edu.cn/dataset.xhtml?persistentId=doi:10.18170/DVN/OLO4G8

https://github.com/tatsu-lab/stanford_alpaca

https://github.com/LianjiaTech/BELLE

https://github.com/ymcui/Chinese-LLaMA-Alpaca

https://github.com/pointnetwork/point-alpaca

本項目主要貢獻人員：

黃曲哲*，陶銘緒*，張晨*，安震威*，姜聰，陳智斌，伍子睿，馮岩松

* Equal Contribution

本項目是在馮岩松教授的指導下進行的。

社區貢獻

不少開發者對Lawyer LLaMA的部署使用進行了分享，在此表示感謝。相關社區貢獻列舉如下：

• 在通過命令行部署模型時，使用nginx反向代理訪問此服務，可參考https://github.com/LeetJoe/lawyer-llama/blob/main/demo/nginx_proxy.md （Credit to @LeetJoe）
• 對lawyer-llama-13b-v2進行Q4量化並通過ollama部署，可參考#66 (Credit to @yangxiaoshuai2333)

局限性和使用限制

本項目內容僅供用於學術研究，不得用於商業以及其他會對社會帶來危害的用途。使用涉及第三方代碼的部分時，請嚴格遵循相應的開源協議。

本項目中使用的數據由ChatGPT生成，未經嚴格驗證，可能會存在錯誤內容，在使用時請注意甄別。

本項目中的模型輸出並非專業法律諮詢結果，可能會包含錯誤內容。如需法律援助，請從專業人士處獲得幫助。

引用

如果您使用了本項目的內容，或者認為本項目對您的研究有幫助，請引用本項目。

 @misc{huang2023lawyer,
      title={Lawyer LLaMA Technical Report}, 
      author={Quzhe Huang and Mingxu Tao and Chen Zhang and Zhenwei An and Cong Jiang and Zhibin Chen and Zirui Wu and Yansong Feng},
      year={2023},
      eprint={2305.15062},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{Lawyer-LLama,
  title={Lawyer Llama},
  author={Quzhe Huang and Mingxu Tao and Chen Zhang and Zhenwei An and Cong Jiang and Zhibin Chen and Zirui Wu and Yansong Feng},
  year={2023},
  publisher={GitHub},
  journal={GitHub repository},
  howpublished={url{https://github.com/AndrewZhe/lawyer-llama}},
}