Legal LLM

羅馬尼亞議員

概述

羅馬尼亞議員是一個旨在創建專門從事羅馬尼亞法律領域的大型語言模型（LLM）的項目。該模型旨在通過根據羅馬尼亞法律文件理解和生成文本來協助各種法律任務。該項目使用擁抱Face圖書館的Equall/Saul-7B-Instruct-V1預先訓練的模型，該模型特別對憲法和教育法等羅馬尼亞法律文本進行了微調。

回購結構

documents/ ：包含用於培訓模型的文本文檔，包括羅馬尼亞憲法和教育法。

training_ds/ ：包含用於培訓目的的文本文檔生成的數據集文件。

env_llm.txt ：列出運行項目所需的依賴關係和環境設置。

main.py ：培訓和評估大語言模型（LLM）的主要腳本。

.gitignore ：指定git忽略的文件和目錄，以保持存儲庫清潔。

LawMate Romania/ ：包括聊天機器人腳本和屏幕截圖，展示了示例互動。

複製結果的步驟

1. 設置環境：

   • 確保您安裝了Python。
   • 通過運行安裝必要的依賴項：

     pip install -r env_llm.txt

2. 準備PDF文件：

   • 將PDF文件放在documents/目錄中。
   • 該腳本將自動從這些文件中提取和預處理文本。

3. 微調模型：

   • 運行主訓練腳本main.py以微調提供的數據集上的預訓練的LLM。

4. 評估並保存模型：

   • 訓練後，腳本將評估模型在驗證數據集上的性能。
   • 微調模型將保存以供將來使用。