Legal LLM

ローメイトルーマニア

概要

Lawmate Romaniaは、ルーマニアの法的領域に特化した大規模な言語モデル（LLM）の作成に焦点を当てたプロジェクトです。このモデルは、ルーマニアの法的文書に基づいてテキストを理解し、生成することにより、さまざまな法的タスクを支援するように設計されています。このプロジェクトでは、Faceの図書館を抱きしめることから、等式/SAUL-7B-Instruct-V1事前訓練を受けたモデルを使用しています。

レポ構造

documents/ ：ルーマニア憲法や教育法を含むモデルのトレーニングに使用されるテキスト文書が含まれています。

training_ds/ ：トレーニング目的でテキストドキュメントから生成されたデータセットファイルが含まれています。

env_llm.txt ：プロジェクトの実行に必要な依存関係と環境設定をリストします。

main.py ：大規模な言語モデル（LLM）をトレーニングおよび評価するためのメインスクリプト。

.gitignore ：リポジトリを清潔に保つために、Gitによって無視されるファイルとディレクトリを指定します。

LawMate Romania/ ：相互作用の例を示すチャットボットスクリプトとスクリーンショットが含まれています。

結果を複製する手順

1. 環境を設定します：

   • Pythonがインストールされていることを確認してください。
   • 実行して、必要な依存関係をインストールします。

     pip install -r env_llm.txt

2. PDFファイルを準備してください。

   • PDFファイルをdocuments/ディレクトリに配置します。
   • スクリプトは、これらのファイルからテキストを自動的に抽出および前処理します。

3. モデルを微調整します：

   • メイントレーニングスクリプトmain.pyを実行して、提供されたデータセットで事前に訓練されたLLMを微調整します。

4. モデルを評価して保存します。

   • トレーニング後、スクリプトは検証データセットでモデルのパフォーマンスを評価します。
   • 微調整されたモデルは、将来の使用のために保存されます。