luthor

Luthor：合法的抹布系統

概述

Luthor是為律師事務所設計的檢索型發電（RAG）系統，使律師能夠有效地“與他們的數據進行交談”。該系統允許法律專業人員將文檔（例如，備忘錄）上傳到存儲在Pinecone中的矢量數據庫中，並隨後使用使用Smarlit構建的類似聊天機器人的接口查詢此信息。

特徵

• 文檔上傳和處理（支持.txt，.pdf和.docx文件）
• 文本預處理和細分
• 使用OpenAI的API嵌入矢量嵌入生成
• 使用松果的有效文檔存儲和檢索
• 自然語言查詢界面
• 上下文感知的答案生成

成分

1. 數據加載器（ src/data_loader.py ）：處理讀取各種文件格式。
2. 預處理器（ src/preprocessor.py ）：準備用於嵌入和存儲的文本。
3. 主應用程序（ app.py ）：簡化文檔上傳和查詢的接口。
4. OpenAI實用程序：處理嵌入和回答生成的API交互。
5. Pinecone實用程序：管理矢量數據庫操作。

系統體系結構

Luthor使用容器化體系結構部署在AWS上：

• 帶有Fargate的Amazon ECS（彈性容器服務） ：運行Luthor應用程序容器。
• Amazon ECR（彈性容器註冊表） ：存儲Luthor應用程序的Docker映像。
• 應用程序負載平衡器：在多個實例上分發傳入流量。
• AWS Secrets Manager ：安全存儲並管理API鍵。

AWS基礎架構

• ECS群集：管理運行Luthor容器的Fargate任務。
• ECR存儲庫：託管Luthor Docker圖像。
• 應用程序負載平衡器：將流量路由到ECS任務。
• VPC和安全組：提供網絡隔離和安全性。
• IAM角色：管理ECS任務和其他AWS服務的權限。

設定

先決條件

• AWS帳戶
• AWS CLI配置了適當的權限
• Docker在本地安裝

安裝

1. 克隆存儲庫：

    git clone https://github.com/boemer00/luthor.git
   cd luthor
   

2. 構建Docker圖像：

    docker build -t luthor .
   

3. 將圖像推向亞馬遜ECR：

    aws ecr get-login-password --region [your-region] | docker login --username AWS --password-stdin [your-account-id].dkr.ecr.[your-region].amazonaws.com
   docker tag luthor:latest [your-account-id].dkr.ecr.[your-region].amazonaws.com/luthor:latest
   docker push [your-account-id].dkr.ecr.[your-region].amazonaws.com/luthor:latest
   

4. 設置AWS Secrets Manager：為OpenAI_API_KEY，PINECONE_API_KEY和PINECONE_ENVIRONMENT創建秘密。

5. 部署ECS任務定義：

    aws ecs register-task-definition --cli-input-json file://infrastructure/ecs-task-definition.json
   

6. 創建ECS服務：

    aws ecs create-service --cluster [your-cluster-name] --service-name luthor-service --task-definition luthor-app --desired-count 1 --launch-type FARGATE --network-configuration "awsvpcConfiguration={subnets=[subnet-xxxxxxxx,subnet-yyyyyyyy],securityGroups=[sg-xxxxxxxxxxxxxxxx]}" --load-balancers "targetGroupArn=arn:aws:elasticloadbalancing:[region]:[account-id]:targetgroup/[target-group-name]/[target-group-id],containerName=luthor-app,containerPort=8501"
   

用法

通過應用程序負載平衡器的DNS名稱訪問Luthor應用程序。

1. 文檔上傳：

   • 使用接口中的文件上傳器上傳法律文檔（.txt，.pdf或.docx）。
   • 該系統將處理文檔，生成嵌入並將其存儲在Pinecone中。

2. 查詢：

   • 在文本輸入字段中輸入您的法律查詢。
   • 可選地，使用側邊欄來完善您的搜索日期範圍，文檔類型或法定區域。
   • 該系統將檢索相關的文檔塊，生成答案並與源信息一起顯示。

局限性和未來的改進

• 當前，系統無法有效處理文檔重複數據刪除。
• 搜索完善選項（日期範圍，文檔類型，法律領域）在後端未完全實現。
• 可以改進錯誤處理和記錄，以更好地調試和用戶反饋。
• 該系統可以從更先進的NLP技術中受益，以更好地理解法律背景。
• 考慮根據流量模式為ECS服務實施自動縮放。
• 實施自動部署的CI/CD管道。

執照

版權所有。

該代碼和所有相關文件是Renato Boemer的獨家屬性。未經Renato Boemer事先書面許可，可以以任何形式或任何方式以任何形式或任何方式以任何形式或任何方式複制，修改，改編，存儲在檢索系統中或傳輸。