luthor

Luthor：合法的抹布系统

概述

Luthor是为律师事务所设计的检索型发电（RAG）系统，使律师能够有效地“与他们的数据进行交谈”。该系统允许法律专业人员将文档（例如，备忘录）上传到存储在Pinecone中的矢量数据库中，并随后使用使用Smarlit构建的类似聊天机器人的接口查询此信息。

特征

• 文档上传和处理（支持.txt，.pdf和.docx文件）
• 文本预处理和细分
• 使用OpenAI的API嵌入矢量嵌入生成
• 使用松果的有效文档存储和检索
• 自然语言查询界面
• 上下文感知的答案生成

成分

1. 数据加载器（ src/data_loader.py ）：处理读取各种文件格式。
2. 预处理器（ src/preprocessor.py ）：准备用于嵌入和存储的文本。
3. 主应用程序（ app.py ）：简化文档上传和查询的接口。
4. OpenAI实用程序：处理嵌入和回答生成的API交互。
5. Pinecone实用程序：管理矢量数据库操作。

系统体系结构

Luthor使用容器化体系结构部署在AWS上：

• 带有Fargate的Amazon ECS（弹性容器服务） ：运行Luthor应用程序容器。
• Amazon ECR（弹性容器注册表） ：存储Luthor应用程序的Docker映像。
• 应用程序负载平衡器：在多个实例上分发传入流量。
• AWS Secrets Manager ：安全存储并管理API键。

AWS基础架构

• ECS群集：管理运行Luthor容器的Fargate任务。
• ECR存储库：托管Luthor Docker图像。
• 应用程序负载平衡器：将流量路由到ECS任务。
• VPC和安全组：提供网络隔离和安全性。
• IAM角色：管理ECS任务和其他AWS服务的权限。

设置

先决条件

• AWS帐户
• AWS CLI配置了适当的权限
• Docker在本地安装

安装

1. 克隆存储库：

    git clone https://github.com/boemer00/luthor.git
   cd luthor
   

2. 构建Docker图像：

    docker build -t luthor .
   

3. 将图像推向亚马逊ECR：

    aws ecr get-login-password --region [your-region] | docker login --username AWS --password-stdin [your-account-id].dkr.ecr.[your-region].amazonaws.com
   docker tag luthor:latest [your-account-id].dkr.ecr.[your-region].amazonaws.com/luthor:latest
   docker push [your-account-id].dkr.ecr.[your-region].amazonaws.com/luthor:latest
   

4. 设置AWS Secrets Manager：为OpenAI_API_KEY，PINECONE_API_KEY和PINECONE_ENVIRONMENT创建秘密。

5. 部署ECS任务定义：

    aws ecs register-task-definition --cli-input-json file://infrastructure/ecs-task-definition.json
   

6. 创建ECS服务：

    aws ecs create-service --cluster [your-cluster-name] --service-name luthor-service --task-definition luthor-app --desired-count 1 --launch-type FARGATE --network-configuration "awsvpcConfiguration={subnets=[subnet-xxxxxxxx,subnet-yyyyyyyy],securityGroups=[sg-xxxxxxxxxxxxxxxx]}" --load-balancers "targetGroupArn=arn:aws:elasticloadbalancing:[region]:[account-id]:targetgroup/[target-group-name]/[target-group-id],containerName=luthor-app,containerPort=8501"
   

用法

通过应用程序负载平衡器的DNS名称访问Luthor应用程序。

1. 文档上传：

   • 使用接口中的文件上传器上传法律文档（.txt，.pdf或.docx）。
   • 该系统将处理文档，生成嵌入并将其存储在Pinecone中。

2. 查询：

   • 在文本输入字段中输入您的法律查询。
   • 可选地，使用侧边栏来完善您的搜索日期范围，文档类型或法定区域。
   • 该系统将检索相关的文档块，生成答案并与源信息一起显示。

局限性和未来的改进

• 当前，系统无法有效处理文档重复数据删除。
• 搜索完善选项（日期范围，文档类型，法律领域）在后端未完全实现。
• 可以改进错误处理和记录，以更好地调试和用户反馈。
• 该系统可以从更先进的NLP技术中受益，以更好地理解法律背景。
• 考虑根据流量模式为ECS服务实施自动缩放。
• 实施自动部署的CI/CD管道。

执照

版权所有。

该代码和所有相关文件是Renato Boemer的独家属性。未经Renato Boemer事先书面许可，可以以任何形式或任何方式以任何形式或任何方式以任何形式或任何方式复制，修改，改编，存储在检索系统中或传输。