luthor

Luthor : 법적 헝겊 시스템

개요

Luthor는 법률 회사가 변호사가 효율적으로 "데이터와 대화 할 수 있도록 설계된 RAG (Recrever-Augmented Generation) 시스템입니다. 이 시스템을 사용하면 법률 전문가가 Pinecone에 저장된 벡터 데이터베이스에 문서 (예 : 메모)를 업로드 한 다음 Streamlit과 함께 구축 된 챗봇과 유사한 인터페이스를 사용 하여이 정보를 쿼리 할 수 ​​있습니다.

특징

• 문서 업로드 및 처리 (지원 .txt, .pdf 및 .docx 파일)
• 텍스트 전처리 및 세분화
• OpenAI의 API를 사용한 벡터 임베딩 생성
• Pinecone을 사용하여 효율적인 문서 저장 및 검색
• 자연어 쿼리 인터페이스
• 맥락 인식 답변 세대

구성 요소

1. Data Loader ( src/data_loader.py ) : 다양한 파일 형식을 읽는다.
2. 사전 처리기 ( src/preprocessor.py ) : 임베딩 및 저장을위한 텍스트를 준비합니다.
3. 기본 응용 프로그램 ( app.py ) : 문서 업로드 및 쿼리를위한 간소화 인터페이스.
4. OpenAi 유틸리티 : 임베딩 및 답변 세대에 대한 API 상호 작용을 처리합니다.
5. PENECONE 유틸리티 : 벡터 데이터베이스 작업을 관리합니다.

시스템 아키텍처

Luthor는 컨테이너화 된 아키텍처를 사용하여 AWS에 배치됩니다.

• Fargate와 함께 Amazon ECS (Elastic Container Service) : Luthor 응용 프로그램 컨테이너를 실행합니다.
• Amazon ECR (Elastic Container Registry) : Luthor 응용 프로그램의 Docker 이미지를 저장합니다.
• 애플리케이션로드 밸런서 : 여러 인스턴스에 걸쳐 들어오는 트래픽을 배포합니다.
• AWS Secrets Manager : API 키를 안전하게 저장하고 관리합니다.

AWS 인프라

• ECS 클러스터 : Luthor 컨테이너를 실행하는 Fargate 작업을 관리합니다.
• ECR 저장소 : Luthor Docker Image를 호스팅합니다.
• 애플리케이션로드 밸런서 : 트래픽을 ECS 작업으로 라우팅합니다.
• VPC 및 보안 그룹 : 네트워크 격리 및 보안을 제공합니다.
• IAM 역할 : ECS 작업 및 기타 AWS 서비스에 대한 권한 관리.

설정

전제 조건

• AWS 계정
• AWS CLI는 적절한 권한으로 구성되었습니다
• Docker는 로컬로 설치했습니다

설치

1. 저장소 복제 :

    git clone https://github.com/boemer00/luthor.git
   cd luthor
   

2. Docker 이미지 구축 :

    docker build -t luthor .
   

3. 이미지를 Amazon ECR로 푸시하십시오.

    aws ecr get-login-password --region [your-region] | docker login --username AWS --password-stdin [your-account-id].dkr.ecr.[your-region].amazonaws.com
   docker tag luthor:latest [your-account-id].dkr.ecr.[your-region].amazonaws.com/luthor:latest
   docker push [your-account-id].dkr.ecr.[your-region].amazonaws.com/luthor:latest
   

4. AWS Secrets Manager 설정 : OpenAi_api_key, Pinecone_api_key 및 Pinecone_environment의 비밀을 만듭니다.

5. ECS 작업 정의 배포 :

    aws ecs register-task-definition --cli-input-json file://infrastructure/ecs-task-definition.json
   

6. ECS 서비스 생성 :

    aws ecs create-service --cluster [your-cluster-name] --service-name luthor-service --task-definition luthor-app --desired-count 1 --launch-type FARGATE --network-configuration "awsvpcConfiguration={subnets=[subnet-xxxxxxxx,subnet-yyyyyyyy],securityGroups=[sg-xxxxxxxxxxxxxxxx]}" --load-balancers "targetGroupArn=arn:aws:elasticloadbalancing:[region]:[account-id]:targetgroup/[target-group-name]/[target-group-id],containerName=luthor-app,containerPort=8501"
   

용법

응용 프로그램로드 밸런서의 DNS 이름을 통해 Luthor 응용 프로그램에 액세스하십시오.

1. 문서 업로드 :

   • 인터페이스의 파일 업 로더를 사용하여 법률 문서 (.txt, .pdf 또는 .docx)를 업로드하십시오.
   • 이 시스템은 문서를 처리하고 임베딩을 생성 한 후 Pinecone에 보관합니다.

2. 쿼리 :

   • 텍스트 입력 필드에 법적 쿼리를 입력하십시오.
   • 선택적으로 사이드 바를 사용하여 날짜 범위, 문서 유형 또는 법적 영역별로 검색을 개선하십시오.
   • 이 시스템은 관련 문서 청크를 검색하고 답을 생성 한 후 소스 정보와 함께 표시합니다.

제한 및 향후 개선

• 현재 시스템은 문서 중복 제거를 효과적으로 처리하지 않습니다.
• 검색 개선 옵션 (날짜 범위, 문서 유형, 법적 영역)은 백엔드에서 완전히 구현되지 않았습니다.
• 더 나은 디버깅 및 사용자 피드백을 위해 오류 처리 및 로깅을 개선 할 수 있습니다.
• 이 시스템은 법적 맥락에 대한 이해를 높이기 위해보다 고급 NLP 기술을 활용할 수 있습니다.
• 트래픽 패턴을 기반으로 ECS 서비스를위한 자동 스케일 구현을 고려하십시오.
• 자동 배포를위한 CI/CD 파이프 라인을 구현하십시오.

특허

모든 권리 보유.

이 코드와 모든 관련 파일은 Renato Boemer의 독점 속성입니다. 이 코드의 어느 부분도, 어떤 형태로든 복사, 재생산, 수정, 적응, 검색 시스템에 저장되거나 Renato Boemer의 사전 서면 허가없이 전송 될 수 없습니다.