หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Luthor: ระบบผ้าขี้ริ้วทางกฎหมาย

ภาพรวม

Luthor เป็นระบบ Retrieval-Augmented Generation (RAG) ที่ออกแบบมาสำหรับ บริษัท กฎหมายเพื่อให้นักกฎหมายสามารถ "พูดคุยกับข้อมูล" ได้อย่างมีประสิทธิภาพ ระบบนี้อนุญาตให้ผู้เชี่ยวชาญด้านกฎหมายอัปโหลดเอกสาร (เช่นบันทึก memos) ไปยังฐานข้อมูลเวกเตอร์ที่เก็บไว้ใน Pinecone และต่อมาสอบถามข้อมูลนี้โดยใช้อินเทอร์เฟซคล้ายแชทบอทที่สร้างขึ้นด้วย Streamlit

คุณสมบัติ

  • การอัปโหลดและประมวลผลเอกสาร (รองรับ. txt, .pdf และ. docx ไฟล์)
  • การประมวลผลข้อความล่วงหน้าและการแบ่งส่วน
  • การสร้าง Vector Embedding โดยใช้ API ของ Openai
  • การจัดเก็บเอกสารที่มีประสิทธิภาพและการดึงข้อมูลโดยใช้ pinecone
  • อินเทอร์เฟซแบบสอบถามภาษาธรรมชาติ
  • การสร้างคำตอบที่ตระหนักถึงบริบท

ส่วนประกอบ

  1. Data Loader ( src/data_loader.py ): จัดการการอ่านรูปแบบไฟล์ต่างๆ
  2. preprocessor ( src/preprocessor.py ): เตรียมข้อความสำหรับการฝังและการจัดเก็บ
  3. แอปพลิเคชั่นหลัก ( app.py ): อินเตอร์เฟส StreamLit สำหรับการอัปโหลดเอกสารและการสืบค้น
  4. Utilities OpenAI : จัดการการโต้ตอบ API สำหรับการฝังและการสร้างคำตอบ
  5. ยูทิลิตี้ Pinecone : จัดการการดำเนินการฐานข้อมูลเวกเตอร์

สถาปัตยกรรมระบบ

Luthor ถูกนำไปใช้กับ AWS โดยใช้สถาปัตยกรรมคอนเทนเนอร์:

  • Amazon ECS (บริการคอนเทนเนอร์ยืดหยุ่น) กับ Fargate: เรียกใช้คอนเทนเนอร์แอปพลิเคชัน Luthor
  • Amazon ECR (Elastic Container Registry) : จัดเก็บภาพนักเทียบท่าสำหรับแอปพลิเคชัน Luthor
  • แอปพลิเคชันโหลดบัลแลนเซอร์ : กระจายการรับส่งข้อมูลที่เข้ามาในหลาย ๆ กรณี
  • AWS Secrets Manager : จัดเก็บและจัดการปุ่ม API อย่างปลอดภัย

โครงสร้างพื้นฐาน AWS

  • คลัสเตอร์ ECS: จัดการงาน Fargate ที่ใช้งานคอนเทนเนอร์ Luthor
  • ที่เก็บ ECR: โฮสต์ภาพ Luthor Docker
  • แอปพลิเคชันโหลดบัลแลนเซอร์: กำหนดเส้นทางการรับส่งข้อมูลไปยังงาน ECS
  • VPC และกลุ่มความปลอดภัย: ให้การแยกเครือข่ายและความปลอดภัย
  • บทบาทของ IAM: จัดการสิทธิ์สำหรับงาน ECS และบริการ AWS อื่น ๆ

การตั้งค่า

ข้อกำหนดเบื้องต้น

  • บัญชี AWS
  • AWS CLI กำหนดค่าด้วยสิทธิ์ที่เหมาะสม
  • ติดตั้ง Docker ในเครื่อง

การติดตั้ง

  1. โคลนที่เก็บ: 

     git clone https://github.com/boemer00/luthor.git
cd luthor

  2. สร้างภาพนักเทียบท่า: 

     docker build -t luthor .

  3. กดภาพไปที่ Amazon ECR: 

     aws ecr get-login-password --region [your-region] | docker login --username AWS --password-stdin [your-account-id].dkr.ecr.[your-region].amazonaws.com
docker tag luthor:latest [your-account-id].dkr.ecr.[your-region].amazonaws.com/luthor:latest
docker push [your-account-id].dkr.ecr.[your-region].amazonaws.com/luthor:latest

  4. ตั้งค่า AWS Secrets Manager: สร้างความลับสำหรับ OpenAI_API_KEY, PINECONE_API_KEY และ PINECONE_ENVironment

  5. ปรับใช้คำจำกัดความงาน ECS: 

     aws ecs register-task-definition --cli-input-json file://infrastructure/ecs-task-definition.json

  6. สร้างบริการ ECS: 

     aws ecs create-service --cluster [your-cluster-name] --service-name luthor-service --task-definition luthor-app --desired-count 1 --launch-type FARGATE --network-configuration "awsvpcConfiguration={subnets=[subnet-xxxxxxxx,subnet-yyyyyyyy],securityGroups=[sg-xxxxxxxxxxxxxxxx]}" --load-balancers "targetGroupArn=arn:aws:elasticloadbalancing:[region]:[account-id]:targetgroup/[target-group-name]/[target-group-id],containerName=luthor-app,containerPort=8501"

การใช้งาน

เข้าถึงแอปพลิเคชัน Luthor ผ่านชื่อ DNS ของแอปพลิเคชัน Load Balancer

  1. การอัปโหลดเอกสาร :

    • ใช้ไฟล์อัปโหลดในอินเทอร์เฟซเพื่ออัปโหลดเอกสารทางกฎหมาย (.txt, .pdf หรือ. docx)
    • ระบบจะประมวลผลเอกสารสร้าง embeddings และจัดเก็บไว้ใน Pinecone

  2. การสอบถาม :

    • ป้อนแบบสอบถามทางกฎหมายของคุณในฟิลด์อินพุตข้อความ
    • เลือกใช้แถบด้านข้างเพื่อปรับแต่งการค้นหาตามช่วงวันที่ประเภทเอกสารหรือพื้นที่ทางกฎหมาย
    • ระบบจะดึงข้อมูลเอกสารที่เกี่ยวข้องสร้างคำตอบและแสดงพร้อมกับข้อมูลแหล่งที่มา

ข้อ จำกัด และการปรับปรุงในอนาคต

  • ปัจจุบันระบบไม่จัดการกับการขจัดข้อมูลซ้ำซ้อนของเอกสารอย่างมีประสิทธิภาพ
  • ตัวเลือกการปรับแต่งการค้นหา (ช่วงวันที่ประเภทเอกสารพื้นที่ทางกฎหมาย) ไม่ได้ใช้งานอย่างสมบูรณ์ในแบ็กเอนด์
  • การจัดการข้อผิดพลาดและการบันทึกสามารถปรับปรุงเพื่อการดีบักที่ดีขึ้นและความคิดเห็นของผู้ใช้
  • ระบบจะได้รับประโยชน์จากเทคนิค NLP ขั้นสูงมากขึ้นเพื่อความเข้าใจที่ดีขึ้นเกี่ยวกับบริบททางกฎหมาย
  • พิจารณาการใช้งานการปรับขนาดอัตโนมัติสำหรับบริการ ECS ตามรูปแบบการจราจร
  • ใช้ไปป์ไลน์ CI/CD สำหรับการปรับใช้อัตโนมัติ

ใบอนุญาต

สงวนลิขสิทธิ์

รหัสนี้และไฟล์ที่เกี่ยวข้องทั้งหมดเป็นคุณสมบัติพิเศษของ Renato Boemer ไม่มีส่วนหนึ่งของรหัสนี้ในรูปแบบใด ๆ หรือโดยวิธีการใด ๆ อาจถูกคัดลอกทำซ้ำดัดแปลงดัดแปลงดัดแปลงเก็บไว้ในระบบดึงข้อมูลหรือส่งโดยไม่ได้รับอนุญาตจาก Renato Boemer

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด