luthor

Luthor: نظام خرقة قانوني

ملخص

Luthor هو نظام جيل (RAG) الذي تم تجهيزه للاسترجاع مصمم لمكاتب المحاماة لتمكين المحامين من "التحدث إلى بياناتهم" بكفاءة. يسمح هذا النظام للمهنيين القانونيين بتحميل المستندات (على سبيل المثال ، المذكرات) إلى قاعدة بيانات متجه مخزنة في Pinecone ثم الاستعلام عن هذه المعلومات لاحقًا باستخدام واجهة تشبه chatbot مصممة باستخدام SPEMANCLIT.

سمات

• تحميل المستندات ومعالجتها (تدعم ملفات .txt و .pdf و .docx)
• نص معالجة وتجزئة
• توليد التضمين المتجه باستخدام واجهة برمجة تطبيقات Openai
• تخزين المستندات الفعالة واسترجاعها باستخدام pinecone
• واجهة الاستعلام عن اللغة الطبيعية
• جيل الإجابة على دراية بالسياق

عناصر

1. تحميل البيانات ( src/data_loader.py ): مقابض قراءة تنسيقات الملفات المختلفة.
2. Preprocessor ( src/preprocessor.py ): إعداد النص للتضمين والتخزين.
3. التطبيق الرئيسي ( app.py ): واجهة STREMLIT لتحميل المستند والاستعلام.
4. Openai Utilities : تعامل تفاعلات API للتضمينات وتوليد الإجابة.
5. أدوات Pinecone : يدير عمليات قاعدة بيانات المتجهات.

بنية النظام

يتم نشر Luthor على AWS باستخدام بنية حاوية:

• Amazon ECS (خدمة الحاويات المرنة) مع Fargate: تقوم بتشغيل حاوية تطبيق Luthor.
• Amazon ECR (سجل الحاوية المرن) : يخزن صورة Docker لتطبيق Luthor.
• موازن تحميل التطبيق : يوزع حركة المرور الواردة عبر مثيلات متعددة.
• AWS Secrets Manager : يخزن بشكل آمن ويدير مفاتيح API.

البنية التحتية AWS

• مجموعة ECS: تدير مهام Fargate التي تدير حاويات Luthor.
• مستودع ECR: يستضيف صورة Luthor Docker.
• موازن تحميل التطبيق: توجيه حركة المرور إلى مهام ECS.
• VPC ومجموعات الأمان: توفير عزل الشبكة والأمان.
• أدوار IAM: إدارة أذونات مهام ECS وخدمات AWS الأخرى.

يثبت

المتطلبات الأساسية

• حساب AWS
• تم تكوين AWS CLI مع الأذونات المناسبة
• تم تثبيت Docker محليًا

تثبيت

1. استنساخ المستودع:

    git clone https://github.com/boemer00/luthor.git
   cd luthor
   

2. بناء صورة Docker:

    docker build -t luthor .
   

3. ادفع الصورة إلى Amazon ECR:

    aws ecr get-login-password --region [your-region] | docker login --username AWS --password-stdin [your-account-id].dkr.ecr.[your-region].amazonaws.com
   docker tag luthor:latest [your-account-id].dkr.ecr.[your-region].amazonaws.com/luthor:latest
   docker push [your-account-id].dkr.ecr.[your-region].amazonaws.com/luthor:latest
   

4. قم بإعداد AWS Secrets Manager: إنشاء أسرار لـ Openai_API_Key و Pinecone_API_Key و Pinecone_environment.

5. نشر تعريف مهمة ECS:

    aws ecs register-task-definition --cli-input-json file://infrastructure/ecs-task-definition.json
   

6. إنشاء خدمة ECS:

    aws ecs create-service --cluster [your-cluster-name] --service-name luthor-service --task-definition luthor-app --desired-count 1 --launch-type FARGATE --network-configuration "awsvpcConfiguration={subnets=[subnet-xxxxxxxx,subnet-yyyyyyyy],securityGroups=[sg-xxxxxxxxxxxxxxxx]}" --load-balancers "targetGroupArn=arn:aws:elasticloadbalancing:[region]:[account-id]:targetgroup/[target-group-name]/[target-group-id],containerName=luthor-app,containerPort=8501"
   

الاستخدام

قم بالوصول إلى تطبيق Luthor من خلال اسم DNS الخاص بـ Application Load Balancer.

1. تحميل المستند :

   • استخدم تحميل الملف في الواجهة لتحميل المستندات القانونية (.txt ، .pdf ، أو .docx).
   • سيقوم النظام بمعالجة المستند وإنشاء التضمينات وتخزينها في Pinecone.

2. الاستعلام :

   • أدخل استعلامك القانوني في حقل إدخال النص.
   • اختياريا ، استخدم الشريط الجانبي لتحسين البحث حسب المدى أو نوع المستند أو المنطقة القانونية.
   • سيقوم النظام باسترداد قطع المستندات ذات الصلة ، وإنشاء إجابة ، وعرضها مع معلومات المصدر.

القيود والتحسينات المستقبلية

• حاليًا ، لا يتعامل النظام مع إلغاء بيانات المستند بشكل فعال.
• لا يتم تنفيذ خيارات تحسين البحث (نطاق التاريخ ، نوع المستند ، المنطقة القانونية) بالكامل في الواجهة الخلفية.
• يمكن تحسين معالجة الأخطاء وتسجيلها لتحسين تصحيح الأخطاء والتعليقات المستخدمين.
• يمكن أن يستفيد النظام من تقنيات NLP أكثر تقدماً لفهم أفضل للسياق القانوني.
• النظر في تنفيذ التقييم التلقائي لخدمة ECS استنادًا إلى أنماط حركة المرور.
• قم بتنفيذ خط أنابيب CI/CD للنشر الآلي.

رخصة

جميع الحقوق محفوظة.

هذا الرمز وجميع الملفات المرتبطة هي الخاصية الحصرية لـ Renato Boemer. لا يجوز نسخ أي جزء من هذا الرمز ، بأي شكل من الأشكال أو بأي وسيلة ، أو إعادة إنتاجه أو تعديله أو تكييفه أو تخزينه في نظام استرجاع ، أو ينتقل دون إذن كتابي مسبق من Renato Boemer.