الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

MARAT - تحليل البيانات باستخدام الوكلاء المستندة إلى LLM

صورة

ماذا

Marat ("Muh-Rah") هو أداة تحليل وتصور البيانات تسهل تحليل البيانات الاستكشافية ، من الرؤى المواضيعية العامة التي تعتمد على AI إلى تحليلات أو طلبات تصور محددة من قبل المستخدم.

لماذا

تطبيقات تحليل البيانات الحالية الاستفادة من الذكاء الاصطناعى المحادثة هي في المقام الأول ، مع دردشة المستخدم مع إصدار شخصي من البيانات. في حين أن هذا مفيد للغاية ، أعتقد أنه لا يزيد من فائدة الذكاء الاصطناعي في فهم البيانات. لا نميل إلى عرض الرؤى والمعلومات كعناصر منفصلة تتفاعل معها في جدلية ، ولكن كشبكة من الفهم ، مع رؤى تربطها معًا لتشكيل فهم كامل لرؤى البيانات. يمثل هذا المشروع محاولة إثبات المفهوم لتنفيذ وجهة نظر التحليل هذه بشكل أفضل.

كيف

يستخدم Marat الواجهة الأمامية على غرار المخطط المنعطف NextJS لتصور وتنسيق تحليل البيانات من خلال وكلاء Python المستند إلى Python. يتم استخدام Fastapi لإرسال المعلومات إلى قاعدة Python ، حيث يتم إجراء التحليل وإرساله مرة أخرى إلى الواجهة الأمامية NextJS ليتم تصورها وتنظيمها.

عينة استخدام حالة

انتقل إلى صفحة لوحة القيادة الرئيسية (LocalHost: 3000/Dashboard) وقم بتحميل ملف بيانات CSV عند المطالبة. عندما تظهر موجه السؤال ، يمكنك إما طرح سؤال محدد (أي إنشاء انحدار خطي بين الحجم والتكلفة) أو سؤال واسع (أي أخبرني كل شيء ، وما الذي يساهم في التغييرات في السعر ، وما إلى ذلك). لإنشاء تقرير ، حدد العقد التي ترغب في تضمينها وانقر فوق "إنشاء تقرير من العقد المحددة". سيتم بعد ذلك إنشاء التقرير كـ PDF ويمكن تنزيله من خلال صفحة /التقارير.

سمات

  • مجموعة واسعة من خيارات التحليل : تحليلات الانحدار ، تصورات مؤامرة ، تحليلات الكتلة ، إلخ.
  • توليد التقارير : تحديد العقد التي تهتم بها وانقر فوق "إنشاء مراجعة من العقد المحددة" (ستظهر التقارير في صفحة "التقارير")
  • تخطيطات العقدة : حدد "التخطيط الرأسي" أو "التصميم الأفقي" لإعادة تنظيم العقد الإدراج تلقائيًا ، أو نقلها إلى رغبتك
  • مراجعة الكود : حدد "إظهار رمز" لتكشف رمز بيثون المستخدم لتقديم أي تحليل
  • تصدير SVG : إذا كنت ترغب في حفظ التحليلات المرئية الخاصة بك ، حدد "تصدير إلى SVG"

بنية الملف

يقع كل رمز Frontend NextJS في مجلد "NextJS". في الوقت الحالي ، لا يتم تعيين TypeScript في وضع البرنامج النصي ، لكنني أخطط لتحديث هذا بمجرد إضافة جميع تكوينات النوع بالكامل.

يمكن العثور على تكوينات Langgraph و Agent في مجلد الواجهة الخلفية ، مع تعريفات الوكيل وتكوين الرسم البياني الموجود في الخلفية-> API-> الوكلاء-> الوكلاء والخلفي-> API-> Agent_Graph-> Graph.py على التوالي. يعد إعداد Fastapi الخلفي في الواجهة الخلفية-> api-> test.py ، مع تنسيق ردود langgraph الموجودة في langchain_base-> langchain.py. يمكن العثور على تكوينات النماذج في دليل النماذج الخلفية-> API->. توجد جميع المطالبات في الواجهة الخلفية-> api-> مطالبات->

يأتي الكثير من المخطط والتنفيذ من هذا المشروع ، والذي يتميز أيضًا ببعض المواد التعليمية الممتازة.

تثبيت

عامل ميناء

أسهل طريقة للتثبيت والبدء من خلال Docker. يمكنك إما سحب الصورة المدمجة مسبقًا أو إنشاء الصورة محليًا.

اسحب صورة Docker من DockerHub

  1. للحصول على أحدث إصدار من صور NextJs و Python الخلفية: 
    docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
docker pull nbritt27/marat-agent-data-analysis:backendv1.0
  2. لتشغيل صورة الواجهة الأمامية: 
    docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend
  3. لتشغيل صورة الواجهة الخلفية ، سيتعين عليك توفير مفتاح Openai API الخاص بك. يمكن القيام بذلك كوسيطة للكلمة الرئيسية: 
    docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
-e OPENAI_API_KEY=your_api_key 
marat-agent-data-analysis-backend:v1.0

بناء الصورة محليا

  1. استنساخ المستودع 
    git clone https://github.com/nbritt27/marat-agent-data-analysis.git
cd marat-agent-data-analysis
  2. انسخ Env.Example إلى ملف .env الخاص بك 
    cp .env.example .env
  3. استبدل متغيرات البيئة بمفاتيح API الخاصة بك
  4. تأليف الصورة المحلية 
    docker compose up

الجري بدون Docker

على افتراض أن لديك عقدة مثبتة (يستخدم هذا المشروع العقدة 20.12.0): يستخدم المشروع الواجهة الأمامية NextJS ، مع وجود تعليمات تثبيت NextJS في https://nextjs.org/docs/getting-started/installation

  1. انتقل إلى دليل NextJS 

     cd nextjs

  2. قم بتثبيت جميع تبعيات NextJs و Teed Node 

    npm install
# or
pnpm install

  3. تثبيت تبعيات PIP 

    pip install -r ../backend/requirements.txt

  4. لتشغيل المشروع 

     npm run dev

    ملاحظة: إذا كنت تستخدم Windows ، وتريد إنشاء تقارير ، فسيتعين عليك تنزيل المثبت لـ WKHTMLTOPDF https://wkhtmltopdf.org/downloads.html ، وحدد المسار القابل للتنفيذ في ملف ENV.

هذا المشروع ينفذ رمز بيثون الذي تم إنشاؤه. يوصى بتشغيل المشروع داخل بيئة افتراضية أو حاوية.

مسار المشروع

على المدى القصير

  • تمكين تخزين الجلسة (على الأرجح من خلال نقطة نهاية Postgres مع مصادقة NextJS)
  • تحديث تكوينات الوكيل (المزيد من العوامل = المزيد من الوظائف) ، والتخصص لأنواع معينة من التحليل
  • خيارات لطرح أسئلة المتابعة أو طلب التحليل على عقد معينة
  • دمج عدة موفري LLM (Openai هو الوحيد الذي تم اختباره على نطاق واسع)

منتصف المدة

  • قدرة المستخدمين على إضافة العقد الخاصة بهم مع تحليلات مخصصة أو رؤى
  • دعم لمزيد من أنواع الملفات
  • قم بتنفيذ نظام GraphRag لمعالجة بيانات النص وتحليله
  • سلسلة من التفكير التفكير وتوفير التعريف لبعض توجيهات الوكيل

على المدى الطويل

  • القدرة على تحميل التقارير/المخطوطات بأكملها وتحويلها إلى تدفقها الذي يمكن تعديله
  • أدوات لأتمتة توسيع التحليلات الحالية
  • دمج أدوات بحث إضافية لتخطيط تحليل المسار السريع وإنشاء المخطوطات

الحشرات المعروفة

  • الواجهة
    • في بعض الأحيان ، سيتم تحميل الصفحة وحوار "اختيار الملف" غير صالح للعمل. تحديث الصفحة يحل هذه المشكلة عادة
    • في بعض الأحيان ، سيعيدك إرسال الملف المختار إلى خيار "اختيار الملف". ببساطة اختيار الملف يعمل مرة أخرى في المرة الثانية
    • العناصر النصية ، مثل التعليمات البرمجية والرؤى ، لا يمكن تسليط الضوء عليها ونسخها. يبدو أن هذه مشكلة مع بعض عناصر DOM التي يتم تقديمها إلى أحداث الماوس فوقها ، وأنا أعمل على حل.
    • عند التعامل مع جداول معينة ، سيواجه تصدير SVG خطأً
  • الخلفية
    • في بعض الأحيان ، سيحاول برمجة LLM طباعة الشكل الخطي ، الذي يتم إضافته بعد ذلك في نموذج النص كعقدة
    • في بعض الأحيان ، ستقوم برنامج LLM Coder بتصدير إخراجه مرة أخرى إلى مكالمته الخاصة إلى نقطة نهاية الإكمال ، مما يؤدي غالبًا إلى طلب الرموز المميزة MAX. يسمح التنفيذ الحالي بحد أقصى ثلاث عمليات إعادة المحاكاة ، مع وجود واحد بشكل عام.

المساهمة/الاتصال

أحب المساعدة في العمل في هذا المشروع. إذا كنت مهتمًا بالمساعدة في المشروع ، أو لديك أي أسئلة أو مخاوف أخرى ، فإن أفضل طريقة للوصول إلي هي عبر البريد الإلكتروني على [email protected]

رخصة

تم ترخيص هذا المشروع بموجب ترخيص معهد ماساتشوستس للتكنولوجيا - راجع ملف الترخيص للحصول على التفاصيل.

إذا كنت تستخدم هذا المشروع أو أي مجموعة فرعية منه ، فيرجى إخبارنا! أحب أن أرى ما يمكنك إنشاؤه :)

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل