CheatSheet Langchain Project

مشروع وكيل الذكاء الاصطناعي: استخراج البيانات الآلي

يستفيد هذا المشروع من وكيل الذكاء الاصطناعي لاستخراج البيانات الآلية ومعالجتها. يتيح النظام للمستخدمين تحميل ملف CSV أو الاتصال بصفحة Google ، ثم يتفاعل مع البيانات باستخدام استعلامات اللغة الطبيعية. يقوم الوكيل بإنشاء رمز Python استنادًا إلى الاستعلام ، ويقوم بتنفيذ الكود لمعالجة البيانات ، ويعرض النتيجة في تنسيقات مختلفة مثل الجدول أو المؤامرة أو السلسلة أو الخفقان بيانات مفيدة لملفك.

جدول المحتوى

• مقدمة
• سمات
• تثبيت
• الاستخدام
• هيكل المشروع
• معالجة الخطأ
• التراخيص

سمات

• اختيار مصدر البيانات: اختر بين تحميل ملف CSV أو توصيل ورقة Google.
• استفسارات اللغة الطبيعية: تتفاعل مع البيانات باستخدام استعلامات اللغة الطبيعية (على سبيل المثال ، "Get Me the البريد الإلكتروني لـ {Company}").
• توليد الرمز الديناميكي: يقوم النظام بإنشاء رمز Python استنادًا إلى الاستعلام ، والذي يتم تنفيذه بعد ذلك لمعالجة البيانات.
• تنسيقات الإخراج: يتم عرض النتائج بتنسيقات مختلفة مثل الجداول أو المؤامرات (شريط/فطيرة) أو سلاسل ، اعتمادًا على الاستعلام.
• معالجة الأخطاء: يضمن معالجة الأخطاء القوية تفاعل المستخدم السلس حتى في حالة وجود مشكلات مثل تنسيقات الملفات غير الصالحة أو أخطاء معالجة البيانات.

رابط النشر

• تطبيق Cheatsheet

تثبيت

لتشغيل هذا المشروع ، تحتاج إلى Python 3.7 أو أحدث. يستخدم المشروع العديد من مكتبات الجهات الخارجية التي يمكن تثبيتها عبر PIP.

• استنساخ الريبو

    git clone https://github.com/UjjawalGusain/CheatSheet-Langchain-Project.git
    cd Langchain-Web-Agent

• تثبيت التبعيات: إنشاء بيئة افتراضية وتثبيت المكتبات المطلوبة:

    python3 -m venv venv
    source venv/bin/activate  # On Windows, use `venvScriptsactivate`
    pip install -r requirements.txt

• قم بإعداد واجهة برمجة تطبيقات Google Sheets:

  • احصل على بيانات اعتماد API الخاصة بك من خلال اتباع خطوات وثائق API في Google Sheets.
  • قم بتنزيل ملف الاعتماد. json ووضعه في الدليل الجذر للمشروع.

• تشغيل التطبيق:

    streamlit run dashboard.py

بعد تشغيل هذا الأمر ، سيبدأ التطبيق ، ويمكنك الوصول إليه من خلال متصفحك.

API

يستخدم هذا المشروع واجهات برمجة التطبيقات المتعددة للتعامل مع عمليات مختلفة ، بما في ذلك تجريف البيانات والتفاعل مع النموذج. واجهات برمجة التطبيقات المدمجة هي:

• Groq API:

  • النموذج: Llama-3.1-70B-العاكس

  • الغرض: يتم استخدام واجهة برمجة تطبيقات GROQ للتفاعل مع نموذج اللغة الكبير لتوليد الاستجابات ، وتنفيذ العمليات على مجموعة البيانات ، والتعامل مع الاستعلامات المعقدة. يتم استخدام نموذج LLAMA-33.1-70B-العكس من أجل فهم وتوليد اللغة الطبيعية الفعالة ، مما يساعد على معالجة الاستعلامات وتحقيق نتائج عملية.

  • الاستخدام:

    • يتم استدعاء API لمعالجة الاستعلامات المتعلقة بالبيانات ، بما في ذلك عمليات مثل الاستخراج والتصفية وتوليد ملخصات. تساعد الاستجابة من النموذج في تشكيل العمليات المطبقة على مجموعة البيانات.

    • يتم تنظيم المطالبات المستخدمة للنموذج بتنسيق محدد لضمان الاستجابة المطلوبة وتجنب الأخطاء أثناء التنفيذ.

• API مكشطة:

  • الغرض: يتم استخدام واجهة برمجة تطبيقات مكشطة لجمع بيانات إضافية من مصادر خارجية وإلحاق هذه البيانات إلى مجموعة البيانات.

  • الاستخدام:

    • بمجرد معالجة مجموعة البيانات ويتم تنفيذ العمليات اللازمة ، تساعد واجهة برمجة تطبيقات مكشطة على إثراء البيانات بأعمدة إضافية تم تجسيدها من موارد خارجية. يتم ذلك عن طريق إضافة عمود "كشط" إلى DataFrame.

الاستخدام

تحميل البيانات:

• حدد مصدر بيانات من الشريط الجانبي: إما تحميل CSV أو قم بتوصيل أوراق Google.

  • في حالة تحميل CSV ، اختر ملفًا للتحميل. إذا تواصل مع أوراق Google ، فوفر عنوان URL للورقة.

• أدخل استعلام:

  • في المنطقة الرئيسية للتطبيق ، أدخل استعلامًا طبيعيًا في مربع الإدخال. على سبيل المثال ، "احصل على عنوان البريد الإلكتروني لـ {Company}".

• عرض النتائج:

  • بناءً على الاستعلام ، سيقوم وكيل الذكاء الاصطناعى بإنشاء رمز Python ، وتطبيقه على البيانات ، وإرجاع النتيجة. يمكن عرض النتائج كجداول أو مؤامرات أو سلاسل.

مواجهتها التحديات

• التنسيق السريع والتعقيد: كان التحدي الكبير هو ضمان تنسيق المطالبات التي تم نقلها إلى النموذج بشكل صحيح من قبل النظام. النموذج اللازم لإنشاء استجابات دقيقة بناءً على بنية وتعقيد الاستعلامات. كان من المهم أيضًا الحفاظ على الوضوح والاتساق في الطريقة التي تم بها استخراج المعلومات وتقديمها للمستخدم ، خاصة مع الاستعلامات المعقدة.

• إدارة مخاطر الأمان مع LLMS: أدخلت الاستفادة من نماذج اللغة الكبيرة (LLMS) مخاطر أمنية محتملة ، خاصة فيما يتعلق بخصوصية البيانات ومعالجة المعلومات الحساسة. إن التأكد من عدم تعرض أي بيانات سرية أو خاصة عن غير قصد أثناء التفاعل مع النموذج كان جانبًا مهمًا لعملية التطوير. كان علينا تنفيذ ضمانات لتقليل هذه المخاطر إلى الحد الأدنى أثناء استخدام LLMs لإنشاء التعليمات البرمجية ومعالجة البيانات.

فيديو تجريبي للمشروع:

recording_langchain.1.mp4