CheatSheet Langchain Project

Proyek Agen AI: Ekstraksi Data Otomatis

Proyek ini memanfaatkan agen AI untuk ekstraksi dan pemrosesan data otomatis. Sistem ini memungkinkan pengguna untuk mengunggah file CSV atau terhubung ke lembar Google, kemudian berinteraksi dengan data menggunakan kueri bahasa alami. Agen menghasilkan kode Python berdasarkan kueri, menjalankan kode untuk memanipulasi data, dan menyajikan hasil dalam berbagai format seperti tabel, plot, atau string, atau menggosok data yang berguna untuk file Anda.

Tabel konten

• Perkenalan
• Fitur
• Instalasi
• Penggunaan
• Struktur proyek
• Penanganan kesalahan
• Lisensi

Fitur

• Pemilihan Sumber Data: Pilih antara mengunggah file CSV atau menghubungkan lembar Google.
• Kueri Bahasa Alami: Berinteraksi dengan data menggunakan kueri bahasa alami (misalnya, "Dapatkan saya alamat email {Company}").
• Pembuatan Kode Dinamis: Sistem menghasilkan kode Python berdasarkan kueri, yang kemudian dieksekusi untuk memanipulasi data.
• Format output: Hasil ditampilkan dalam format yang berbeda seperti tabel, plot (bar/pie), atau string, tergantung pada kueri.
• Penanganan kesalahan: Penanganan kesalahan yang kuat memastikan interaksi pengguna yang lancar bahkan dalam hal masalah seperti format file yang tidak valid atau kesalahan manipulasi data.

Tautan penyebaran

• Aplikasi cheatsheet di streamlit

Instalasi

Untuk menjalankan proyek ini, Anda membutuhkan Python 3.7 atau lebih baru. Proyek ini menggunakan beberapa pustaka pihak ketiga yang dapat diinstal melalui PIP.

• Kloning repo

    git clone https://github.com/UjjawalGusain/CheatSheet-Langchain-Project.git
    cd Langchain-Web-Agent

• Instal dependensi: Buat lingkungan virtual dan instal perpustakaan yang diperlukan:

    python3 -m venv venv
    source venv/bin/activate  # On Windows, use `venvScriptsactivate`
    pip install -r requirements.txt

• Siapkan Google Sheets API:

  • Dapatkan kredensial Google API Anda dengan mengikuti langkah -langkah dalam dokumentasi API Google Sheets.
  • Unduh file Credentials.json dan letakkan di direktori root proyek.

• Jalankan aplikasi:

    streamlit run dashboard.py

Setelah menjalankan perintah ini, aplikasi akan dimulai, dan Anda dapat mengaksesnya melalui browser Anda.

API

Proyek ini menggunakan beberapa API untuk menangani operasi yang berbeda, termasuk pengikis data dan interaksi dengan model. API terintegrasi adalah:

• API GROQ:

  • Model: llama-3.1-70b-versatile

  • TUJUAN: API GROQ digunakan untuk berinteraksi dengan model bahasa besar untuk menghasilkan respons, menjalankan operasi pada dataset, dan menangani pertanyaan kompleks. Model LLAMA-3.1-70B-Versatile digunakan untuk pemahaman dan pembangkitan bahasa alami yang efisien, membantu memproses permintaan dan menghasilkan hasil yang dapat ditindaklanjuti.

  • Penggunaan:

    • API dipanggil untuk memproses kueri yang terkait dengan data, termasuk operasi seperti ekstraksi, penyaringan, dan menghasilkan ringkasan. Respons dari model membantu dalam membentuk operasi yang diterapkan pada dataset.

    • Prompt yang digunakan untuk model disusun dalam format tertentu untuk memastikan respons yang diinginkan dan menghindari kesalahan selama eksekusi.

• API Scraper:

  • Tujuan: API Scraper digunakan untuk mengumpulkan data tambahan dari sumber eksternal dan menambahkan data ini ke dataset.

  • Penggunaan:

    • Setelah dataset diproses dan operasi yang diperlukan dilakukan, API Scraper membantu memperkaya data dengan kolom tambahan yang dikikis dari sumber daya eksternal. Ini dilakukan dengan menambahkan kolom "scraped" ke dataframe.

Penggunaan

Unggah data:

• Pilih sumber data dari bilah samping: baik unggah CSV atau hubungkan Google Sheets.

  • Jika mengunggah CSV, pilih file untuk diunggah. Jika menghubungkan ke Google Sheets, berikan URL lembar.

• Masukkan kueri:

  • Di area utama aplikasi, masukkan kueri bahasa alami di kotak input. Misalnya, "Dapatkan saya alamat email {Company}".

• Lihat Hasil:

  • Berdasarkan kueri, agen AI akan menghasilkan kode Python, menerapkannya pada data, dan mengembalikan hasilnya. Hasil dapat ditampilkan sebagai tabel, plot, atau string.

Tantangan yang ditemui

• Pemformatan dan kompleksitas yang cepat: Tantangan yang signifikan adalah memastikan bahwa petunjuk yang diteruskan ke model diformat dengan benar dan ditangani oleh sistem. Model yang diperlukan untuk menghasilkan respons yang akurat berdasarkan struktur dan kompleksitas kueri. Penting juga untuk mempertahankan kejelasan dan konsistensi dalam cara informasi diekstraksi dan disajikan kepada pengguna, terutama dengan kueri yang kompleks.

• Mengelola risiko keamanan dengan LLMS: Memanfaatkan model bahasa besar (LLM) memperkenalkan risiko keamanan potensial, terutama mengenai privasi data dan penanganan informasi sensitif. Memastikan bahwa tidak ada data rahasia atau pribadi yang secara tidak sengaja terpapar saat berinteraksi dengan model adalah aspek penting dari proses pengembangan. Kami harus menerapkan perlindungan untuk meminimalkan risiko ini saat menggunakan LLM untuk menghasilkan kode dan memproses data.

Video demo proyek:

Recording_Langchain.1.mp4