marat agent data analysis

MARAT - Analisis Data Menggunakan Agen Berbasis LLM

Apa

Marat ("Muh-Rah") adalah alat analisis dan visualisasi data yang memfasilitasi analisis data eksplorasi, dari wawasan tematik yang digerakkan oleh AI hingga analisis spesifik atau permintaan visualisasi oleh pengguna.

Mengapa

Implementasi analisis data saat ini memanfaatkan AI percakapan terutama diinterogatif, dengan pengguna mengobrol dengan versi data yang dipersonifikasikan. Meskipun ini cukup berguna, saya percaya itu tidak memaksimalkan manfaat AI dalam memahami data. Kami cenderung tidak melihat wawasan dan informasi sebagai elemen terpisah yang berinteraksi dengan dalam dialektika, tetapi sebagai jaringan pemahaman, dengan wawasan yang terhubung bersama untuk membentuk pemahaman lengkap tentang wawasan data. Proyek ini merupakan upaya pembuktian konsep untuk mengimplementasikan pandangan analisis ini dengan lebih baik.

Bagaimana

MARAT menggunakan frontend all-style NextJS untuk memvisualisasikan dan mengoordinasikan analisis data melalui agen yang berbasis Python. Fastapi digunakan untuk mengirim informasi ke pangkalan Python, di mana analisis kemudian dilakukan dan dikirim kembali ke frontend NextJS untuk divisualisasikan dan diorganisir.

Kasing Penggunaan Sampel

Buka halaman dasbor utama (LocalHost: 3000/Dashboard) dan unggah file data CSV Anda saat diminta. Ketika pertanyaan pertanyaan muncul, Anda dapat mengajukan pertanyaan tertentu (yaitu menghasilkan regresi linier antara ukuran dan biaya) atau pertanyaan luas (yaitu memberi tahu saya segalanya, apa yang berkontribusi terhadap perubahan harga, dll.). Untuk menghasilkan laporan, pilih node yang ingin Anda sertakan dan klik "Hasilkan Laporan dari Node yang Dipilih". Laporan kemudian akan dihasilkan sebagai PDF dan dapat diunduh melalui halaman /Laporan.

Fitur

• Berbagai Opsi Analisis : Analisis Regresi, Visualisasi Plotly, Analisis Cluster, dll.
• Pembuatan Laporan : Memilih node yang Anda minati dan klik "Hasilkan ulasan dari node yang dipilih" (Laporan akan muncul di halaman "Laporan")
• Tata Letak Node : Pilih "Tata Letak Vertikal" atau "Tata Letak Horizontal" untuk secara otomatis meluruskan node yang dimasukkan, atau memindahkannya ke dalam keinginan Anda
• Ulasan Kode : Pilih Expander "Tampilkan Kode" untuk mengungkapkan kode Python yang digunakan untuk membuat analisis apa pun
• Ekspor SVG : Jika Anda ingin menyimpan analisis yang divisualisasikan, pilih "Ekspor ke SVG"

Struktur file

All Frontend NextJS Code terletak di folder 'NextJS'. Saat ini, TypeScript tidak diatur dalam mode skrip, tetapi saya berencana memperbarui ini setelah semua jenis konfigurasi ditambahkan sepenuhnya.

Konfigurasi langgraph dan agen dapat ditemukan di folder backend, dengan definisi agen dan konfigurasi grafik yang ditemukan di backend-> api-> agents-> agents.py dan backend-> api-> agent_graph-> graph.py masing-masing. Pengaturan backend Fastapi ada di backend-> api-> test.py, dengan koordinasi respons langgraph ditemukan di langchain_base-> langchain.py. Konfigurasi model dapat ditemukan di Direktori Backend-> Api-> Model. Semua prompt terletak di backend-> api-> prompts-> prompts.py

Sebagian besar skema dan implementasi berasal dari proyek ini, yang juga menampilkan beberapa materi pembelajaran yang sangat baik.

Instalasi

Buruh pelabuhan

Cara termudah untuk menginstal dan memulai adalah melalui Docker. Anda dapat menarik gambar yang sudah dibangun atau membangun gambar secara lokal.

Tarik gambar Docker dari Dockerhub

1. Untuk mendapatkan versi terbaru dari NextJS dan Python Backend Images:

   docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
   docker pull nbritt27/marat-agent-data-analysis:backendv1.0

2. Untuk menjalankan gambar frontend:

   docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend

3. Untuk menjalankan gambar backend, Anda harus menyediakan kunci API openai Anda sendiri. Ini dapat dilakukan sebagai argumen kata kunci:

   docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
   -e OPENAI_API_KEY=your_api_key 
   marat-agent-data-analysis-backend:v1.0

Bangun gambar secara lokal

1. Klon Repositori

   git clone https://github.com/nbritt27/marat-agent-data-analysis.git
   cd marat-agent-data-analysis

2. Salin env.example ke file .env Anda

   cp .env.example .env

3. Ganti variabel lingkungan dengan kunci API Anda
4. Menyusun gambar lokal

   docker compose up

Berlari tanpa Docker

Dengan asumsi Anda memiliki simpul yang diinstal (proyek ini menggunakan simpul 20.12.0): Proyek ini menggunakan frontend NextJS, dengan instruksi instalasi NextJS ditemukan di https://nextjs.org/docs/getting-started/installation

1. Pindah ke direktori NextJS

    cd nextjs

2. Instal semua dependensi NextJs dan Node

   npm install
   # or
   pnpm install

3. Pasang dependensi PIP

   pip install -r ../backend/requirements.txt

4. Untuk menjalankan proyek

    npm run dev
   

   Catatan: Jika Anda menggunakan Windows, dan ingin menghasilkan laporan, Anda harus mengunduh penginstal untuk wkhtmltopdf https://wkhtmltopdf.org/downloads.html, dan tentukan jalur yang dapat dieksekusi dalam file env.

Proyek ini memang mengeksekusi kode Python yang dihasilkan. Direkomendasikan menjalankan proyek di dalam lingkungan virtual atau wadah.

Lintasan Proyek

Jangka pendek

• Aktifkan Penyimpanan Sesi (kemungkinan melalui titik akhir postgres dengan otentikasi NextJS)
• Perbarui Konfigurasi Agen (lebih banyak agen = lebih banyak fungsi), dan spesialisasi untuk jenis analisis tertentu
• Opsi untuk mengajukan pertanyaan tindak lanjut atau permintaan analisis pada node tertentu
• Penggabungan beberapa penyedia LLM (Openai adalah satu -satunya yang telah diuji secara luas)

Jangka menengah

• Kemampuan bagi pengguna untuk menambahkan node mereka sendiri dengan analisis atau wawasan khusus
• Dukungan untuk lebih banyak jenis file
• Menerapkan sistem graphrag untuk menangani data dan analisis teks
• Penalaran rantai pemikiran dan meta-prompt untuk arahan agen tertentu

Jangka panjang

• Kemampuan untuk mengunggah seluruh laporan/naskah dan mengubahnya menjadi aliran mereka sendiri yang dapat dimodifikasi
• Alat untuk mengotomatisasi perluasan analisis yang ada
• Penggabungan alat penelitian tambahan untuk perencanaan analisis jalur cepat dan pembuatan naskah

Bug yang dikenal

• Frontend
  • Kadang -kadang, halaman akan memuat dan dialog "Pilih File" tidak dapat dioperasikan. Menyegarkan halaman biasanya menyelesaikan masalah ini
  • Kadang -kadang, mengirimkan file yang dipilih akan mengembalikan Anda ke opsi "Pilih File". Cukup memilih file lagi berfungsi untuk kedua kalinya
  • Elemen teks, seperti kode dan wawasan, saat ini tidak dapat disorot dan disalin. Ini tampaknya menjadi masalah dengan elemen -elemen DOM tertentu yang disajikan kepada acara mouse di atasnya, dan saya sedang mengerjakan solusi.
  • Saat berhadapan dengan tabel tertentu, ekspor SVG akan mengalami kesalahan
• Backend
  • Kadang -kadang, coder LLM akan mencoba mencetak gambar plot, yang kemudian ditambahkan dalam bentuk teks sebagai node
  • Kadang -kadang, coder LLM akan mengekspor outputnya kembali ke panggilannya sendiri ke titik akhir penyelesaian, sering menghasilkan permintaan Token Max. Implementasi saat ini memungkinkan maksimal tiga retries, dengan satu umumnya cukup.

Berkontribusi/kontak

Saya ingin bantuan dalam mengerjakan proyek ini. Jika Anda tertarik untuk membantu proyek, atau memiliki pertanyaan atau masalah lain, cara terbaik untuk menghubungi saya adalah melalui email di [email protected]

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.

Jika Anda menggunakan proyek ini atau subsetnya, beri tahu saya! Saya ingin melihat apa yang dapat Anda buat :)