AI Data Analysis MultiAgent

Asisten Peneliti yang Digerakkan AI

Ringkasan

Ini adalah sistem asisten peneliti bertenaga AI yang memanfaatkan beberapa agen khusus untuk membantu dalam tugas-tugas seperti analisis data, visualisasi, dan pembuatan laporan. Sistem ini menggunakan Langchain, model GPT Openai, dan Langgraph untuk menangani proses penelitian yang kompleks, mengintegrasikan beragam arsitektur AI untuk kinerja yang optimal.

Fitur utama

• Generasi dan validasi hipotesis
• Pemrosesan dan analisis data
• Penciptaan Visualisasi
• Pencarian Web dan Pengambilan Informasi
• Pembuatan kode dan eksekusi
• Laporan Menulis
• Ulasan dan revisi kualitas
• Integrasi arsitektur yang beragam :
  • Agen pengawas untuk mengawasi proses analisis
  • Penalaran berantai untuk pemecahan masalah yang kompleks
  • Agen kritikus untuk jaminan kualitas dan pemeriksaan kesalahan
• Agen Pengambil Catatan Inovatif :
  • Terus menerus mencatat keadaan proyek saat ini
  • Memberikan alternatif yang lebih efisien untuk mengirimkan informasi historis lengkap
  • Meningkatkan kemampuan sistem untuk mempertahankan konteks dan kesinambungan di berbagai tahap analisis
• Alur kerja adaptif : Secara dinamis menyesuaikan pendekatan analisisnya berdasarkan data dan tugas yang ada

Mengapa itu unik

Integrasi agen pengambil note khusus membedakan sistem ini dari pipa analisis data tradisional. Dengan mempertahankan catatan ringkas namun komprehensif dari keadaan proyek, sistem dapat:

1. Mengurangi overhead komputasi
2. Meningkatkan retensi konteks di berbagai fase analisis
3. Aktifkan hasil analisis yang lebih koheren dan konsisten

Persyaratan sistem

• Python 3.10 atau lebih tinggi
• Lingkungan Notebook Jupyter

Instalasi

1. Klon Repositori:

git clone https://github.com/starpig1129/ai-data-analysis-MulitAgent.git

2. Buat dan aktifkan lingkungan virtual Conda:

conda create -n data_assistant python=3.10
conda activate data_assistant

3. Instal dependensi:

pip install -r requirements.txt

4. Mengatur Variabel Lingkungan: Ganti nama .env Example menjadi .env dan isi semua nilai

 # Your data storage path(required)
DATA_STORAGE_PATH =./data_storage/

# Anaconda installation path(required)
CONDA_PATH = /home/user/anaconda3

# Conda environment name(required)
CONDA_ENV = envname

# ChromeDriver executable path(required)
CHROMEDRIVER_PATH =./chromedriver-linux64/chromedriver

# Firecrawl API key (optional)
# Note: If this key is missing, query capabilities may be reduced
FIRECRAWL_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# OpenAI API key (required)
# Warning: This key is essential; the program will not run without it
OPENAI_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# LangChain API key (optional)
# Used for monitoring the processing
LANGCHAIN_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Penggunaan

1. Mulai Jupyter Notebook:

2. Atur yourdataname.csv di data_storage

3. Buka file main.ipynb .

4. Jalankan semua sel untuk menginisialisasi sistem dan buat alur kerja.

5. Di sel terakhir, Anda dapat menyesuaikan tugas penelitian dengan memodifikasi variabel userInput .

6. Jalankan beberapa sel terakhir untuk menjalankan proses penelitian dan melihat hasilnya.

Komponen utama

• hypothesis_agent : menghasilkan hipotesis penelitian
• process_agent : mengawasi seluruh proses penelitian
• visualization_agent : Membuat visualisasi data
• code_agent : Menulis kode analisis data
• searcher_agent : Melakukan literatur dan pencarian web
• report_agent : Menulis Laporan Penelitian
• quality_review_agent : Melakukan Ulasan Kualitas
• note_agent : merekam proses penelitian

Alur kerja

Sistem ini menggunakan Langgraph untuk membuat grafik negara yang mengelola seluruh proses penelitian. Alur kerja mencakup langkah -langkah berikut:

1. Generasi hipotesis
2. Pilihan manusia (lanjutan atau regenerasi hipotesis)
3. Pemrosesan (termasuk analisis data, visualisasi, pencarian, dan penulisan laporan)
4. Ulasan Kualitas
5. Revisi sesuai kebutuhan

Kustomisasi

Anda dapat menyesuaikan perilaku sistem dengan memodifikasi pembuatan agen dan definisi alur kerja di main.ipynb .

Catatan

• Pastikan Anda memiliki kredit API OpenAI yang cukup, karena sistem akan melakukan beberapa panggilan API.
• Sistem mungkin membutuhkan waktu untuk menyelesaikan seluruh proses penelitian, tergantung pada kompleksitas tugas.
• Peringatan : Sistem agen dapat memodifikasi data yang dianalisis. Sangat disarankan untuk mencadangkan data Anda sebelum menggunakan sistem ini.

Masalah dan solusi saat ini

1. Kesalahan server internal openai (kode kesalahan: 500)
2. Peningkatan Efisiensi Notetaker
3. Optimalisasi runtime secara keseluruhan
4. Penyuling harus lebih baik

Berkontribusi

Permintaan tarik dipersilakan. Untuk perubahan besar, buka masalah terlebih dahulu untuk membahas apa yang ingin Anda ubah.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.

Sejarah Bintang

Proyek lain

Berikut adalah beberapa proyek penting saya yang lain:

Sharelmapi

Sharelmapi adalah API berbagi model bahasa lokal yang menggunakan FASTAPI untuk menyediakan antarmuka, memungkinkan berbagai program atau perangkat untuk berbagi model lokal yang sama, sehingga mengurangi konsumsi sumber daya. Ini mendukung pembuatan streaming dan berbagai metode konfigurasi model.

• GitHub: Sharelmapi

PIGPIG: Bot Perselisihan LLM multi-modal canggih:

Bot perselisihan yang kuat berdasarkan Model Bahasa Multi-Modal (LLM), yang dirancang untuk berinteraksi dengan pengguna melalui bahasa alami. Ini menggabungkan kemampuan AI canggih dengan fitur -fitur praktis, menawarkan pengalaman yang kaya bagi komunitas perselisihan.

• GitHub: AI-Discord-Bot-Pigpig