DataChad

Datachad v3?

Ini adalah aplikasi yang memungkinkan Anda mengajukan pertanyaan tentang sumber data apa pun dengan memanfaatkan embeddings, database vektor, model bahasa besar dan langchains terakhir

Bagaimana cara kerjanya?

1. Unggah file(s) apa pun atau masukkan path atau url apa pun untuk membuat basis pengetahuan yang dapat berisi banyak file dari jenis apa pun, format, dan konten dan membuat FAQ pintar yang merupakan daftar tanya jawab bernomor dikuratori.
2. Sumber atau file data dimuat dan dipisahkan ke dalam potongan dokumen teks
3. Potongan dokumen teks tertanam menggunakan OpenAi atau Huggingface Embeddings
4. Embeddings disimpan sebagai dataset vektor ke hub database ActiveLoop
5. Langchain dibuat yang terdiri dari pemilihan kustom model LLM ( gpt-3.5-turbo secara default), beberapa toko vektor sebagai basis pengetahuan dan toko vektor faq pintar tunggal khusus
6. Saat mengajukan pertanyaan kepada aplikasi, rantai tersebut menanamkan prompt input dan melakukan pencarian kesamaan di toko vektor yang disediakan dan menggunakan hasil terbaik sebagai konteks LLM untuk menghasilkan respons yang tepat
7. Akhirnya riwayat obrolan di -cache secara lokal untuk mengaktifkan chatgpt seperti tanya jawab

Senang mengetahui

• Aplikasi ini hanya berjalan di py>=3.10 !
• Untuk menjalankan secara lokal atau digunakan di suatu tempat, jalankan cp .env.template .env dan atur kredensial dalam file .env yang baru dibuat. Opsi lain adalah pengaturan variabel lingkungan sistem secara manual, atau menyimpannya ke .streamlit/secrets.toml saat di -host melalui streamLit.
• Jika Anda memiliki kredensial yang ditetapkan seperti dijelaskan di atas, Anda dapat menekan submit dalam otentikasi tanpa memasuki kembali kredensial Anda di aplikasi.
• Jika Anda menjalankan aplikasi, pertimbangkan untuk memodifikasi konfigurasi di datachad/backend/constants.py , misalnya mengaktifkan opsi lanjutan
• Data Anda tidak akan dimuat? Jangan ragu untuk membuka masalah atau PR dan berkontribusi!
• Gunakan rilis sebelumnya seperti V1 atau V2 untuk fungsionalitas asli dan UI

Bagaimana kelihatannya?

Daftar TODO

Jika Anda ingin berkontribusi, jangan ragu untuk mengambil tugas apa pun

• Refactor utils, terutama loader
• Tambahkan opsi untuk memilih model dan embeddings
• Aktifkan mode lokal / pribadi sepenuhnya
• Tambahkan opsi untuk mengunggah beberapa file ke satu dataset tunggal
• Decouple Datachad Modul dari StreamLit
• Hapus semua mode lokal dan barang V1 lainnya
• Memuat basis pengetahuan yang ada
• Hapus basis pengetahuan yang ada
• Aktifkan respons streaming
• Menunjukkan konteks yang diambil
• Refactor UI
• Perkenalkan FAQ pintar
• Pertukaran penyimpanan file yang diunduh dengan tempfile
• Tambahkan Pembuatan dan Masuk Pengguna
• Tambahkan riwayat obrolan per pengguna
• Membuat semua I/O Asynchronous
• Menerapkan rute FASTAPI dan aplikasi backend
• Menerapkan frontend yang tepat (bereaksi atau apa pun)
• Campurkan aplikasi