chat_with_your_docs

judul	emoji	warna dari	Colorto	SDK	SDK_VERSION	app_file	disematkan	lisensi
Mengobrol dengan dokumen Anda		biru	abu-abu	gradio	4.41.0	app.py	PALSU	mit

Mengobrol dengan dokumen Anda

Perkenalan

---

Aplikasi obrolan Chatwithyourdocs adalah aplikasi Python yang memungkinkan Anda untuk mengobrol dengan beberapa format dokumen seperti PDF, halaman web, dan video YouTube. Anda dapat mengajukan pertanyaan tentang PDF menggunakan bahasa alami, dan aplikasi akan memberikan tanggapan yang relevan berdasarkan konten dokumen. Aplikasi ini menggunakan model bahasa untuk menghasilkan jawaban yang akurat untuk pertanyaan Anda. Harap dicatat bahwa aplikasi hanya akan menanggapi pertanyaan yang terkait dengan dokumen yang dimuat.

Cara kerjanya

---

Aplikasi ini mengikuti langkah -langkah ini untuk memberikan tanggapan terhadap pertanyaan Anda:

1. Loading DOC: Aplikasi membaca beberapa jenis dokumen dan mengekstrak konten teks mereka.

2. Teks Chunking: Teks yang diekstraksi dibagi menjadi potongan -potongan kecil yang dapat diproses secara efektif.

3. Model Bahasa: Aplikasi menggunakan model bahasa untuk menghasilkan representasi vektor (embeddings) dari potongan teks.

4. Pencocokan Kesamaan: Ketika Anda mengajukan pertanyaan, aplikasi membandingkannya dengan potongan teks dan mengidentifikasi yang paling serupa secara semantik.

5. Generasi respons: potongan yang dipilih diteruskan ke model bahasa, yang menghasilkan respons berdasarkan konten yang relevan dari dokumen.

Ketergantungan dan instalasi

---

Untuk menginstal obrolan dengan aplikasi dokumen Anda, silakan ikuti langkah -langkah ini:

1. Unduh Perpustakaan Ollama

    curl https://ollama.ai/install.sh | sh
   

2. Tarik model obrolan yang akan kami gunakan, dalam hal ini kami akan menggunakan llama2, mistral dan gemma

    ollama pull llama2
   

    ollama pull mistral
   

    ollama pull gemma
   

3. Buat lingkungan baru dengan Python 3.9 dan aktifkan, dalam hal ini kami akan menggunakan conda

    conda create -n cwd python=3.9
   

    conda activate cwd
   

4. Kloning repositori ke mesin lokal Anda.

    git clone https://github.com/jorge-armando-navarro-flores/chat_with_your_docs.git
   

    cd chat_with_your_docs
   

5. Instal dependensi yang diperlukan dengan menjalankan perintah berikut:

    pip install -r requirements.txt
   

6. Instal FFMPEG untuk video YouTube:

    sudo apt-get install ffmpeg
   

Penggunaan

---

Untuk menggunakan obrolan dengan aplikasi dokumen Anda, ikuti langkah -langkah ini:

1. Jalankan file main.py menggunakan streamLit CLI. Jalankan perintah berikut:

    python3 main.py
   

2. Aplikasi akan diluncurkan di browser web default Anda, menampilkan antarmuka pengguna.

Arsitektur

Kelas:

• LLM: Kelas abstrak ini berfungsi sebagai cetak biru untuk implementasi LLM yang berbeda. Ini memiliki subclass seperti OllamaModel , OpenAIModel , dan HFModel yang menangani penyedia LLM tertentu (Ollama, Openai, dan Face Face).
• Dokumen: Kelas ini mengelola pemuatan dokumen dari berbagai sumber seperti PDF, halaman web, dan video YouTube.
• VectorStore: Kelas ini menciptakan representasi vektor dokumen menggunakan embeddings LLM untuk pengambilan yang efisien.
• Rantai: Kelas ini mendefinisikan pipa pemrosesan untuk chatbot. Ini bisa menjadi rantai sederhana untuk menjawab pertanyaan dasar atau rantai pengambilan yang mencari dokumen berdasarkan riwayat percakapan.
• Chatbot: Kelas ini menangani interaksi pengguna, mempertahankan riwayat percakapan, dan memanggil metode rantai yang sesuai untuk menghasilkan respons.
• ChatBotController: Kelas ini adalah antarmuka utama bagi pengguna. Ini memungkinkan pengaturan model LLM, sumber dokumen, dan opsi pengambilan. Ini juga menangani kueri pengguna dan berinteraksi dengan instance chatbot.

Fungsionalitas:

1. Menyiapkan:

   • Pengguna memilih penyedia LLM (Ollama, OpenAi, atau Huggingface) dan model dari menu dropdown. Secara opsional, kunci API mungkin diperlukan untuk penyedia tertentu.
   • Pengguna dapat memilih untuk menambahkan dokumen (PDF, URL halaman web, atau URL video YouTube) untuk tugas pengambilan.

2. Pengolahan:

   • Berdasarkan LLM dan dokumen yang dipilih (jika ada), pengontrol mengkonfigurasi rantai pemrosesan.
   • Rantai sederhana digunakan untuk menjawab pertanyaan dasar tanpa pengambilan dokumen.
   • Rantai pengambilan melibatkan:
     • Membuat representasi vektor dokumen menggunakan embeddings LLM.
     • Mendefinisikan petunjuk untuk menghasilkan pertanyaan pencarian berdasarkan riwayat percakapan.
     • Mengambil dokumen yang relevan berdasarkan pertanyaan yang dihasilkan.
     • Menggunakan dokumen yang diambil untuk menjawab pertanyaan pengguna.

3. Interaksi:

   • Pengguna mengetik pertanyaan mereka di antarmuka obrolan.
   • Pengontrol memanggil metode predict chatbot, melewati kueri dan riwayat percakapan pengguna (jika pengambilan diaktifkan).
   • Chatbot mengambil respons yang sesuai berdasarkan konfigurasi rantai yang dipilih.

Fitur tambahan:

• Antarmuka termasuk tombol untuk riwayat percakapan "undo" dan "jelas".

Secara keseluruhan, kode ini menunjukkan arsitektur yang terstruktur dengan baik untuk chatbot yang dapat memanfaatkan LLM yang berbeda dan menggabungkan pengambilan dokumen untuk kemampuan yang ditingkatkan.