LLM_NER_and_Branching_Hybrid_Search_Chatbot

Ner-and-hybrid-search-ai-chatbot

Contoh pengenalan namanya dan pemetaan hubungan menggunakan database LLM dan vektor. Chatbot pencarian hibrida untuk memanfaatkan hubungan yang diekstraksi.

Pencarian hibrida akan mencari entitas sumber dan entitas target, menghasilkan kemampuan pencarian yang lebih baik daripada kain tradisional. Pendekatan ini memungkinkan ingatan yang relevan yang mungkin tidak memiliki makna semantik implisit yang sama untuk dikembalikan. Metode yang digunakan di sini adalah versi sederhana, tetapi pendekatan bersarang yang berkelanjutan dapat digunakan dengan mengorbankan panjang konteks tambahan.

Awalnya dibuat sebagai solusi untuk proyek asisten Aeterius AI saya, namun saya tidak pernah bisa membuatnya bekerja dengan andal dengan LLM yang lebih kecil.

Proyek Asisten AI Utama: https://github.com/libraryofcelsus/aetherius_ai_assistant

Database Vektor: https://github.com/qdrant/qdrant

Changelog

• 2/19 Mengubah PDF Membaca untuk menggunakan Tesseract

• 2/18 menambahkan output CSV

Instalasi

1. Instal Python 3.10.6, pastikan Anda menambahkannya ke jalur: https://www.python.org/downloads/release/python-3106/
2. Instal Git: https://git-scm.com/ (git dapat dilewati dengan mengunduh repo sebagai file zip di bawah tombol kode hijau)
3. Instal Tesseract untuk OCR: https://github.com/ub-mannheim/tesseract/wiki Setelah diinstal, salin folder "Tesseract-ocr" dari file program ke folder proyek utama. Alternatif Anda juga dapat menginstalnya langsung ke folder bernama "tesseract-ocr" di folder proyek pada pemasangan awal.
4. Jika menggunakan qdrant cloud salin kunci API dan URL mereka ke kunci masing -masing di settings.json. Qdrant Cloud: https://qdrant.to/cloud
5. Untuk menggunakan server Qdrant lokal, instal pertama Docker: https://www.docker.com/
6. Sekarang jalankan: Docker Pull Qdrant/Qdrant: v1.5.1 di CMD
7. Berikutnya: Docker Run -P 6333: 6333 Qdrant/Qdrant: v1.5.1
8. Setelah server Qdrant lokal berjalan, itu harus dideteksi secara otomatis oleh chatbot. (Lihat: https://docs.docker.com/desktop/backup-and-restore/ untuk cara membuat cadangan.)
9. Buka CMD sebagai Admin
10. Jalankan git clone: ​​git clone https://github.com/libraryofcelsus/ner-and-hybrid-search-ai-datbot.git
11. Arahkan ke Folder Proyek: CD Path_to_chatbot_install
12. Buat lingkungan virtual: python -m venv venv
13. Aktifkan Lingkungan :. Venv Scripts Activate
14. Instal Paket yang Diperlukan: Pip Instal -R Persyaratan.txt
15. Edit Pengaturan di "Settings.json"
16. Jalankan "hybrid_search_example.py" untuk menggunakan chatbot. Jalankan "Extract_relation_from_file.py" untuk mengekstrak hubungan dari folder unggah.

---

Bergabunglah dengan perselisihan saya untuk bantuan atau untuk mendapatkan lebih banyak informasi mendalam!

Server Discord: https://discord.gg/pb5zcna7ze

---

Pengembangan AI saya didanai sendiri oleh pekerjaan harian saya, pertimbangkan untuk menyumbang jika Anda merasa berguna!