Ner-et-hybride-recherche-ai-chatbot
Un exemple de reconnaissance et de mappage de relations nommées nommées à l'aide d'une base de données LLM et vectorielle. Un chatbot de recherche hybride pour utiliser les relations extraites.
La recherche hybride recherchera à la fois les entités source et les entités cibles, ce qui entraîne une meilleure capacité de recherche que le chiffon traditionnel. Cette approche permet de retourner les souvenirs pertinents qui peuvent ne pas avoir la même signification sémantique implicite. La méthode utilisée ici est une version simple, mais une approche imbriquée continue pourrait être utilisée au détriment de la longueur de contexte supplémentaire.
Fabriqué à l'origine comme une solution pour mon projet Aetherius AI Assistant, mais je ne pourrais jamais le faire fonctionner de manière fiable avec des LLM plus petits.
PROJET ASSISTANT-AI principal: https://github.com/libraryofcelsus/aetherius_ai_assistant
Base de données vectorielle: https://github.com/qdrant/qdrant
Changelog
Installation
- Installez Python 3.10.6, assurez-vous de l'ajouter au chemin: https://www.python.org/downloads/release/python-3106/
- Installer Git: https://git-scm.com/ (Git peut être ignoré en téléchargeant le repo en tant que fichier zip sous le bouton du code vert)
- Installez Tesseract pour OCR: https://github.com/ub-mannheim/tesseract/wiki une fois installé, copiez le dossier "Tesseract-ocr" des fichiers de programme vers le dossier principal du projet. Alternativement, vous pouvez également l'installer directement dans un dossier nommé "Tesseract-OCR" dans le dossier du projet lors de l'installation initiale.
- Si vous utilisez Cloud QDrant, copiez leur clé API et leur URL sur leur clé respective dans les paramètres.json. Cloud Qdrant: https://qdrant.to/cloud
- Pour utiliser un serveur QDrant local, installez d'abord Docker: https://www.docker.com/
- Maintenant exécuté: Docker Pull Qdrant / Qdrant: V1.5.1 dans CMD
- Next Run: Docker Run -P 6333: 6333 QDRANT / QDRANT: V1.5.1
- Une fois le serveur QDrant local en cours d'exécution, il doit être détecté automatiquement par le chatbot. (Voir: https://docs.docker.com/desktop/backup-and-restore/ pour comment faire des sauvegardes.)
- Ouvrir CMD en tant qu'administrateur
- Run git clone: git clone https://github.com/libraryofcelsus/ner-and-hybrid-search-ai-chatbot.git
- Accédez au dossier du projet: CD PATH_TO_CHATBOT_INSTALL
- Créer un environnement virtuel: Python -M Venv Venv
- Activer l'environnement :. VENV SCRIPTS Activer
- Installez les packages requis: PIP Installer -R exigences.txt
- Modifier les paramètres dans "Settings.json"
- Exécutez "hybrid_search_example.py" pour utiliser le chatbot. Exécutez "extract_relation_from_file.py" pour extraire les relations du dossier de téléchargement.
Rejoignez ma discorde pour obtenir de l'aide ou pour obtenir des informations plus approfondies!
Discord Server: https://discord.gg/pb5zcna7ze
Mon développement de l'IA est autofinancé par mon travail de jour, envisagez de faire un don si vous le trouvez utile!
