Ner-e-hybrid-search-ai-chatbot
Un ejemplo de reconocimiento de entidad nombrada y mapeo de relaciones utilizando una base de datos LLM y vector. Un chatbot de búsqueda híbrida para utilizar las relaciones extraídas.
La búsqueda híbrida buscará tanto entidades fuente como entidades objetivo, lo que dará como resultado una mejor capacidad de búsqueda que el trapo tradicional. Este enfoque permite que se devuelva los recuerdos relevantes que pueden no tener el mismo significado semántico implícito. El método utilizado aquí es una versión simple, pero un enfoque anidado continuo podría usarse a expensas de una longitud de contexto adicional.
Originalmente hecho como una solución para mi proyecto asistente de IA Aetherius, sin embargo, nunca podría hacer que funcione de manera confiable con LLM más pequeños.
Proyecto de asistente de IA principal: https://github.com/libraryofcelsus/aetherius_ai_assistant
Base de datos vectorial: https://github.com/qdrant/qdrant
Colegio de cambios
Instalación
- Instale Python 3.10.6, asegúrese de agregarlo a la ruta: https://www.python.org/downloads/release/python-3106/
- Instalar git: https://git-scm.com/ (GIT se puede omitir descargando el repositorio como un archivo zip bajo el botón de código verde)
- Instale Tesseract para OCR: https://github.com/ub-mannheim/tasseract/wiki Una vez instalado, copie la carpeta "tesseract-oCR" de los archivos de programa a la carpeta principal del proyecto. Alternativamente, también puede instalarlo directamente en una carpeta llamada "Tesseract-OCR" en la carpeta del proyecto en la instalación inicial.
- Si se usa Qdrant Cloud, copie su clave API y URL a su clave respectiva en Settings.json. Qdrant Cloud: https://qdrant.to/cloud
- Para usar un servidor Qdrant local, primero instale Docker: https://www.docker.com/
- Ahora ejecute: Docker Pull Qdrant/Qdrant: V1.5.1 en CMD
- Siguiente ejecución: Docker Run -P 6333: 6333 Qdrant/Qdrant: V1.5.1
- Una vez que el servidor Qdrant local se está ejecutando, el chatbot debe detectar automáticamente. (Ver: https://docs.docker.com/desktop/backup-and-restore/ para hacer copias de seguridad).
- Abra CMD como administrador
- Run Git Clone: Git Clone https://github.com/libraryofcelsus/ner-and-hybrid-search-ai-chatbot.git
- Navegue a la carpeta del proyecto: CD Path_to_chatbot_install
- Crear un entorno virtual: Python -M Venv Venv
- Activar el entorno :. venv scripts activar
- Instale los paquetes requeridos: PIP Install -r requisitos.txt
- Editar configuración en "settings.json"
- Ejecute "hybrid_search_example.py" para usar el chatbot. Ejecute "Extract_relation_from_file.py" para extraer relaciones de la carpeta de carga.
¡Únase a mi discordia para obtener ayuda o para obtener información más profunda!
Servidor Discord: https://discord.gg/pb5zcna7ze
Mi desarrollo de IA se autofinda por mi trabajo diario, ¡considere donar si lo encuentra útil!
