Aplicación de fusión de generación de recuperación fuera de línea (RAG-Fusion) con Ollama, Langchain, Llama3-8b, Faiss y Mistral-7B
Documento de referencia - https://arxiv.org/pdf/2402.03367
Este proyecto implementa una aplicación completa de fusión de trapo fuera de línea para la generación y recuperación de texto, aprovechando los recursos locales eficientes.
- Operación fuera de línea: se ejecuta completamente sin conectividad a Internet, ideal para escenarios con acceso de red limitado o poco confiable.
- Costo cero: utiliza herramientas de código abierto disponibles gratuitamente, minimizando los gastos de infraestructura.
- Ollama con LLAMA3-8B LLM: Emplea a Ollama para la ejecución fuera de línea del poderoso modelo de lenguaje LLAMA3, que permite una generación de texto efectiva.
- Base de datos Vector FAISS: Aproveche FAISS, una base de datos vectorial fuera de línea de alto rendimiento, para almacenar y recuperar eficientemente las integridades de documentos.
- Embedidos de la cara abrazada: integra incrustaciones previamente capacitadas de la cara de abrazo para la representación semántica de datos textuales.
- MultiCeryRetriever: automatiza el proceso de ajuste adicional mediante el uso de un LLM para generar múltiples consultas desde diferentes perspectivas para una consulta de entrada del usuario dada.
Empezando
Ejecute los siguientes comandos en su terminal.
Clon este repositorio.
git clone https://github.com/RionDsilvaCS/research-assistant-rag-fusion.git
Instale las dependencias requeridas (asegúrese de estar dentro del Dir Git)
pip install -r requirements.txt
Para crear su propio Vector DB
Configure la configuración del proyecto Asegúrese de tener el Ollama ejecutándose en su dispositivo. https://ollama.com/download
https://ollama.com/library/llama3
https://ollama.com/library/mistral
Ahora Everthying está listo para correr
Tubería de rag-fusión fuera de línea
Aumente su eficiencia de investigación con estos poderosos beneficios:
Este asistente de investigación con fusión de trapo ofrece una multitud de ventajas para elevar su juego de investigación:
- Precisión y amplitud mejorada: la fusión de trapo asegura que sus consultas recuperen la información más relevante de su corpus de investigación, fomentando una comprensión más profunda de su tema.
- Spare nuevas vías de investigación: la generación multígual con Langchain lo ayuda a descubrir conexiones ocultas y explorar diversas perspectivas, lo que lleva a innovadoras posibilidades de investigación.
- Flujo de trabajo ininterrumpido: ¡Trabaja sin problemas! La tienda Vector mantiene sus datos de investigación fácilmente accesibles, eliminando la necesidad de una conexión a Internet.
- Solución rentable: todas las tecnologías utilizadas en este proyecto son de código abierto, lo que hace que esta sea una poderosa herramienta de investigación sin tarifas de licencia.
- Productividad de investigación mejorada: racionalizar su proceso de investigación recuperando sin esfuerzo información relevante y obteniendo nuevas ideas, liberando un tiempo valioso para el análisis y la exploración.
- Inspiración fuera de línea: este asistente de investigación se convierte en su compañero constante, listo para provocar inspiración y guiar su viaje de investigación incluso sin una conexión a Internet.
Estos beneficios combinan a los investigadores para lograr una mayor eficiencia, desbloquear nuevas vías de investigación y, en última instancia, hacer contribuciones significativas a su campo.
Sígueme
Github @riondsilvacs · LinkedIn @rion dsilva · twitter @rion_dsilva_cs
