Cree una aplicación de Rag Medical usando Biomistral, Qdrant y Llama.cpp
Esta es una implementación de trapo utilizando la pila de código abierto. Biomistral 7b se ha utilizado para construir esta aplicación junto con PubMedbert como modelo de incrustación, Qdrant como un Vector DB auto alojado y Langchain & Llama CPP como marcos de orquestación.
Descripción y características clave:
- Cree una aplicación de generación de generación aumentada (RAG) de recuperación médica de vanguardia utilizando un conjunto de tecnologías poderosas adaptadas para el dominio médico.
- Biomistral 7b, un nuevo modelo de lenguaje grande diseñado específicamente para aplicaciones médicas, que ofrece una precisión incomparable y una visión de consultas médicas complejas.
- Qdrant, una base de datos vectorial autohospedada que ejecutamos dentro de un contenedor Docker. Esta herramienta robusta sirve como columna vertebral para administrar y recuperar vectores de datos de alta dimensión, como los generados por nuestro modelo de lenguaje médico.
- Para mejorar la comprensión de nuestro modelo de los textos médicos, utilizo las incrustaciones de PubMed Bert, un modelo de incrustaciones específicamente diseñado para el dominio médico.
- Esto garantiza que nuestra aplicación pueda comprender los matices de la literatura y consultas médicas, proporcionando respuestas más precisas y relevantes.
- Un componente crucial de nuestra configuración es llama.cpp, una biblioteca que permite la inferencia de modelos de idiomas grandes en máquinas CPU. Este enfoque de modelo cuantificado permite una implementación eficiente y rentable sin comprometer el rendimiento.
- Para orquestar los componentes de nuestros aplicaciones, introduzco Langchain, un marco de orquestación que integra perfectamente nuestras herramientas y servicios, asegurando una operación y escalabilidad sin problemas.
- En el backend, aprovecho a Fastapi, un marco web moderno y rápido (de alto rendimiento) para construir API con Python 3.7+. Fastapi proporciona la velocidad y la facilidad de uso necesaria para crear un backend receptivo y eficiente para nuestra aplicación de trapo médico.
- Finalmente, para la interfaz de usuario web, empleo Bootstrap 5.3, la última versión del kit de herramientas de código abierto más popular del mundo. Esto nos permite crear una interfaz de usuario elegante, intuitiva y de respuesta móvil que haga que nuestra aplicación de trapo médico sea accesible y fácil de usar.
- Configuramos el entorno para integrar estas tecnologías en una aplicación de trapo médico cohesivo y funcional.
Guía de expertos de implementación:
Manifestación ▶ ️
© meze licencia?
Distribuido bajo la licencia MIT. Vea LICENSE para más información.
Si te gusta este proyecto LLM, déjate caer a este repositorio
Seguirme
