medicalrag

---

Base de conocimiento de trapo médico (generación de recuperación y azotación)

Este proyecto construye una base de conocimiento de la generación de recuperación médica (RAG) utilizando Next.js , Langchain y Pinecone como la base de datos vectorial. El sistema procesa documentos médicos (por ejemplo, archivos PDF) y almacena sus incrustaciones en una base de datos vectorial, lo que permite una búsqueda de similitud eficiente para recuperar información relevante en respuesta a las consultas de los usuarios.

Tabla de contenido

• Descripción general
• Características
• Tecnologías
• Configuración e instalación
• Configuración
• Uso
• Estructura de proyectos
• Solución de problemas

Descripción general

Esta aplicación proporciona una interfaz fácil de usar para cargar documentos médicos como PDFS, convertirlos en trozos y almacenar sus incrustaciones en una base de datos vectorial (Pinecone). El sistema utiliza Langchain para fragmentar documentos y abrazar los modelos de incrustación de Face para generar incrustaciones. Estas incrustaciones se pueden buscar eficientemente para recuperar información relevante de las bases de conocimiento médico.

Características

• Cargue y procese documentos médicos (PDF, archivos de texto).
• Fragmentar grandes documentos y generar integridades vectoriales utilizando un modelo basado en ONX .
• Almacene los incrustaciones de documentos en Pinecone para una búsqueda eficiente de similitud.
• Barra de progreso para rastrear el proceso de incrustación.
• Fácilmente extensible para incluir más documentos médicos y mejorar la base de conocimiento.

Tecnologías

• Next.js : para construir las rutas front-end y API.
• Langchain : para fragmentos de documentos e incrustación.
• Pinecone : Base de datos de vectores para almacenar incrustaciones de documentos.
• Abrazando transformadores de la cara : generar embebidos utilizando modelos previamente capacitados.
• TypeScript : para el tipo de seguridad.
• Shadcn UI : para construir los componentes de la interfaz de usuario.

Configuración e instalación

1. Clonar el repositorio

git clone https://github.com/ShantamShukla/medicalrag.git
cd medicalrag

2. Instalar dependencias

Asegúrese de tener Node.js (versión 18 o superior) instalado. Luego instale los paquetes requeridos:

npm install

3. Variables de entorno

Cree un archivo .env en la raíz del proyecto y agregue las siguientes variables de entorno:

PINECONE_API_KEY=your_pinecone_api_key

Puede obtener su tecla API Pinecone registrándose en Pinecone.

4. Configurar pinecone

• Inicie sesión en Pinecone y cree un índice.
• Use 1024 como la dimensión para incrustaciones y la similitud cosena como la métrica.

5. Ejecute la aplicación

Después de configurar, ejecute el servidor de desarrollo:

npm run dev

Su aplicación ahora se ejecutará en http://localhost:3000 .

Configuración

Las siguientes configuraciones son esenciales para la aplicación:

• Nombre del índice de Pinecone : el nombre del índice en el que se almacenan los incrustaciones de documentos.
• Espacio de nombres : puede almacenar diferentes conjuntos de documentos en Pinecone en espacios de nombres separados.

Puede especificarlos en la interfaz de usuario antes de cargar archivos.

Uso

1. Subir documentos

• Abra la aplicación en http://localhost:3000 .
• Seleccione PDF o archivos de texto de su sistema local.
• Especifique el nombre del índice y el espacio de nombres para almacenar incrustaciones.
• Haga clic en el botón Cargar para comenzar el proceso de incrustación.

La barra de progreso rastreará el proceso, y las embedidas serán empujadas a la base de datos de Pinecone.

2. Ver vectores almacenados

Una vez que se procesan y almacenan los incrustaciones, puede verlos en su tablero de Pinecone.

3. Buscando incrustaciones (característica futura)

Puede extender la aplicación creando una interfaz de búsqueda para consultar los incrustaciones almacenadas y recuperar información relevante.

Estructura de proyectos

 ├── pages/
│   ├── api/
│   │   └── updatedatabase.ts  # API route to handle document uploading and embedding
│   ├── index.tsx              # Main page for uploading documents
├── utils/
│   ├── updateVectorDB.ts      # Utility function to chunk, embed, and upload vectors
├── components/
│   └── UI components for the project
├── documents/                 # Place for storing documents
├── config.ts                  # Configuration file (batch sizes, etc.)
├── .env                       # Environment variables
└── README.md                  # This readme file

Solución de problemas

1. Obtener errores

Si encuentra el error:

 Failed to find any user-provided fetch implementation. Using global fetch implementation.

Asegúrese de ejecutar Node.js versión 18+ , que proporciona una función fetch global. Puede actualizar Node.js usando:

nvm install 18
nvm use 18

2. Clave de API faltante

Si los vectores no están siendo presionados a Pinecone, asegúrese de que su tecla API esté configurada correctamente en el archivo .env .

3. Procesamiento de archivos grandes

Para los grandes documentos PDF, el proceso de incrustación puede llevar tiempo. Déjelo funcionar hasta que la barra de progreso muestre la finalización.

---