LLM with RAG

Escenario

1. Archivo de trapo
   • Modelo de lenguaje grande:
     • Modelo de idioma: "Databricks/DBRX-Instruct": https://huggingface.co/databricks/dbrx-instruct
     • Cliente de Nvidia: https://build.nvidia.com/databricks/dbrx-instruct
   • Base de datos vectorial:
     • Milvus: https://milvus.io/
     • Modelo de incrustación: https://huggingface.co/thenlper/gte-base
     • Soporte del sistema operativo: Linux
       • Actualmente no admite Windows OS porque Milvus_Lite no admite Windows OS
       • Elegirá diferentes bases de datos en el futuro para solucionar este problema
2. archivo pdf_to_txt
   • Mango actual:
     • PDF (texto) a txt
     • Necesita mejorar el preprocesamiento en orden para alimentar al modelo de trapo
3. Progress (10/01/2024): la versión simplificada funciona en Linux, con una capacidad de consulta
   • (10/02/2024): capaz de reutilizar la colección para consultar

Etapa dos (actual)

1. Creación de lector de PDF usando OCR
   • aceptar pdf cargado
   • Leer usando Easyocr
   • Almacene los resultados en archivos, preferiblemente un archivo para cada PDF
2. El archivo RAG admite preguntas y respuesta recursivas
3. Capaz de almacenar el control de calidad histórico en los archivos correspondientes

Etapa tres

1. Combine el trapo con el lector de PDF
2. Soporte de memoria a largo plazo LLM
   • Agregar historial de control de calidad a otro almacenamiento
   • Combinar respuestas con la historia

Implementación de limpieza y optimizar

1. optimización, velocidad y memoria

¿Despliegue?