DataChad

¿Datachad V3?

Esta es una aplicación que le permite hacer preguntas sobre cualquier fuente de datos aprovechando las integridades, bases de datos vectoriales, modelos de idiomas grandes y, por último, langchains

¿Cómo funciona?

1. Cargue cualquier file(s) o ingrese cualquier path o url para crear bases de conocimiento que puedan contener múltiples archivos de cualquier tipo, formato y contenido y crear preguntas frecuentes inteligentes que sean listas de preguntas y respuestas numeradas curadas.
2. La fuente de datos o los archivos se cargan y dividen en fragmentos de documentos de texto
3. Los fragmentos del documento de texto están integrados usando incrustaciones de Operai o Huggingface
4. Los incrustaciones se almacenan como un conjunto de datos vectorial para el centro de la base de datos de Activeloop
5. Se crea una langchain que consiste en una selección personalizada de un modelo LLM ( gpt-3.5-turbo por defecto), tienda vectorial múltiple como bases de conocimiento y una única tienda especial de preguntas frecuentes inteligentes
6. Al hacer preguntas a la aplicación, la cadena incorpora el mensaje de entrada y realiza una búsqueda de similitud en las tiendas vectoriales proporcionadas y utiliza los mejores resultados como contexto para que el LLM genere una respuesta apropiada
7. Finalmente, el historial de chat se almacena localmente para habilitar un chatgpt como una conversación de preguntas y respuestas

Bueno saber

• La aplicación solo se ejecuta en py>=3.10 !
• Para ejecutar localmente o implementar en algún lugar, ejecute cp .env.template .env y establezca credenciales en el archivo .env recién creado. Otras opciones son la configuración manual de las variables de entorno del sistema, o las almacenan en .streamlit/secrets.toml cuando se aloja a través de Streamlit.
• Si tiene credenciales establecidas como se explicó anteriormente, puede presionar submit en la autenticación sin volver a ingresar sus credenciales en la aplicación.
• Si ejecuta la aplicación, considere modificar la configuración en datachad/backend/constants.py , por ejemplo, habilitar opciones avanzadas
• ¿Sus datos no se cargarán? ¡No dude en abrir un problema o PR y contribuir!
• Use lanzamientos anteriores como V1 o V2 ​​para la funcionalidad original y la interfaz de usuario

¿Cómo se ve?

Lista de tareas

Si le gusta contribuir, no dude en obtener cualquier tarea

• Refactor de utilización, especialmente los cargadores
• Agregar opción para elegir modelo e incrustaciones
• Habilitar el modo completamente local / privado
• Agregar opción para cargar varios archivos en un solo conjunto de datos
• Decouple Datachad módulos desde optimista
• Eliminar todo el modo local y otras cosas V1
• Cargar bases de conocimiento existentes
• Eliminar las bases de conocimiento existentes
• Habilitar respuestas de transmisión
• Mostrar contexto recuperado
• Refactor UI
• Introducir preguntas frecuentes inteligentes
• Intercambio de almacenamiento de archivos descargado con Tempfile
• Agregar creación de usuarios e iniciar sesión
• Agregar historial de chat por usuario
• Hacer todas las E/S asíncronas
• Implementar rutas de Fastapi y aplicación de backend
• Implementar una interfaz adecuada (reaccionar o lo que sea)
• Contenerizar la aplicación