ai markdown llm retrieval

Motor de consulta VectordB-LLM a base de trapo

Este proyecto implementa un sistema de consulta de documentos con AI utilizando los modelos de lenguaje Langchain, ChromAdB y OpenAI. Permite a los usuarios crear una base de datos de búsqueda a partir de documentos de Markdown y consultarla usando el lenguaje natural.

Características

• Creación de bases de datos de vectores a partir de documentos de Markdown
• Estimación de costos de incrustación y consulta
• Búsquedas de similitud en la base de datos
• Generación de respuesta a IA para consultas de usuarios

Diagrama de arquitectura

Requisitos

• Python 3.7+
• Dependencias enumeradas en requirements.txt

Instalación

1. Clon este repositorio
2. Crear un entorno virtual:

    python -m venv .venv
   source .venv/bin/activate  # On Windows, use `.venvScriptsactivate`
   

3. Instalar paquetes requeridos:

    pip install -r requirements.txt
   

4. Configure su tecla API de OpenAI en un archivo .env :

    OPENAI_API_KEY=your_api_key_here
   

Empezando

Siga estos pasos para configurar rápidamente y usar el motor de consulta VectordB-LLM basado en RAG:

1. Cree una base de datos a partir de sus documentos de Markdown:

    python create_database.py --data_folder data/go-docs --chroma_db_path chroma_go_docs/
   

   Este comando procesará los archivos de Markdown en el directorio de datos/ GO-Docs y creará una base de datos vectorial en la carpeta chroma_go_docs/.

2. Consulte la base de datos con una pregunta del lenguaje natural:

    python query_data.py --query_text "Explain goroutines in go in a sentence" --chroma_db_path chroma_go_docs/ --prompt_model gpt-3.5-turbo
   

3. Ver la respuesta generada por IA:

    Goroutines are lightweight, concurrent functions or methods in Go that run independently, managed by the Go runtime, allowing for efficient parallel execution and easy implementation of concurrent programming patterns.
   

Uso

Para obtener instrucciones de uso más detalladas, consulte las siguientes secciones:

1. Crea la base de datos

    python create_database.py --data_folder path/to/your/markdown/files --chroma_db_path path/to/save/database
   

2. Consulta la base de datos

    python query_data.py --query_text "Your question here" --chroma_db_path path/to/database --prompt_model gpt-3.5-turbo
   

Estructura de archivo

• create_database.py : script de creación de bases de datos
• query_data.py : script de consulta de bases de datos
• estimate_cost.py : módulo de estimación de costos
• get_token_count.py : utilidad de conteo de tokens
• data/ : Directorio de documentos de Markdown
• chroma/ : almacenamiento de la base de datos de ChromadB (gitignored)

Notas

• Utiliza text-embedding-3-small para incrustaciones y gpt-3.5-turbo para respuestas de forma predeterminada
• Coloque los archivos de Markdown en data/ o especifique una ruta personalizada
• Base de datos ChromAdB almacenada en chroma/ (Gitignored)

Solución de problemas

• Asegurar la versión compatible de Python y la instalación de paquete correcta
• Verificar la clave API de OpenAI y los créditos de cuenta para errores de API

Licencia

Este proyecto tiene licencia bajo los términos de la licencia MIT. Para obtener más información, consulte el archivo de licencia.

Construido con

• Langchain
• Cromadb
• Opadai
• tiktoken

Para preguntas o problemas, abra un problema en el repositorio de GitHub.