ai markdown llm retrieval

Motor de consulta VectordB-Llm baseado em trapaceiro

Este projeto implementa um sistema de consulta de documentos movido a IA usando os modelos de idiomas Langchain, Chromadb e Openai. Ele permite que os usuários criem um banco de dados pesquisável a partir de documentos do Markdown e consulte -o usando a linguagem natural.

Características

• Criação de banco de dados vetorial a partir de documentos de Markdown
• Incorporação e estimativa de custo de consulta
• Pesquisas de similaridade no banco de dados
• Geração de resposta a IA para consultas de usuário

Diagrama de arquitetura

Requisitos

• Python 3.7+
• Dependências listadas em requirements.txt

Instalação

1. Clone este repositório
2. Crie um ambiente virtual:

    python -m venv .venv
   source .venv/bin/activate  # On Windows, use `.venvScriptsactivate`
   

3. Instale os pacotes necessários:

    pip install -r requirements.txt
   

4. Configure sua chave de API do OpenAI em um arquivo .env :

    OPENAI_API_KEY=your_api_key_here
   

Começando

Siga estas etapas para configurar rapidamente e usar o mecanismo de consulta Vectordb-Llm baseado em RAG:

1. Crie um banco de dados a partir de seus documentos de Markdown:

    python create_database.py --data_folder data/go-docs --chroma_db_path chroma_go_docs/
   

   Este comando processará os arquivos de marcação no diretório Data/ Go-Docs e criará um banco de dados vetorial na pasta Chroma_GO_DOCS/.

2. Consulte o banco de dados com uma pergunta de linguagem natural:

    python query_data.py --query_text "Explain goroutines in go in a sentence" --chroma_db_path chroma_go_docs/ --prompt_model gpt-3.5-turbo
   

3. Veja a resposta gerada pela IA:

    Goroutines are lightweight, concurrent functions or methods in Go that run independently, managed by the Go runtime, allowing for efficient parallel execution and easy implementation of concurrent programming patterns.
   

Uso

Para obter instruções de uso mais detalhadas, consulte as seções a seguir:

1. Crie o banco de dados

    python create_database.py --data_folder path/to/your/markdown/files --chroma_db_path path/to/save/database
   

2. Consulte o banco de dados

    python query_data.py --query_text "Your question here" --chroma_db_path path/to/database --prompt_model gpt-3.5-turbo
   

Estrutura de arquivo

• create_database.py : script de criação de banco de dados
• query_data.py : script de consulta de banco de dados
• estimate_cost.py : módulo de estimativa de custo
• get_token_count.py : utilitário de contagem de token
• data/ : Diretório de documentos de Markdown
• chroma/ : Storage do banco de dados Chromadb (Gitignored)

Notas

• Usa text-embedding-3-small para incorporar e gpt-3.5-turbo para respostas por padrão
• Coloque os arquivos de marcação em data/ ou especifique um caminho personalizado
• Banco de dados Chromadb armazenado no chroma/ (Gitignored)

Solução de problemas

• Verifique se a versão compatível do Python e a instalação correta do pacote
• Verifique os créditos da chave da API OpenAI e os erros da API para erros de API

Licença

Este projeto está licenciado nos termos da licença do MIT. Para mais informações, consulte o arquivo de licença.

Construído com

• Langchain
• Chromadb
• Openai
• Tiktoken

Para perguntas ou questões, abra um problema no repositório do GitHub.