Doc Quest

DOCQUEST?

Como podemos projetar e otimizar um sistema de pano para fornecer saídas personalizadas e ricas em referência para equipes de ciência de dados, gerenciando pacotes internos, em um ambiente offline?

Para quebrá -lo ainda mais:

• Saída personalizada com referências: Investigue como o sistema RAG pode aproveitar as informações específicas do contexto para gerar saídas personalizadas para os cientistas de dados. Explore os métodos para incluir referências precisas e relevantes no conteúdo gerado.
• Sistema offline interno: examine os requisitos técnicos e restrições de implantar um sistema de pano em um ambiente offline. Avalie os desafios relacionados ao armazenamento de dados, processamento e atualizações de modelos sem conectividade da Internet.
• Gerenciando pacotes internos: Analise estratégias para integrar e gerenciar pacotes proprietários de ciências de dados no sistema RAG. Observe os problemas de compatibilidade, controle de versão e gerenciamento de dependência para garantir operação e integração perfeitas.

Visão geral:

O DOCQUEST é um sistema de geração de recuperação offline (RAG) projetado para equipes de ciência de dados. Ele fornece saídas personalizadas e ricas em referência enquanto opera em ambientes sem conectividade à Internet. Este sistema é ideal para configurações seguras em que a privacidade dos dados é fundamental.

Características:

• Operação offline : sistema de pano totalmente funcional que funciona sem conectividade à Internet
• Pré -processamento avançado de documentos : oleoduto robusto para manipulação eficiente de documentos e extração de conteúdo
• Armazenamento de incorporação e vetor de última geração : incorpora vários modelos de incorporação e soluções de armazenamento vetorial
• Pipeline RAG otimizado : inclui processamento de consulta inteligente e recuperação de documentos de alta precisão
• Interface amigável: interface do usuário baseada em streamlit para facilitar a interação

Fontes de dados:

O sistema integra documentação de várias fontes, incluindo:

• Pandas
• Numpy
• Scikit-Learn

Estrutura de pastas:

 DOC-QUEST/
│
├── data/                           # Folder for data/documents
│   ├── documents/                  # Raw or processed document storage
│   └── vector_db/                  # Vector databases
│       ├── child_docs/             # Child documents
│       └── parent_docs/            # Parent documents
│
├── notebooks/                      # Jupyter notebooks for prototyping and experimentation
│   ├── 1_documentation_download.ipynb
│   ├── 2_document_pre_processing.ipynb
│   ├── 3_embedding_vector_save_gpu.ipynb
│   ├── 4_conversation_rag.ipynb
│   ├── data_wrangling.ipynb
│   └── rag_v1.ipynb
│
├── src/                            # Core source code for pipeline components
│   ├── 1_documentation_download.py
│   ├── 2_document_pre_processing.py
│   ├── 3_embedding_vector_save_gpu.py
│   ├── 4_conversation_rag.py
│
├── .gitignore                      # Specifies files/folders to ignore in version control
├── doc_quest_app.py                # DocQuest UI streamlit application
├── README.md                       # Project documentation
└── requirements.txt                # Dependencies for the project

Instalação:

1. Clone o repositório:

    git clone https://github.com/shrivastavasatyam/Doc-Quest.git
   cd Doc-Quest
   

2. Configure um ambiente virtual:

    python3 -m venv .venv
   source .venv/bin/activate
   

3. Instale dependências:

    pip install -r requirements.txt
   

4. Configure a chave da API: Configure sua chave API GROQ como uma variável de ambiente:

    export GROQ_API_KEY=your_groq_api_key
   

   Ou adicione -o diretamente no arquivo doc_quest_app.py :

    os . environ [ "GROQ_API_KEY" ] = "your_groq_api_key"

5. Prepare os caminhos do documento: verifique se os caminhos do seu documento estão definidos corretamente no arquivo doc_quest_app.py :

    parent_doc_path = "/path/to/your/parent_docs"
   child_doc_path = "./path/to/your/child_docs" 

Uso:

1. Inicie o aplicativo Streamlit:

    streamlit run doc_quest_app.py
   

2. Acesse a interface da Web no URL fornecido pelo Streamlit (geralmente http://localhost:8501 ).

3. Use a interface de bate -papo para fazer perguntas e interagir com o sistema de pano.

Componentes do sistema:

• Pré -processamento de documentos : usa BshtmllOader e BeautifulSoup para extração de conteúdo
• Modelos de incorporação : GTE-Large-en-V1.5, GTE-Large, Stella_en_400m_v5
• Armazenamento vetorial : Chroma, Faiss
• Geração de texto : utiliza o modelo LLAMA-3.1-70B

Melhorias futuras:

• Implementando o armazenamento do histórico de bate -papo.
• Otimizando ainda mais o componente de recuperação.
• Adicionando links ancorados para navegação direta às seções de documentos relevantes.
• Apresentando várias opções generativas de seleção de modelos na interface do usuário.