Doc Quest

DOCQUEST?: Inhouse RAGE-System (RAG) -System (RAGMENTED SUGENTED SUGENTE

Wie können wir ein Lag-System entwerfen und optimieren, um personalisierte, referenzreiche Ausgaben für Datenwissenschaftsteams bereitzustellen und gleichzeitig interne Pakete in einer Offline-Umgebung zu verwalten?

Um es weiter zu brechen:

• Customized Output mit Referenzen: Untersuchen Sie, wie das RAG-System kontextspezifische Informationen nutzen kann, um maßgeschneiderte Outputs für Datenwissenschaftler zu generieren. Untersuchen Sie die Methoden, um genaue und relevante Referenzen in den generierten Inhalt aufzunehmen.
• Inhouse-Offline-System: Untersuchen Sie die technischen Anforderungen und Einschränkungen der Bereitstellung eines Lappensystems in einer Offline-Umgebung. Bewerten Sie die Herausforderungen im Zusammenhang mit der Datenspeicherung, Verarbeitung und Modellaktualisierungen ohne Internetkonnektivität.
• Verwaltung interner Pakete: Analyse von Strategien zur Integration und Verwaltung proprietärer Datenwissenschaftspakete in das RAG-System. Schauen Sie sich die Kompatibilitätsprobleme, die Versionskontrolle und das Abhängigkeitsmanagement an, um einen nahtlosen Betrieb und Integration zu gewährleisten.

Überblick:

DocQuest ist ein Offline-Abruf-Abruf-Generationssystem (RAG), das für Data Science-Teams entwickelt wurde. Es bietet personalisierte, referenzreiche Outputs, während es in Umgebungen ohne Internetkonnektivität arbeitet. Dieses System ist ideal für sichere Einstellungen, bei denen Datenschutz von größter Bedeutung ist.

Merkmale:

• Offline -Betrieb : voll funktionsfähiges Lappensystem, das ohne Internetkonnektivität funktioniert
• Erweiterte Dokumentenvorverarbeitung : Robuste Pipeline für effiziente Dokumentenhandhabung und Inhaltsextraktion
• Hochgeschäfte Einbettungs- und Vektorspeicher : Integriert mehrere Einbettungsmodelle und Vektorspeicherlösungen
• Optimierte Lag-Pipeline : Beinhaltet intelligente Abfrageberechnung und hochpräzise Dokumentabruf
• Benutzerfreundliche Schnittstelle : Streamlit-basierte Benutzeroberfläche für einfache Interaktion

Datenquellen:

Das System integriert Dokumentation aus mehreren Quellen, einschließlich:

• Pandas
• Numpy
• Scikit-Learn

Ordnerstruktur:

 DOC-QUEST/
│
├── data/                           # Folder for data/documents
│   ├── documents/                  # Raw or processed document storage
│   └── vector_db/                  # Vector databases
│       ├── child_docs/             # Child documents
│       └── parent_docs/            # Parent documents
│
├── notebooks/                      # Jupyter notebooks for prototyping and experimentation
│   ├── 1_documentation_download.ipynb
│   ├── 2_document_pre_processing.ipynb
│   ├── 3_embedding_vector_save_gpu.ipynb
│   ├── 4_conversation_rag.ipynb
│   ├── data_wrangling.ipynb
│   └── rag_v1.ipynb
│
├── src/                            # Core source code for pipeline components
│   ├── 1_documentation_download.py
│   ├── 2_document_pre_processing.py
│   ├── 3_embedding_vector_save_gpu.py
│   ├── 4_conversation_rag.py
│
├── .gitignore                      # Specifies files/folders to ignore in version control
├── doc_quest_app.py                # DocQuest UI streamlit application
├── README.md                       # Project documentation
└── requirements.txt                # Dependencies for the project

Installation:

1. Klonen Sie das Repository:

    git clone https://github.com/shrivastavasatyam/Doc-Quest.git
   cd Doc-Quest
   

2. Richten Sie eine virtuelle Umgebung ein:

    python3 -m venv .venv
   source .venv/bin/activate
   

3. Abhängigkeiten installieren:

    pip install -r requirements.txt
   

4. Konfigurieren Sie den API -Schlüssel: Richten Sie Ihre COQ -API -Taste als Umgebungsvariable ein:

    export GROQ_API_KEY=your_groq_api_key
   

   Oder fügen Sie es direkt in die Datei doc_quest_app.py hinzu:

    os . environ [ "GROQ_API_KEY" ] = "your_groq_api_key"

5. Dokumentpfade vorbereiten: Stellen Sie sicher, dass Ihre Dokumentpfade in der Datei doc_quest_app.py korrekt eingestellt sind:

    parent_doc_path = "/path/to/your/parent_docs"
   child_doc_path = "./path/to/your/child_docs" 

Verwendung:

1. Starten Sie die Streamlit -App:

    streamlit run doc_quest_app.py
   

2. Greifen Sie auf die Webschnittstelle an der von Streamlit bereitgestellten URL zu (normalerweise http://localhost:8501 ).

3. Verwenden Sie die Chat -Schnittstelle, um Fragen zu stellen und mit dem Lappensystem zu interagieren.

Systemkomponenten:

• Dokumentvorverarbeitung
• Einbettungsmodelle : gte-large-v1.5, gte-large, stella_en_400m_v5
• Vektorspeicherung : Chroma, Faiss
• Textgenerierung : Verwendet das Lama-3.1-70b-Modell

Zukünftige Verbesserungen:

• Implementierung des Chat -Verlaufs.
• Weitere Optimierung der Abrufkomponente.
• Hinzufügen verankerter Links für die direkte Navigation zu relevanten Dokumentabschnitten.
• Einführung mehrerer generativer Modellauswahloptionen in der Benutzeroberfläche.