LLM_NER_and_Branching_Hybrid_Search_Chatbot download - LLM_NER_and_Branching_Hybrid_Search

LLM_NER_and_Branching_Hybrid_Search_Chatbot

Anderer Quellcode

1.0.0

Herunterladen

Ner-and-Hybrid-Search-AI-Chatbot

Ein Beispiel für die Erkennung und Beziehungskartierung mit der benannten Inentität unter Verwendung einer LLM- und Vector-Datenbank. Ein Hybrid -Such -Chatbot zur Verwendung extrahierter Beziehungen.

Die Hybridsuche durchsucht sowohl Quellentitäten als auch Zielentitäten, was zu einer besseren Suchfähigkeit als herkömmlicher Lappen führt. Dieser Ansatz ermöglicht relevante Erinnerungen, die möglicherweise nicht die gleiche implizite semantische Bedeutung haben. Die hier verwendete Methode ist eine einfache Version, aber ein fortgesetzter verschachtelter Ansatz könnte auf Kosten einer zusätzlichen Kontextlänge verwendet werden.

Ursprünglich als Lösung für mein Assistentenprojekt Aetherius AI gemacht, konnte ich es jedoch nie dazu bringen, mit kleineren LLMs zuverlässig zu arbeiten.

Haupt -AI -Assistentenprojekt: https://github.com/libraryofcelsus/aetherius_ai_assistant

Vektordatenbank: https://github.com/qdrant/qdrant

Changelog

2/19 PDF -Lesung geändert, um Tesseract zu verwenden
2/18 CSV -Ausgang hinzugefügt

Installation

Installieren Sie Python 3.10.6, stellen Sie sicher, dass Sie es zu Pfad hinzufügen: https://www.python.org/downloads/release/python-3106/
Installieren Sie GIT: https://git-scm.com/ (Git kann übersprungen werden, indem das Repo als ZIP-Datei unter der Schaltfläche Green Code heruntergeladen wird)
Installieren Sie Tesseract für OCR: https://github.com/ub-mannheim/tesseract/wiki Einmal installiert, kopieren Sie den Ordner "Tesseract-ocr" aus den Programmdateien in den Hauptprojektordner. Alternative können Sie es auch direkt in einem Ordner mit dem Namen "Tesseract-Ocr" im Projektordner bei der ersten Installation installieren.
Wenn Sie QDRant Cloud verwenden, kopieren Sie ihre API -Schlüssel und URL in den Einstellungen in den Einstellungen.json. Qdrant Cloud: https://qdrant.to/cloud
Um einen lokalen QDrant -Server zu verwenden, installieren Sie zuerst Docker: https://www.docker.com/
Jetzt laufen: Docker Pull Qdrant/Qdrant: v1.5.1 in CMD
Nächster Lauf: Docker Run -P 6333: 6333 QDrant/Qdrant: v1.5.1
Sobald der lokale QDrant -Server ausgeführt wird, sollte er vom Chatbot automatisch erkannt werden. (Siehe: https://docs.docker.com/desktop/backup-and-restore/ für die Erstellung von Backups.)
Öffnen Sie CMD als Administrator
Run Git Clone: Git Clone https://github.com/libraryofcelsus/ner-and-hybrid-search-ai-chatbot.git
Navigieren Sie zum Projektordner: CD Path_to_Chatbot_install
Erstellen Sie eine virtuelle Umgebung: Python -m Venv Venv
Aktivieren Sie die Umgebung: venv scripts aktivieren
Installieren Sie die erforderlichen Pakete: PIP -Installation -r -Anforderungen.txt
Bearbeiten Sie Einstellungen in "Settings.json"
Führen Sie "hybrid_search_example.py" aus, um den Chatbot zu verwenden. Führen Sie "extract_relation_from_file.py" aus, um Beziehungen aus dem Upload -Ordner zu extrahieren.