LLM_NER_and_Branching_Hybrid_Search_Chatbot Скачать - LLM_NER_and_Branching_Hybrid_Search

LLM_NER_and_Branching_Hybrid_Search_Chatbot

Другой исходный код

1.0.0

Скачать

Ner-and-Hybrid-Search-Ai-Chatbot

Пример распознавания названных факторов и отображения отношений с использованием базы данных LLM и векторов. Гибридный поисковый чат для использования извлеченных отношений.

Гибридный поиск будет искать как исходные объекты, так и целевые объекты, что приведет к лучшей поисковой способности, чем традиционная тряпка. Этот подход позволяет возвращать соответствующие воспоминания, которые могут не иметь такого же неявного семантического значения. Используемый здесь метод является простой версией, но постоянный вложенный подход может использоваться за счет дополнительной длины контекста.

Первоначально был создан как решение для моего Aseterant As Assist Ai Assectant Project, однако я никогда не мог заставить его надежно работать с меньшими LLMS.

Главный ассистент AI Ass Assistant: https://github.com/libraryofcelsus/aetherius_ai_assistant

Векторная база данных: https://github.com/qdrant/qdrant

Изменение

2/19 изменил чтение PDF для использования Tesseract
2/18 добавлен вывод CSV

Установка

Установите Python 3.10.6, убедитесь, что вы добавили его в путь: https://www.python.org/downloads/release/python-3106/
Установите GIT: https://git-cm.com/ (git можно пропустить, загрузив репо в виде zip-файла под кнопкой зеленого кода)
Установите Tesseract для OCR: https://github.com/ub-mannheim/tesseract/wiki После установки скопируют папку «tesseract- OCR» из программных файлов в основную папку проекта. Альтернативно вы также можете установить его непосредственно в папку с именем «tesseract-ocr» в папке проекта при начальной установке.
При использовании Qdrant Cloud копируйте их ключ API и URL -адрес их соответствующему ключу в настройках.json. Qdrant Cloud: https://qdrant.to/cloud
Чтобы использовать локальный сервер Qdrant, сначала установите Docker: https://www.docker.com/
Теперь запустите: Docker Pull Qdrant/Qdrant: V1.5.1 в CMD
Следующий запуск: Docker Run -p 6333: 6333 Qdrant/Qdrant: v1.5.1
Как только локальный Qdrant Server запускается, он должен быть автоматически обнаружен чат -ботом. (См.: Https://docs.docker.com/desktop/backup-and-restore/, как сделать резервное копирование.)
Откройте CMD в качестве администратора
Запустите Git Clone: Git Clone https://github.com/libraryofcelsus/ner-and-hybrid-search-ai-chatbot.git
Перейдите к папке проекта: CD PATH_TO_CHATBOT_INSTALL
Создать виртуальную среду: python -m venv venv
Активировать среду :. venv scripts activate
Установите требуемые пакеты: PIP установка -R TEDS.TXT
Редактировать настройки в "settings.json"
Запустите "hybrid_search_example.py", чтобы использовать чат -бот. Запустите "Extract_Relation_from_file.py", чтобы извлечь отношения из папки загрузки.