LLM_File_Parser Скачать - LLM_File_Parser SUSTER CODE Скачать

LLM_File_Parser

Другой исходный код

1.0.0

Скачать

LLM -файл анализатор файла

Версия 0.02 Parser File LLM By LibraryOfcelsus.com

Руководство по установке
Пропустить в ChangeLog
Discord Server

Недавние изменения

• 07/17 Добавлены домены знаний в качестве отдельного индекса, чтобы можно было искать существующие домены с помощью векторов.

• 07/12 Первый релиз

Что это за проект?

Этот проект является частью моего более крупного проекта Atherius и предназначен для оптимизации процесса преобразования неструктурированных данных в структурированные базы данных и наборы данных. Программа подпадает под автомат и использует различные методы LLM для сканирования, куски и суммирования неструктурированных документов, преобразуя их в структурированные данные с минимальным пользовательским вводом.

Текущие поддерживаемые типы файлов: .epub, .pdf, .txt, .png, .jpg, .jpeg, .mp4, .mkv, .flv и .av

Чат -боты, использующие этот формат:

https://github.com/libraryofcelsus/hierarchical_rag_chatbot

� Этот проект служит загрузчиком документа для: https://github.com/libraryofcelsus/advanced_rag_chatbot

Главный помощник по ИИ github: https://github.com/libraryofcelsus/aetherius_ai_assistant

Моя работа ИИ самостоятельно финансируется моей дневной работой, подумайте о поддержке меня, если вы цените мою работу.

Присоединяйтесь к Discord за помощью или чтобы получить более подробную информацию!

Discord Server: https://discord.gg/pb5zcna7ze

Подпишитесь на мой YouTube для видеоуроков: https://www.youtube.com/@libraryofcelsus (канал еще не запущен)

Учебные пособия по коду, доступные по адресу: https://www.libraryofcelsus.com/research/public/code-tutorials/

Сделано: https://github.com/libraryofcelsus

Изменение:

0,02

• Добавлены домены знаний в качестве отдельного индекса, чтобы можно было искать существующие домены с помощью векторов.

0,01

• Первый релиз

Руководство по установке

Установитель летучая мышь

Загрузите папку ZIP Project, нажав меню «Раскрытие кода».

1. Установите Python 3.10.6, убедитесь, что вы добавили его в путь: https://www.python.org/downloads/release/python-3106/

2. Запустите "install_requirements.bat" для установки необходимых зависимостей. BAT установит GIT, Poppler, Tesseract, FFMPEG и необходимые зависимости от питона.

(Если вы получаете ошибку при выполнении требований: Python -m Pip Cache Purge )

3. Установите Qdrant или Marqo DB. Чтобы изменить то, что используется DB, отредактируйте ключ «vector_db» в ./settings.json. Qdrant - это дефолт.

Qdrant Docs: https://qdrant.tech/documentation/guides/installation/

Marqo Docs: https://docs.marqo.ai/2.9/

«Использовать локальный сервер Qdrant, сначала установить Docker: https://www.docker.com.
Следующий тип: Docker Pull Qdrant/Qdrant: v1.9.1 в командной строке.
После того, как он закончится загрузка, введите Docker Run -p 6333: 6333 Qdrant/Qdrant: v1.9.1

Чтобы использовать локальный сервер Marqo, сначала установите Docker: https://www.docker.com.
Следующий тип: Docker Pull Marqoai/Marqo: последний в командной строке.
После того, как он закончится загрузкой, введите Docker Run -name marqo -gpus all -p 8882: 8882 Marqoai/Marqo: Последний

(Если это дает ошибку, проверьте вкладку Docker Containers для нового контейнера и нажмите кнопку «Пуск». Иногда она не может запустить.)

См.: Https://docs.docker.com/desktop/backup-and-restore/, как сделать резервное копирование.

Как только локальный векторный сервер DB будет запущен, он должен быть автоматически обнаружен по сценариям.

6. Установите желаемый API. (Не требуется, если использует OpenAI), чтобы изменить то, что используется API, отредактируйте ключ «API» в ./settings.json
https://github.com/oobabooga/text-generation-webui
https://github.com/lostruins/koboldcpp

8. Запустите сценарий с одним из запуска _*. Bat

9. Измените информацию внутри вкладки «Настройки» на свои предпочтения.

10. Поместите файл в соответствующую папку в каталоге ./uploads. Папка загрузки будет создана при первом запуске сценария обработки файлов.

Чтобы получить шепот, работая с CUDA, вам может потребоваться запустить команды:
. venv Scripts Activate
PIP удалить Torch Torchaudio
PIP установить TORCHVISION TORCHAUDIO -f https://download.pytorch.org/whl/cu118/torch_stable.html

Если вы хотите изменить формат, в котором данные загружаются в вектор DB, сценарии загрузки можно найти в ./resources/db_upload

Обо мне

В январе 2023 года у меня был свой первый опыт работы с Chatgpt и LLMS в целом. С тех пор я был глубоко одержим ИИ, посвящая бесчисленные часы каждый день изучению его и практических экспериментах.