VectorDB Plugin for LM Studio

База данных векторов с наддувом!

Требования • Установка • Использование программы • Запросите функцию или сообщите об ошибке • Контакт

Этот репозиторий позволяет вам создавать и искать векторную базу данных для соответствующего контекста в широком спектре документов, а затем получить ответ из модели большой языка, которая является более точной. Это обычно называют «полученным поколением поиска» (RAG), и оно резко уменьшает галлюцинации от LLM! Вы можете посмотреть вступительное видео или прочитать среднюю статью о программе.

С первого взгляда

Особенность	Подробности
Общее извлечение текста	.pdf .docx .epub .txt .html .enex .eml .msg .csv .xls .xlsx .rtf .odt
Модели "Vision" для создания резюме изображений	.png .jpg .jpeg .bmp .gif .tif .tiff
Транскрибировать аудиофайлы для текста	.mp3 .wav .m4a .ogg .wma .flac и больше ...
Введите или говорите свой запрос	Использование мощного голосового регистратора WhisperS2T
Получите ответ от LLM	LM Studio Local Models Chat GPT (скоро)
Текст на речь воспроизведение ответа LLM	Bark WhisperSpeech ChatTTS Google TTS
Поддержка графических процессоров и Nvidia	Ищу тестеров или участников для графических процессоров AMD и Intel , а также Metal/MPS/MLX

Требования

? Python 3.11 •? Git •? Git lfs • pandoc • компилятор

Вышеуказанная ссылка загружает Visual Studio в качестве примера. Однако обязательно установите требуемые SDK.

Пример ошибки, когда компилятор не установлен:

Пример установки правильных SDK:

Вернуться к вершине

Установка

Шаг 1

Загрузите последний «выпуск», извлеките его содержимое и откройте папку "SRC":

• Примечание. Если вы клонируете этот репозиторий, вы получите версию разработки, которая может быть или не быть стабильной.

Последняя попытка поддержать? Linux и? MacOS является выпуском v3.5.2. Убедитесь и следуйте инструкциям readme.md там.

Шаг 2

В папке src создайте виртуальную среду:

 python -m venv .

Шаг 3

Активировать виртуальную среду:

 .Scriptsactivate

Шаг 4

Запустите скрипт настройки:

Только для Windows на данный момент.

 python setup_windows.py

Шаг 5 - Важный

Чтобы использовать функциональность Ask Jeves, вы должны:

1. Зайдите в папку Assets ;
2. Щелкните правой кнопкой мыши koboldcpp_nocuda.exe ;
3. Проверьте флажок "Unblock"
4. Нажмите ОК.

Если флажок «Unblock» не виден по какой -либо причине, другой вариант - DoubleClick koboldcpp_nocuda.exe , выберите файл .gguf в каталоге Assets и запустите программу. Это должно (по крайней мере, в Windows) попытаться запустить программу Kobold, которая запустит опцию «разрешить» ее и/или создать исключение для «Defender Windows» на вашем компьютере. Выберите «Разрешить» или любое другое сообщение, которое вы получите, которое позволит ему для всех будущих взаимодействий. Обратите внимание, что вы должны сделать это, прежде чем пытаться запустить функциональность Ask Jeeves в этой программе; В противном случае это может не сработать.

Отправьте Issue GitHub, если вы столкнетесь с какими -либо проблемами, так как Ask Jeeves является относительно новой функцией.

Вернуться к вершине

Использование

Важно для более подробных инструкций, просто спросите Дживса!

Активировать виртуальную среду и начать программу

Каждый раз, когда вы хотите использовать программу, вы должны активировать виртуальную среду:

 .Scriptsactivate

 python gui.py

Скачать векторную модель

• Выберите и загрузите модель вектора/встраивания с Models Tab .

Создать векторную базу данных

Эта программа извлекает текст из различных типов файлов и помещает их в векторную базу данных. Это также позволяет вам создавать суммирование изображений и транскрипций аудиофайлов, которые будут помещены в базу данных.

Ввод общих типов файлов

На вкладке Create Database выберите файлы, которые вы хотите добавить в базу данных. Вы можете нажать кнопку Choose Files столько раз, сколько захотите.

Ввод изображений

Эта программа использует модели «Vision» для создания сводных изображений, которые затем можно ввести в базу данных и поиск. Прежде чем вводить изображения, я настоятельно рекомендую вам протестировать различные модели зрения на то, что вам нравится больше всего.

Чтобы проверить модель зрения:

1. На вкладке Create Database выберите одно или несколько изображений.
2. На вкладке Settings выберите модель видения, которую вы хотите проверить.
3. На вкладке Tools обработайте изображения.

После определения, какую модель зрения вам нравится, добавьте изображения в базу данных, выбрав их с вкладки Create Database как и любой другой файл. Когда вы в конечном итоге создаете базу данных, они будут автоматически обработаны.

Ввод аудиофайлов

Аудиофайлы могут быть транскрибированы и помещены в базу данных для поиска. Прежде чем транскрибировать длинный аудиофайл, я настоятельно рекомендую протестировать различные модели Whisper на более коротком аудиофайле, а также экспериментировать с различными настройками batch . Ваша цель должна состоять в том, чтобы использовать как большую модель Whisper , как ваш графический процессор, а затем настроить размер партии, чтобы поддерживать использование VRAM в пределах вашего доступного VRAM.

Чтобы проверить оптимальные настройки:

1. На вкладке Tools выберите короткий аудиофайл.
2. Выберите модель Whisper .
3. Обработайте аудиофайл.
4. На вкладке Create Database DoubleClick только что была создана.
5. Снимите поле page content , чтобы понять, является ли транскрипция достаточно точной для вашего варианта использования или если вам нужно выбрать более точную модель Whisper .

После того, как вы получили оптимальные настройки для вашей системы, пришло время транскрибировать аудиофайл в базу данных:

1. На вкладке Create Database удалите любые транскрипции, которые вы не хотите вводить в базу данных.
2. Создайте новые транскрипции, которые вы хотите ввести (повторите для нескольких файлов).

   Обработка партии еще не доступна.

На самом деле создание базы данных

• Загрузите векторную модель с вкладки Models .
• На вкладке Create Database создайте базу данных.

Управление базой данных

• Вкладка Manage Database позволяет просмотреть содержимое всех баз данных, которые вы создали, и удалить их, если хотите.

Запрос базы данных (No LM Studio)

• На вкладке Query Database выберите базу данных, которую вы хотите использовать в меню «Овертаун».
• Введите свой вопрос, набрав его или используя кнопку Record Question .
• Проверьте флажок chunks only для получения только соответствующих контекстов».
• Нажмите Submit Question .
  • На вкладке Settings вы можете изменить несколько настроек, касающихся запроса базы данных. Более подробную информацию можно найти в руководстве пользователя.

Запросите базу данных с ответом от LM Studio

Эта программа получает соответствующие куски из векторной базы данных и пересылаю их - вместе с вашим вопросом - в LM Studio для ответа!

• Выполните вышеуказанные шаги, касающиеся ввода вопроса и выбора настроек, но убедитесь, что Chunks Only не выполняются.
• Запустите LM Studio и перейдите на вкладку сервера слева.
• Загрузить модель.
• Поверните Apply Prompt Formatting к «выключению».
• С правой стороны в Prompt Format убедитесь, что все следующие настройки пусты:
  • System Message Prefix
  • System Message Suffix
  • User Message Prefix
  • User Message Suffix
• Вверху загрузите модель в LM Studio.
• Справа отрегулируйте настройку GPU Offload по своему вкусу.
• В рамках моей программы перейдите на вкладку Settings , выберите соответствующий формат приглашения для модели, загруженной в LM Studio, нажмите Update Settings .
• В LM Studio нажмите Start Server.
• На вкладке Query Database нажмите Submit Question .

Вернуться к вершине

Запросить функцию или сообщить об ошибке

Не стесняйтесь сообщать о ошибках или запросить усовершенствования, создав проблему на Github или обратитесь ко мне на сервере Discord LM Studio (см. Ссылку ниже)!

КОНТАКТ

Все предложения (положительные и отрицательные) приветствуются. «[email protected]» или не стесняйтесь сообщать мне на сервере Discord LM Studio.