VectorDB Plugin for LM Studio下载VectorDB Plugin for LM Studio源代码下载

VectorDB Plugin for LM Studio

其他源码

v6.11.0 - bug fixes

下载

增压矢量数据库！

要求•安装•使用程序•请求功能或报告错误•联系人

该存储库使您可以在各种文档中创建和搜索矢量数据库以查找相关上下文，然后从更准确的大语言模型中获取响应。这通常称为“检索增强一代”（抹布），它大大降低了LLM的幻觉！您可以观看介绍性视频或阅读有关该程序的中等文章。

一目了然

特征	细节
一般文本提取	`.pdf` `.docx` `.epub` `.txt` `.html` `.enex` `.eml` `.msg` `.csv` `.xls` `.xlsx` `.rtf` `.odt`
创建图像摘要的“视觉”模型	`.png` `.jpg` `.jpeg` `.bmp` `.gif` `.tif` `.tiff`
将音频文件转录到文本	`.mp3` `.wav` `.m4a` `.ogg` `.wma` `.flac`等...
输入或说您的查询	使用强大的`WhisperS2T`声音录音机
从LLM那里得到回应	`LM Studio` `Local Models` `Chat GPT` （即将推出）
文字到LLM回应的语音播放	`Bark` `WhisperSpeech` `ChatTTS` `Google TTS`
CPU和`Nvidia` GPU支持	寻找`AMD`和`Intel` GPU的测试人员或贡献者以及`Metal/MPS/MLX`

要求

？ Python 3.11•？ git•？ git lfs•pandoc•编译器

上面的链接以Visual Studio下载为例。但是，请确保安装所需的SDK。

示例错误时未安装编译器：
安装正确的SDK的示例：

回到顶部

安装

步骤1

下载最新的“发行版”，提取其内容，然后打开“ SRC”文件夹：

注意：如果您克隆此存储库，则将获得开发版本，该版本可能会或可能不稳定。

最后的支持？ Linux和？ MacOS是释放v3.5.2。确保并按照readme.md说明进行操作。

步骤2

在src文件夹中，创建一个虚拟环境：

 python -m venv .

步骤3

激活虚拟环境：

 .Scriptsactivate

步骤4

运行设置脚本：

现在仅适用于Windows 。

 python setup_windows.py

步骤5-重要

为了使用Ask Jeeves功能，您必须：

进入Assets文件夹；
右键单击koboldcpp_nocuda.exe ;
检查“解冻”复选框
单击确定。

如果出于任何原因都不可见“ Unblock”复选框，则另一个选项是doubleclick koboldcpp_nocuda.exe ，在Assets目录中选择.gguf文件，然后启动程序。这应该（至少在Windows上）尝试启动Kobold程序，这将触发一个选项，以“允许”它和/或创建对计算机上“ Windows Defender”的异常。选择“允许”或您收到的任何其他消息，这将使以后的所有互动允许它。请注意，在尝试在此程序中运行Ask Jeeves功能之前，您应该执行此操作；否则，它可能行不通。

如果您遇到任何问题，请提交GitHub Issue ，因为Ask Jeeves是一个相对较新的功能。

回到顶部

用法

对于更详细的说明，重要的是问Jeeves！

激活虚拟环境并启动程序

每次您要使用程序时，都必须激活虚拟环境：

 .Scriptsactivate

 python gui.py

下载矢量模型

从Models Tab中选择并下载矢量/嵌入模型。

创建一个向量数据库

该程序从各种文件类型中提取文本，并将其放入矢量数据库中。它还允许您创建要将音频文件的图像和抄录汇总到数据库中。

输入一般文件类型

在Create Database选项卡中，选择要添加到数据库的文件。您可以根据需要单击Choose Files按钮。

输入图像

该程序使用“视觉”模型来创建图像的摘要，然后可以将其输入数据库并进行搜索。在输入图像之前，我强烈建议您为最喜欢的图像测试各种视觉模型。

测试视觉模型：

从Create Database选项卡中，选择一个或多个图像。
从Settings选项卡中，选择要测试的视觉模型。
在Tools选项卡中，处理图像。

确定您喜欢哪种视觉模型后，通过像其他任何文件一样从Create Database选项卡中选择图像，将图像添加到数据库中。当您最终创建数据库时，它们将自动处理。

输入音频文件

音频文件可以转录并放入数据库中以进行搜索。在转录长音频文件之前，我强烈建议在较短的音频文件上测试各种Whisper模型，并尝试使用不同的batch设置。您的目标应该是使用与GPU支持的Whisper模型，然后调整批次尺寸，以使VRAM使用量保持在可用的VRAM中。

测试最佳设置：

在Tools选项卡中，选择一个简短的音频文件。
选择Whisper模型。
处理音频文件。
在Create Database选项卡中，doubleClick刚创建的转录。
浏览page content字段，以了解转录是否足够准确，对于您的用例还是需要选择更准确的Whisper模型。

一旦获得了系统的最佳设置，就该将音频文件转录到数据库中了：

在Create Database选项卡中，删除您不希望输入数据库的任何转录。
创建要输入的新抄写（重复多个文件）。
批处理处理尚不可用。

实际创建数据库

从Models选项卡下载矢量模型。
在Create Database选项卡中，创建数据库。

管理数据库

Manage Database选项卡允许您查看您创建的所有数据库的内容，并在需要的情况下删除它们。

查询数据库（无LM Studio）

在Query Database选项卡中，选择要从Pulldown菜单中使用的数据库。
通过键入或使用Record Question按钮输入您的问题。
chunks only仅接收相关上下文。
点击Submit Question 。
- 在Settings选项卡中，您可以更改有关查询数据库的多个设置。可以在用户指南中找到更多信息。

查询具有LM Studio响应的数据库

该程序从矢量数据库中获取相关的块，并将它们以及您的问题转发给LM Studio以寻求答案！

执行有关输入问题和选择设置的上述步骤，但要确保Chunks Only不受限制。
启动LM Studio，然后转到左侧的“服务器”选项卡。
加载模型。
转动Apply Prompt Formatting为“关闭”。
在Prompt Format的右侧，请确保以下所有设置为空白：
- System Message Prefix
- System Message Suffix
- User Message Prefix
- User Message Suffix
在顶部，将模型加载到LM Studio中。
在右侧，将GPU Offload设置调整为您的喜好。
在我的程序中，转到Settings选项卡，为LM Studio中加载的模型选择适当的提示格式，单击Update Settings 。
在LM Studio中，单击Start Server.
在Query Database选项卡中，单击Submit Question 。