VectorDB Plugin for LM Studio下載VectorDB Plugin for LM Studio源代碼下載

VectorDB Plugin for LM Studio

其他源碼

v6.11.0 - bug fixes

下載

增壓矢量數據庫！

要求•安裝•使用程序•請求功能或報告錯誤•聯繫人

該存儲庫使您可以在各種文檔中創建和搜索矢量數據庫以查找相關上下文，然後從更準確的大語言模型中獲取響應。這通常稱為“檢索增強一代”（抹布），它大大降低了LLM的幻覺！您可以觀看介紹性視頻或閱讀有關該程序的中等文章。

一目了然

特徵	細節
一般文本提取	`.pdf`
創建圖像摘要的“視覺”模型	`.png` `.jpg` `.jpeg` `.bmp` `.gif` `.tif` `.tiff`
將音頻文件轉錄到文本	`.mp3` `.wav` `.m4a` `.ogg` `.wma` `.flac`等...
輸入或說您的查詢	使用強大的`WhisperS2T`聲音錄音機
從LLM那裡得到回應	`LM Studio` `Local Models` `Chat GPT` （即將推出）
文字到LLM回應的語音播放	`Bark` `WhisperSpeech` `ChatTTS` `Google TTS`
CPU和`Nvidia` GPU支持	尋找`AMD`和`Intel` GPU的測試人員或貢獻者以及`Metal/MPS/MLX`

要求

？ Python 3.11•？ git•？ git lfs•pandoc•編譯器

上面的鏈接以Visual Studio下載為例。但是，請確保安裝所需的SDK。

示例錯誤時未安裝編譯器：
安裝正確的SDK的示例：

回到頂部

安裝

步驟1

下載最新的“發行版”，提取其內容，然後打開“ SRC”文件夾：

注意：如果您克隆此存儲庫，則將獲得開發版本，該版本可能會或可能不穩定。

最後的支持？ Linux和？ MacOS是釋放v3.5.2。確保並按照readme.md說明進行操作。

步驟2

在src文件夾中，創建一個虛擬環境：

 python -m venv .

步驟3

激活虛擬環境：

 .Scriptsactivate

步驟4

運行設置腳本：

現在僅適用於Windows 。

 python setup_windows.py

步驟5-重要

為了使用Ask Jeeves功能，您必須：

進入Assets文件夾；
右鍵單擊koboldcpp_nocuda.exe ;
檢查“解凍”複選框
單擊確定。

如果出於任何原因都不可見“ Unblock”複選框，則另一個選項是doubleclick koboldcpp_nocuda.exe ，在Assets目錄中選擇.gguf文件，然後啟動程序。這應該（至少在Windows上）嘗試啟動Kobold程序，這將觸發一個選項，以“允許”它和/或創建對計算機上“ Windows Defender”的異常。選擇“允許”或您收到的任何其他消息，這將使以後的所有互動允許它。請注意，在嘗試在此程序中運行Ask Jeeves功能之前，您應該執行此操作；否則，它可能行不通。

如果您遇到任何問題，請提交GitHub Issue ，因為Ask Jeeves是一個相對較新的功能。

回到頂部

用法

對於更詳細的說明，重要的是問Jeeves！

激活虛擬環境並啟動程序

每次您要使用程序時，都必須激活虛擬環境：

 .Scriptsactivate

 python gui.py

下載矢量模型

從Models Tab中選擇並下載矢量/嵌入模型。

創建一個向量數據庫

該程序從各種文件類型中提取文本，並將其放入矢量數據庫中。它還允許您創建要將音頻文件的圖像和抄錄匯總到數據庫中。

輸入一般文件類型

在Create Database選項卡中，選擇要添加到數據庫的文件。您可以根據需要單擊Choose Files按鈕。

輸入圖像

該程序使用“視覺”模型來創建圖像的摘要，然後可以將其輸入數據庫並進行搜索。在輸入圖像之前，我強烈建議您為最喜歡的圖像測試各種視覺模型。

測試視覺模型：

從Create Database選項卡中，選擇一個或多個圖像。
從Settings選項卡中，選擇要測試的視覺模型。
在Tools選項卡中，處理圖像。

確定您喜歡哪種視覺模型後，通過像其他任何文件一樣從Create Database選項卡中選擇圖像，將圖像添加到數據庫中。當您最終創建數據庫時，它們將自動處理。

輸入音頻文件

音頻文件可以轉錄並放入數據庫中以進行搜索。在轉錄長音頻文件之前，我強烈建議在較短的音頻文件上測試各種Whisper模型，並嘗試使用不同的batch設置。您的目標應該是使用與GPU支持的Whisper模型，然後調整批次尺寸，以使VRAM使用量保持在可用的VRAM中。

測試最佳設置：

在Tools選項卡中，選擇一個簡短的音頻文件。
選擇Whisper模型。
處理音頻文件。
在Create Database選項卡中，doubleClick剛創建的轉錄。
瀏覽page content字段，以了解轉錄是否足夠準確，對於您的用例還是需要選擇更準確的Whisper模型。

一旦獲得了系統的最佳設置，就該將音頻文件轉錄到數據庫中了：

在Create Database選項卡中，刪除您不希望輸入數據庫的任何轉錄。
創建要輸入的新抄寫（重複多個文件）。
批處理處理尚不可用。

實際創建數據庫

從Models選項卡下載矢量模型。
在Create Database選項卡中，創建數據庫。

管理數據庫

Manage Database選項卡允許您查看您創建的所有數據庫的內容，並在需要的情況下刪除它們。

查詢數據庫（無LM Studio）

在Query Database選項卡中，選擇要從Pulldown菜單中使用的數據庫。
通過鍵入或使用Record Question按鈕輸入您的問題。
chunks only僅接收相關上下文。
點擊Submit Question 。
- 在Settings選項卡中，您可以更改有關查詢數據庫的多個設置。可以在用戶指南中找到更多信息。

查詢具有LM Studio響應的數據庫

該程序從矢量數據庫中獲取相關的塊，並將它們以及您的問題轉發給LM Studio以尋求答案！

執行有關輸入問題和選擇設置的上述步驟，但要確保Chunks Only不受限制。
啟動LM Studio，然後轉到左側的“服務器”選項卡。
加載模型。
轉動Apply Prompt Formatting為“關閉”。
在Prompt Format的右側，請確保以下所有設置為空白：
- System Message Prefix
- System Message Suffix
- User Message Prefix
- User Message Suffix
在頂部，將模型加載到LM Studio中。
在右側，將GPU Offload設置調整為您的喜好。
在我的程序中，轉到Settings選項卡，為LM Studio中加載的模型選擇適當的提示格式，單擊Update Settings 。
在LM Studio中，單擊Start Server.
在Query Database選項卡中，單擊Submit Question 。