vault ai

OP VAULT

OP Vault使用OP堆栈（OpenAI + Pinecone Vector数据库）来使用户上传自己的自定义知识库文件并询问有关其内容的问题。

Vault.Pash.City

通过快速设置，您可以启动自己的Golang服务器版本以及用户友好的React Frontend，允许用户向OpenAI提出有关所提供的特定知识库的问题。主要的重点是书籍，信件和其他文档等可读内容，使其成为知识提取和提问的实用和有价值的工具。您可以上传整个图书馆的书籍和文档的价值，并收到尖头答案以及文件中的文件的名称以及答案所基于的特定部分！

您可以用OP Vault做什么？

使用金库，您可以：

• 通过简单的React前端上传各种流行的文档类型，以创建自定义知识库
• 根据上传文档的内容检索准确和相关的答案
• 请参阅告知答案的文件名和特定上下文片段
• 在用户友好的界面中探索OP堆栈（OpenAI + Pinecone矢量数据库）的功能
• 将整个图书馆的价值加载到保险库中

手动依赖性

• 节点：V19
• GO：V1.18.9 Darwin/ARM64
• 流行音乐

设置

安装手动依赖性

1. 安装GO：

在这里关注GO文档

2. 安装节点V19

我建议安装NVM并使用它安装节点V19

3. 安装poppler

sudo apt-get install -y poppler-utils在ubuntu上，或在Mac上brew install poppler

在secret文件夹中设置您的API键和端点

1. 创建一个新的文件secret/openai_api_key并将您的OpenAI API密钥粘贴到其中：

echo "your_openai_api_key_here" > secret/openai_api_key

2. 创建一个新的文件secret/pinecone_api_key ，然后将Pinecone API键粘贴到其中：

echo "your_pinecone_api_key_here" > secret/pinecone_api_key

设置Pinecone索引时，请使用1536的向量大小，并保持所有默认设置相同。

3. 创建一个新的文件secret/pinecone_api_endpoint ，然后将Pinecone API端点粘贴到其中：

echo "https://example-50709b5.svc.asia-southeast1-gcp.pinecone.io" > secret/pinecone_api_endpoint

运行开发环境

1. 安装JavaScript软件包依赖项：

   npm install

2. 运行Golang Web服务器（默认端口:8100 ）：

   npm start

3. 在另一个终端窗口中，运行WebPack来编译JS代码并创建一个bundle.js文件：

   npm run dev

4. 访问该网站的本地版本http：// localhost：8100

屏幕截图：

在示例屏幕截图中，我上传了柏拉图的几本书和亚历山大·汉密尔顿（Alexander Hamilton）的一些信件，展示了操作保险柜根据上传内容回答问题的能力。

上传文件

问问题

在引擎盖下

Golang Server使用Post API来处理传入上传并回答问题：

1. /upload用于上传文件

2. /api/question

所有API端点均在Vault-Web-server/main.go文件中声明。

上传文件并将它们处理到嵌入式中

Vault-web-server/postapi/fileupload.go文件包含用于处理后端上的上传上传的UploadHandler逻辑。 PostAPI软件包中的上载函数负责处理文件上传（最大总上传大小为300 MB），并将它们处理到嵌入到Pinecone中的嵌入式中。它接受PDF，epub，.docx和纯文本文件，从中提取文本，并将内容分为块。使用OpenAI API，它为每个块和Upserts（插入或更新）的嵌入式嵌入到Pinecone中。该功能返回一个JSON响应，其中包含有关上传文件及其处理状态的信息。

1. 将请求主体的大小限制为max_total_upload_size（300 MB）。
2. 用最大允许的大小为300 MB，解析传入的多部分数据。
3. 用字段来初始化响应数据，以实现成功和失败的文件上传。
4. 在上传的文件上迭代，每个文件：检查文件大小是否在允许的限制内（max_file_size，300 MB）。 b。将文件读取到内存中。 c。如果文件是PDF，请从中提取文本；否则，将内容读为纯文本。 d。将文件内容分为块。 e。使用OpenAI API获取每个块的嵌入。 f。将嵌入到皮涅酮中（插入或更新）。 g。使用有关成功和失败上传的信息更新响应数据。
5. 返回包含有关上传文件及其处理状态的信息的JSON响应。

将嵌入到Pinecone DB中

在上传文件的每个块中获取OpenAI嵌入式后，服务器将存储所有嵌入，以及与Pinecone DB中的每个嵌入相关的元数据。每个嵌入的元数据是在UpSertembeddingstopinecone函数中创建的，具有以下键和值：

• file_name ：提取文本块的文件的名称。
• start ：原始文件中文本块的起始字符位置。
• end ：原始文件中文本块的结尾字符位置。
• title ：块的标题，在这种情况下也是文件名。
• text ：块的文字。

该元数据对于向嵌入式提供上下文很有用，并用于在发现Pinecone数据库结果时显示有关匹配嵌入的其他信息。

回答问题

Vault-web-server/postapi/Question中的QuestionHandler功能。GO负责处理所有传入的问题。当在前端输入问题并按下“搜索”（或输入）时，服务器再次使用OpenAI Embeddings API再次获取问题的嵌入（又称查询向量）。此查询向量用于查询松果DB，以获取问题的最相关上下文。最后，通过包装最相关的上下文 +在遵守OpenAI代币限制的提示字符串中构建提示（Go Tiktoken库用于估计令牌计数）。

前端信息

前端是使用React.js构建的，而less用于样式。

长期记忆的生成问题

如果您想阅读有关此主题的更多信息，我建议您从Pinecone博客中进行此帖子：

• https://www.pinecone.io/learn/openai-gen-qa/

希望您喜欢它（：

上传较大的文件

我目前将最大的单个文件大小设置为3MB。如果要增加此限制，请编辑fileupload.go中的MAX_FILE_SIZE和MAX_TOTAL_UPLOAD_SIZE常数。

支持的FILETYPE

pdfs，.txt，.rtf，.docx，.epub和明文。

新的Pinecone免费层限制

最近，Pinecone限制了免费层用户的名称空间的使用。如果您处于新创建的免费层，这些限制将适用于您。