embed pg

嵌入

EmbedPG是一种node.js API服务，它使用PostgreSQL与pgvector扩展。它可以帮助存储和搜索矢量数据在数据库中。该项目是一个早期版本，可以查看它是否对人们有用。

动机

向量数据库确实很有用，但通常昂贵且受到限制。我创建了EmbedPG，以使这些数据库更容易和便宜。它适用于不同尺寸的项目。主要成本来自使用PostgreSQL和服务器空间等云服务。 EmbedPG可帮助您快速设置使用易于使用的API端点和命令行工具的矢量数据库。

我们存储嵌入的地方

我们使用PGVECTOR扩展名的PostgreSQL存储和搜索嵌入。您可以在此处找到PGVECTOR：GitHub上的PGVECTOR。

PGVECTOR支持：

• 精确而大约最近的邻居搜索
• 不同的矢量类型：单精度，半精度，二进制和稀疏向量
• 各种距离度量：L2，内部产品，余弦，L1，锤子和Jaccard距离

支持PGVECTOR的云解决方案

是的，有一些支持PGVECTOR的云解决方案：

1. AWS RD-了解更多
2. Google云- 阅读更多

使用的技术和包装

嵌入PG利用几种关键技术和包装来提供其功能：

• Express.js ：最小且灵活的Node.js Web应用程序框架，为Web和移动应用程序提供了强大的功能集。 Express.js用于处理embedpg中的路由和中间件。
• 打字稿：静态键入的JavaScript超集，该javaScript编译为普通的JavaScript。 Typescript通过类型安全和现代JavaScript功能增强代码质量和开发人员的生产率。
• MikRoomm ：由实体框架和学说启发的打字稿和JavaScript的ORM（对象相关映射器）。它有助于管理数据库操作并支持PostgreSQL，SQLITE，MySQL和MongoDB。
• ZOD ：打字稿优先架构声明和验证库。 ZOD用于在运行时验证数据的形状和类型，以确保可靠和无错误的数据处理。

安装和开发

先决条件

在开始安装过程之前，请确保已安装以下先决条件：

1. Node.js的最新稳定版本 - 从Node.js官方网站下载。
2. PNPM软件包管理器 - 通过运行npm install -g pnpm它。

使用PGVECTOR设置PostgreSQL

EmbedPG需要使用pgvector扩展的后Ql。您可以使用：

• pgvector官方存储库可在Github的PGVector上获得。
• 一个分叉的版本，其中包括一个docker设置，可更轻松地安装，可在我的存储库中获得：github上的arisrayanyan/pgvector。
• 或使用我的docker映像：Docker Hub上的Arisrayelyan/pgvector。

使用Docker图像（仅开发）

 # Pull the Docker image
docker pull arisrayelyan/pgvector:latest
# Run the Docker container
docker run -d 
--name pgvector 
-e POSTGRES_PASSWORD=postgres 
-e POSTGRES_USER=postgres 
-e POSTGRES_DB=postgres 
-p 5432:5432 arisrayelyan/pgvector

安装步骤

1. 克隆嵌入PG存储库

   git [email protected]:arisrayelyan/embed-pg.git

2. 导航到项目目录

    cd embed-pg

3. 安装依赖项

    pnpm install

4. 设置环境变量

   将.env.example文件复制到.env并根据需要设置环境变量。

可用的环境变量

 # General Settings
NODE_ENV=development

# Database Configuration
DB_USERNAME=postgres
DB_PASSWORD=postgres
DB_NAME=postgres
DB_HOST=localhost
DB_PORT=5432

# Server Settings
PORT=3000
CORS_ORIGINS=http://localhost:3000 # Set the allowed origins for CORS

# OpenAI Configuration
OPENAI_API_KEY= " "
OPEN_AI_MODEL= " "
OPEN_AI_API_ENDPOINT= " "

注意：当嵌入需要为您处理嵌入请求时，需要OpenAI环境变量。

后安装

设置环境变量并安装EmbedPG之后，您可以设置有效运行所需的组件。

可用命令

• pnpm generate:collections ：此命令启动了一个交互式命令行工具，该工具可指导您为要添加的任何新集合生成所有必要的组件。这包括服务，API端点，数据库实体和迁移，确保您的矢量数据库服务全面，并准备满足特定的数据需求。
• pnpm generate:token ：此命令为您的服务生成新的API令牌，您可以用它来验证请求到embedPG服务。
• pnpm start ：以生产模式启动服务。
• pnpm build ：构建生产应用程序。
• pnpm dev ：以开发模式启动服务并应用数据库迁移。
• pnpm dev:db migration ：在开发模式下应用数据库迁移。
  • --create标志创建一个新的迁移文件。
  • --up标志应用所有待处理的迁移。
  • --down旗帜回落了最后一个迁移。
  • --to标志将所有迁移应用于特定的迁移。
• pnpm db migration ：在生产模式下应用数据库迁移。使用与开发模式相同的标志。
• pnpm lint ：检查源代码是否样式和编程错误。
• pnpm lint:fix ：自动修复源代码中的覆盖错误。

关于生成的文件

当您生成新集合时，EmbedPG会创建以下文件：

1. 服务：包含该集合的所有业务逻辑的服务文件。
2. API端点：一个包含集合的所有路由的API端点文件。
3. 实体：定义集合数据库架构的实体文件。
4. 迁移：包含SQL查询的迁移文件，以创建集合数据库表。
5. 更新src目录中的某些文件以包括新文件。

注意：您可以自定义生成的文件以满足您的特定需求。但是不要删除! embedPg由于EmbedPG使用它来识别生成的文件，因此在文件中的! embedPg注释。

API文档

这是EmbedPG的API文档。

部署

在将EmbedPG部署到生产环境中之前，请确保您设置了必要的环境变量和配置。另外，请确保您正在使用pgvector扩展程序运行PostgreSQL（请参阅支持PGVECTOR的部分云解决方案）。

运行以下命令来构建生产应用程序：

pnpm build

构建完成后，您将拥有一个带有编译代码的dist目录。将此代码部署到您的服务器并运行以下命令以启动服务：

首先运行数据库迁移：

pnpm prod:db migration --up

生成一个新的API令牌：

pnpm generate:token

然后开始服务：

pnpm start

Docker部署

您还可以使用Docker部署嵌入PG。

构建Docker映像（注意：确保您已经设置了必要的环境变量）：

./scripts/build-server.sh

托多的

1. 添加测试覆盖范围。
2. 改善文档。
3. 提高元数据搜索功能，实施更多的操作员。
4. 添加Swagger文档并通过收集生成自动生成它。
5. 为不同的云提供商添加部署脚本。

执照

该项目已根据MIT许可获得许可。有关详细信息，请参见许可证文件。

贡献

感谢您对embedpg贡献的兴趣！有关如何为项目贡献的指南，请参见贡献。