operator

编码器运行：用于自动生成源代码向量嵌入的Kubernetes操作员

encoder-run是旨在自动化源代码嵌入生命周期的Kubernetes操作员。它还管理基础存储和模型基础架构。该项目可确保向量保持最新，并在源代码存储库中进行最新更改，增强搜索，相似性检查，抹布和代码分析任务。

特征

• 模型部署：部署sencencetransformer/编码模型在内部处理嵌入。
• 连续同步：监视源代码存储库并触发更新代码的编码过程，以确保嵌入保持当前。
• 可扩展和高效：针对性能和可伸缩性进行了优化，轻松处理多个存储库和大型代码库。
• 可自定义的编码模型：支持各种编码模型，使用户可以最适合其特定要求。

编码器管道体系结构

入门

笔记

• 确保您有大量可用的内存来运行Kubernetes设置。检查Docker桌面资源以获取内存，并确保其24GB+。由于较大的模型重量和大型码头图像的性质，请确保合理设置磁盘。
• 当前，嵌入式的尺寸被硬编码为768，因此请确保您要部署匹配的变压器。
• 本地嵌入时间比使用基于GPU的设置要长得多。有时，模型首先请求/响应批次很慢，但是随后的请求将更快，更一致。可以随意在GPU访问加速推理时间的机器上运行此设置。

先决条件

在设置encoder-run之前，请确保满足以下先决条件：

• Golang ：Goland版本1.21。*+是必需的。
• Docker ：必须在系统上安装Docker，因为需要容器将应用程序组件和依赖项容器化。请访问Docker的官方网站以进行安装说明。
• Kubernetes类型：类型用于创建本地的Kubernetes群集。如果尚未安装，您可以运行make kind-install该安装将检查其存在并在缺失（如果丢失）时进行安装。
• 节点：仅当您在本地开发时才使用节点。请安装V18.17.0。

部署

满足先决条件后，使用以下命令部署应用程序。这将从源构建所有图像。第一次可能需要10分钟+。

 make deploy

或从源头跳过建筑物（从dockerhub拉得更快）：

 make deploy-staging

此命令将设置必要的Kubernetes配置并启动所有组件。部署后，它将暴露出来：

• Local-Host上的Console-UI localhost:32081
• localhost:32080上的网关：32080

使用模拟数据运行前端

要使用模拟数据运行前端接口，请按照以下步骤：

1. 导航到前端控制台-UI目录：

    cd frontend/console-ui
   npm install && npm run generate
   cd ../mock
   npm install
   cd ../console-ui
   npm run local

此设置将在localhost:3000和localhost:4000 ，模拟整个开发或测试环境。

路线图

这是encoder-run的计划功能和增强功能的简短列表：

• 重新部署
• Postgres外部DB
• Postgres部署
• Elasticsearch部署/外部
• 基于AST等的自定义分组策略等

通过打开问题或在我们的GitHub存储库上提交拉动请求来随意贡献或建议新功能。

社区和反馈

编码器运营是一个开源项目，我们鼓励和欢迎捐款。如果您想做出贡献，请务必查看我们的贡献指南和行为准则。

对于安装和设置的问题，有关如何最好地使用编码运行的讨论，请使用我们的GitHub问题，并确保包含尽可能多的细节。