operator

編碼器運行：用於自動生成源代碼向量嵌入的Kubernetes操作員

encoder-run是旨在自動化源代碼嵌入生命週期的Kubernetes操作員。它還管理基礎存儲和模型基礎架構。該項目可確保向量保持最新，並在源代碼存儲庫中進行最新更改，增強搜索，相似性檢查，抹布和代碼分析任務。

特徵

• 模型部署：部署sencencetransformer/編碼模型在內部處理嵌入。
• 連續同步：監視源代碼存儲庫並觸發更新代碼的編碼過程，以確保嵌入保持當前。
• 可擴展和高效：針對性能和可伸縮性進行了優化，輕鬆處理多個存儲庫和大型代碼庫。
• 可自定義的編碼模型：支持各種編碼模型，使用戶可以最適合其特定要求。

編碼器管道體系結構

入門

筆記

• 確保您有大量可用的內存來運行Kubernetes設置。檢查Docker桌面資源以獲取內存，並確保其24GB+。由於較大的模型重量和大型碼頭圖像的性質，請確保合理設置磁盤。
• 當前，嵌入式的尺寸被硬編碼為768，因此請確保您要部署匹配的變壓器。
• 本地嵌入時間比使用基於GPU的設置要長得多。有時，模型首先請求/響應批次很慢，但是隨後的請求將更快，更一致。可以隨意在GPU訪問加速推理時間的機器上運行此設置。

先決條件

在設置encoder-run之前，請確保滿足以下先決條件：

• Golang ：Goland版本1.21。 *+是必需的。
• Docker ：必須在系統上安裝Docker，因為需要容器將應用程序組件和依賴項容器化。請訪問Docker的官方網站以進行安裝說明。
• Kubernetes類型：類型用於創建本地的Kubernetes群集。如果尚未安裝，您可以運行make kind-install該安裝將檢查其存在並在缺失（如果丟失）時進行安裝。
• 節點：僅當您在本地開發時才使用節點。請安裝V18.17.0。

部署

滿足先決條件後，使用以下命令部署應用程序。這將從源構建所有圖像。第一次可能需要10分鐘+。

 make deploy

或從源頭跳過建築物（從dockerhub拉得更快）：

 make deploy-staging

此命令將設置必要的Kubernetes配置並啟動所有組件。部署後，它將暴露出來：

• Local-Host上的Console-UI localhost:32081
• localhost:32080上的網關：32080

使用模擬數據運行前端

要使用模擬數據運行前端接口，請按照以下步驟：

1. 導航到前端控制台-UI目錄：

    cd frontend/console-ui
   npm install && npm run generate
   cd ../mock
   npm install
   cd ../console-ui
   npm run local

此設置將在localhost:3000和localhost:4000 ，模擬整個開發或測試環境。

路線圖

這是encoder-run的計劃功能和增強功能的簡短列表：

• 重新部署
• Postgres外部DB
• Postgres部署
• Elasticsearch部署/外部
• 基於AST等的自定義分組策略等

通過打開問題或在我們的GitHub存儲庫上提交拉動請求來隨意貢獻或建議新功能。

社區和反饋

編碼器運營是一個開源項目，我們鼓勵和歡迎捐款。如果您想做出貢獻，請務必查看我們的貢獻指南和行為準則。

對於安裝和設置的問題，有關如何最好地使用編碼運行的討論，請使用我們的GitHub問題，並確保包含盡可能多的細節。