operator

Encoder-Run : 소스 코드에 대한 벡터 임베딩을 자동으로 생성하기위한 Kubernetes 연산자

encoder-run 소스 코드 임베딩의 수명을 자동화하도록 설계된 Kubernetes 연산자입니다. 또한 기본 스토리지 및 모델 인프라를 관리합니다. 이 프로젝트는 벡터가 소스 코드 리포지토리의 최신 변경 사항으로 최신 상태를 유지하고 검색, 유사성 검사, RAG 및 코드 분석 작업을 향상시킵니다.

특징

• 모델 배포 : 내부적으로 임베딩을 처리하기 위해 SentencetRansformer/Encoding 모델을 배포합니다.
• 연속 동기화 : 소스 코드 리포지토리를 모니터링하고 업데이트 된 코드의 인코딩 프로세스를 트리거하여 임베딩이 최신 상태로 유지됩니다.
• 확장 가능하고 효율적인 : 성능 및 확장 성, 여러 저장소 및 대형 코드베이스를 쉽게 처리하도록 최적화되었습니다.
• 사용자 정의 가능한 인코딩 모델 : 다양한 인코딩 모델을 지원하여 사용자가 특정 요구 사항에 가장 적합한 것을 선택할 수 있습니다.

인코더 파이프 라인 아키텍처

시작하기

메모

• Kubernetes 설정을 실행할 수있는 메모리가 많이 있는지 확인하십시오. Docker Desktop 리소스의 메모리를 확인하고 24GB+를 확인하십시오. 큰 모델 가중치와 큰 도커 이미지의 특성으로 인해 디스크가 합리적으로 설정되어 있는지 확인하십시오.
• 임베딩의 치수는 현재 768로 하드 코딩되어 있으므로 매치를 배포하는 변압기를 확인하십시오.
• 로컬 임베딩 시간은 GPU 기반 설정을 사용하는 것보다 훨씬 길다. 때로는 모델 첫 번째 요청/응답 배치가 느리지 만 후속 요청이 더 빠르고 일관되게됩니다. 추론 시간을 높이기 위해 GPU 액세스가있는 컴퓨터 에서이 설정을 자유롭게 실행하십시오.

전제 조건

encoder-run 설정하기 전에 다음과 같은 전제 조건이 충족되도록하십시오.

• Golang : Goland 버전 1.21.*+가 필요합니다.
• Docker : Docker는 애플리케이션 구성 요소 및 종속성을 컨테이너화해야하므로 시스템에 설치해야합니다. 설치 지침은 Docker의 공식 사이트를 방문하십시오.
• Kubernetes 종류 : 종류는 로컬 Kubernetes 클러스터를 만드는 데 사용됩니다. 아직 설치되지 않은 경우, 존재를 확인하고 누락 된 경우 설치 make kind-install 실행할 수 있습니다.
• 노드 : 노드는 로컬로 개발중인 경우에만 사용됩니다. V18.17.0을 설치하십시오.

전개

전제 조건을 만족 시키면 다음 명령을 사용하여 응용 프로그램을 배포하십시오. 이것은 소스에서 모든 이미지를 빌드합니다. 처음에는 10 분 이상이 걸릴 수 있습니다.

 make deploy

또는 소스에서 건물을 건너 뛰려면 (DockerHub에서 끌어 당기면 더 빠릅니다) :

 make deploy-staging

이 명령은 필요한 Kubernetes 구성을 설정하고 모든 구성 요소를 시작합니다. 배포되면 노출됩니다.

• 로컬 호스트의 콘솔 -UI localhost:32081
• 로컬 호스트의 게이트웨이 localhost:32080

모의 데이터로 프론트 엔드를 실행합니다

모의 데이터로 프론트 엔드 인터페이스를 실행하려면 다음을 수행하십시오.

1. Frontend Console-UI 디렉토리로 이동하십시오.

    cd frontend/console-ui
   npm install && npm run generate
   cd ../mock
   npm install
   cd ../console-ui
   npm run local

이 설정은 localhost:3000 및 localhost:4000 의 Mock Gateway에서 UI를 회전시켜 개발 또는 테스트를위한 전체 환경을 시뮬레이션합니다.

로드맵

다음은 encoder-run 의 계획된 기능 및 개선 사항의 짧은 목록입니다.

• Redis 배포
• 포스트 그레스 외부 DB
• Postgres 배포
• Elasticsearch 배포/외부
• AST 등을 기반으로하는 맞춤형 청크 전략

문제를 열거 나 GitHub 저장소에 풀 요청을 제출하여 새로운 기능을 기여하거나 제안하십시오.

커뮤니티 및 피드백

Encoder-Run은 오픈 소스 프로젝트이며 기여를 장려하고 환영합니다. 기여하려면 기여 지침 및 행동 강령을 검토하십시오.

설치 및 설정에 문제가 있으시면 Encoder-Run을 사용하는 최선의 방법에 대한 토론 GitHub 문제를 사용하고 가능한 한 많은 세부 사항을 포함시켜야합니다.