arcmindvector

Arcmind 벡터 DB

Arcmind 벡터 DB는 인터넷 컴퓨터에 대한 고성능, 유연성 및 인체 공학적 벡터 유사성 검색 데이터베이스입니다. 권장 시스템, 검색 엔진, RAG (Recriveal Augmented Generation) 및 Arcmind AI와 같은 자율 AI 에이전트의 장기 메모리를 포함하여 광범위한 AI 기반 애플리케이션에 사용할 수있는 일반 목적 벡터 유사성 검색 데이터베이스로 설계되었습니다.

건축학

시퀀스 흐름도

전제 조건

• Rustup을 사용하여 Rust Toolchain을 설치하십시오
  https://www.rust-lang.org/tools/install을 따르십시오
• Cargo-Audit을 설치하십시오

 cargo install cargo-audit

• DFX SDK를 설치하십시오
  https://github.com/dfinity/sdk를 따르십시오

빠른 시작

로컬로 프로젝트를 테스트하려면 다음 명령을 사용할 수 있습니다.

 # Starts the replica, running in the background
dfx start --background

# Deploys controller and brain canisters to the local replica
# Setup the environment variable: CONTROLLER_PRINCIPAL using using > dfx identity get-principal

./scripts/provision.sh

Provision Script는 arcmindvectordb 캐니스터를 배포합니다.

API

전체 API의 솔직한 것을 참조하십시오.

용기와 상호 작용합니다

샘플 쉘 스크립트는 상호 작용 디렉토리의 캐니스터와 상호 작용하기 위해 제공됩니다. 샘플 임베딩 함량 및 그 임베딩 벡터는 임베딩 디렉토리에 제공됩니다.

벡터 스토어에 벡터를 추가하십시오

개방 및 편집 :

./interact/add_vector.sh

벡터 스토어에 다른 주제의 여러 벡터를 추가하십시오.

벡터 스토어를 검색하십시오

그런 다음 입력으로 추가 한 벡터 중 하나를 사용하여 유사한 벡터를 검색하십시오. 동일한 주제의 가장 유사한 벡터 및 기타 유사한 벡터와 동일한 벡터를 반환해야합니다. 많은 차원으로 벡터의 의미 론적 의미를 어떻게 이해할 수 있는지보십시오.

개방 및 편집 :

./interact/search_vector.sh

벡터를 추가하고 검색하는 데 동일한 임베딩 모델을 사용해야합니다. 일관된 결과를 위해 단일 벡터 스토어에서 동일한 임베딩 모델을 사용하는 것이 좋습니다.

/ Embeddings / Embeddings / Embeddings / Embeddings / Embeddings는 임베딩 API와 함께 OpenAi Text-embedding-ADA-002 모델을 사용하여 생성됩니다.

GitHub Action CI / CD 설정

아래 명령을 사용하여 문자열을 가져온 다음 GitHub 비밀에 넣으십시오. 참고 : 필요한 신분 이름으로 기본값을 교체하십시오.

dfx_identity

 awk 'NF {sub(/r/, ""); printf "%s\r\n",$0;}' ~/.config/dfx/identity/default/identity.pem

dfx_wallets

 cat ~/.config/dfx/identity/default/wallets.json

로드맵

• 백엔드 - 가장 가까운 이웃 거리 메트릭, API를 포함시키고 인덱싱하는 장기 벡터 스토어로 1 차 캐니스터를 연구하고 구현
• 백엔드 - 장기 메모리를 위해 Arcmind AI 자율 에이전트와 통합
• DOC- 벡터 스토어 API에 대한 설명서 추가
• 백엔드 - 텍스트 생성 (NLP), 이미지 및 오디오 임베드 생성을위한 자체 호스팅 머신 러닝 모델
• 백엔드 - 캐니스터 저장 한도를 넘어서 대규모 벡터 데이터를위한 확장 가능한 스토리지 버킷

특허

라이센스 권리 및 제한 (MIT)은 라이센스 파일을 참조하십시오.

기여

이 프로젝트에 기여하는 방법에 대한 자세한 내용은 Contributing.md를 참조하십시오.

저자

코드 및 아키텍처 : Henry Chan, [email protected], Twitter : @kinwo

참조

• 인터넷 컴퓨터
• CloudFlare- 벡터 데이터베이스 란 무엇입니까?
• 조각
• 우주 소스 벡터 유사성 우편에 대한 검색
• Spotify alloy Library- C ++/Python의 가장 가까운 이웃을 대략적으로
• 유사성 검색이란 무엇입니까?
• 시맨틱 검색 : Jaccard에서 Bert까지의 의미 측정
• 고성능, 유연성, 인체 공학적 KD 트리 Rust 라이브러리
• KD 트리
• decplearing.ai 코스 - 벡터 데이터베이스가있는 응용 프로그램 구축