arcmindvector

Arcmind Vector Db

Vector DB Arcmind-это высокопроизводительная, гибкая и эргономичная база данных поиска вектора для интернет-компьютера. Он предназначен для базы данных поиска сходства в общем назначении, которая может использоваться для широкого спектра приложений с AI, включая системы рекомендаций, поисковые системы, поисковое увеличение генерации (RAG) и долгосрочную память о автономных агентах искусственного интеллекта, таких как Arcmind AI.

Архитектура

Схема потока последовательности

Предварительные условия

• Установите инструментальный rust change с помощью Rustup
  Следует https://www.rust-lang.org/tools/install
• Установите груз-аудит

 cargo install cargo-audit

• Установите DFX SDK
  Следуйте https://github.com/dfinity/sdk

Быстрый старт

Если вы хотите проверить свой проект локально, вы можете использовать следующие команды:

 # Starts the replica, running in the background
dfx start --background

# Deploys controller and brain canisters to the local replica
# Setup the environment variable: CONTROLLER_PRINCIPAL using using > dfx identity get-principal

./scripts/provision.sh

Сценарий предоставления развернет канистр arcmindvectordb .

API

Смотрите Candid для полного API.

Взаимодействие с канистерами

Образцы сценарии оболочки предоставляются для взаимодействия с канистрами в каталоге Interact. Содержание встроенных образцов и их векторы встраивания представлены в каталоге Entgdings.

Добавить вектор в Vectorstore

Открыть и редактировать:

./interact/add_vector.sh

Попробуйте добавить несколько векторов различных тем в Vectorstore.

Поиск в VectorStore

Затем найдите аналогичные векторы, используя один из векторов, которые вы добавили в качестве входного. Он должен вернуть тот же вектор, что и наиболее похожий вектор и другие подобные векторы той же темы. Посмотрите, как он может понять семантические значения векторов со многими измерениями.

Открыть и редактировать:

./interact/search_vector.sh

Обратите внимание, что та же самая модель встраивания должна использоваться для добавления и поиска векторов. Рекомендуется использовать одну и ту же модель встраивания в одном векторе для последовательных результатов.

Встроения в / встроения / генерируются с использованием модели Openai-Embedding-ADA-002 с его API встраивания

Настройка действия GitHub CI / CD

Получите строку, используя команды ниже, затем поместите ее в секреты GitHub. ПРИМЕЧАНИЕ. Замените по умолчанию необходимое вам имя.

Dfx_identity

 awk 'NF {sub(/r/, ""); printf "%s\r\n",$0;}' ~/.config/dfx/identity/default/identity.pem

DFX_WALLETS

 cat ~/.config/dfx/identity/default/wallets.json

Дорожная карта

• Бэкэнд - исследование и внедрить первичную канистра как долгосрочную векторию с метрикой расстояния ближайших соседей, внедрением API и индексацией
• Бэкэнд - интегрируйтесь с автономным агентом Arcmind AI для долговременной памяти
• DOC - добавить документацию для API Vectorstore
• Бэкэнд - модели машинного обучения самостоятельно для генерации текста (NLP), изображения и аудио встраивания
• Бэкэнд - масштабируемые ведра для хранения для крупномасштабных векторных данных за пределами хранения канистра

Лицензия

См. Файл лицензии для прав на лицензию и ограничения (MIT).

Внося

См. Appling.md для получения подробной информации о том, как внести свой вклад в этот проект.

Авторы

Код и архитектура: Генри Чан, [email protected], Twitter: @kinwo

Ссылки

• Интернет -компьютер
• CloudFlare - Что такое векторная база данных?
• Тряпичный
• Поиск сходства с открытым исходным кодом для Postgres
• Библиотека Spotify Anoy - приблизительные ближайшие соседи в C ++/Python
• Что такое поиск сходства
• Семантический поиск: измерение значения от Jaccard до Берта
• Высокопроизводительная, гибкая, эргономичная библиотека ржавчин KD деревьев
• Kd Дерево
• Курс depplearing.ai - строительные приложения с векторными базами данных